Resumen Técnico: SilentWood – Inferencia Privada Eficiente sobre Bosques de Decisión de Potenciación de Gradiente

Planteamiento del Problema

Los Bosques de Decisión de Potenciación de Gradiente (p. ej., XGBoost, AdaBoost) ofrecen una precisión y eficiencia de entrenamiento superiores para grandes conjuntos de datos en comparación con los árboles de decisión individuales, manteniendo al mismo tiempo la interpretabilidad del modelo. Sin embargo, el despliegue de estos modelos en un contexto de "Aprendizaje Automático como Servicio" (MLaaS) plantea preocupaciones significativas de privacidad: los usuarios se muestran reacios a revelar sus datos de entrada sensibles, y los proveedores de servicios desean proteger sus parámetros de modelo propietarios.

Aunque existen protocolos de inferencia privada para árboles de decisión individuales utilizando Cifrado Totalmente Homomórfico (FHE) o Computación de Dos Partes (2PC), extenderlos ingenuamente a bosques de decisión es impráctico. El artículo identifica tres desafíos principales:

1. Sobrecarga Computacional (C1): La Evaluación de Árboles de Decisión Privados (PDTE) requiere comparaciones homomórficas en cada nodo. En un bosque con cientos de árboles, el número de pares únicos de [característica, umbral] requiere un exceso de rotaciones homomórficas y clonación de texto cifrado para alinear los datos para las operaciones SIMD (Single Instruction Multiple Data).
2. Incompatibilidad de Agregación de Puntuación (C2): Agregar los resultados de múltiples árboles requiere sumar los valores de las hojas de los caminos "verdaderos". Los métodos de PDTE basados en FHE existentes enfrentan un dilema: SumPath (suma eficiente) produce salidas (0 para verdadero, un valor aleatorio distinto de cero para falso) que no pueden convertirse aritméticamente a puntuaciones de hoja sin una lógica compleja; MultiplyPath (multiplicación) permite la puntuación directa pero incurre en una profundidad y un costo de multiplicación prohibitivos.
3. Costo de Comunicación (C3): Los protocolos estándar de PDTE a menudo requieren la codificación repetitiva de las entradas de características (por ejemplo, repetir las entradas de características para cada comparación) para permitir las operaciones SIMD, lo que conduce a tamaños de texto cifrado masivos (p. ej., >85 MB para características de 32 bits) y cuellos de botella en la red.

Metodología: SilentWood

SilentWood es un protocolo de inferencia privada diseñado específicamente para bosques de decisión de potenciación de gradiente, aprovechando FHE (específicamente el esquema BFV) e introduciendo tres técnicas de optimización novedosas para abordar los desafíos anteriores.

1. Agrupación de Computación (Computation Clustering)

Para reducir la sobrecarga de las rotaciones homomórficas y las comparaciones, SilentWood agrupa computaciones redundantes a través del bosque:

• Agrupación de Nodos (Node Clustering): Los nodos a través de diferentes árboles que comparten el mismo nombre de característica y tienen valores de umbral similares se agrupan. En lugar de computar las comparaciones para cada nodo individualmente, el protocolo computa un promedio ponderado de los umbrales (ponderado por la importancia del árbol y del nodo) y actualiza el modelo. Esto reduce el número de comparaciones únicas. El proceso incluye un paso de "reoptimización del valor de la hoja" para ajustar las puntuaciones de las hojas basándose en los nuevos umbrales, asegurando que se preserve la precisión del modelo. Una verificación de validación aborta cualquier fusión que degrade la precisión.
• Agrupación de Caminos (Path Clustering): Se identifican los caminos con conjuntos idénticos de condiciones de nodos desordenados (p. ej., A > 5 Y B > 10 frente a B > 10 Y A > 5). Dado que el resultado es insensible al orden, el protocolo computa la evaluación del camino (SumPath) solo una vez para el conjunto único de condiciones, reutilizando el resultado para todos los caminos coincidentes.

2. Conversión de Código Ciego (Blind Code Conversion - BCC)

Para resolver el dilema de la agregación de puntuación (C2), Silentwood introduce un protocolo ligero de dos partes que cierra la brecha entre la evaluación eficiente de SumPath y la agregación de puntuación aritmética:

• Proceso: El servidor baraja y rellena homomórficamente los textos cifrados de SumPath (que contienen 0s para caminos verdaderos y valores aleatorios distintos de cero para falsos) para crear una distribución uniformemente aleatoria. Este texto cifrado se envía al cliente.
• Rol del Cliente: El cliente descifra los datos, convierte los 0s en 1s y los valores distintos de cero en 0s (invirtiendo los valores ciegamente), vuelve a cifrar el resultado y lo envía de vuelta.
• Rol del Servidor: El servidor recibe el texto cifrado convertido (ahora con 1s para caminos verdaderos y 0s para falsos) y realiza una única multiplicación homomórfica con las puntuaciones de hoja en texto plano. Esto selecciona efectivamente los valores de las hojas correctas sin requerir cadenas de multiplicación profundas.
• Seguridad: El barajado asegura que el cliente no aprenda nada sobre los resultados específicos de los caminos, y el servidor no aprende nada sobre los valores intermedios durante la conversión del cliente.

3. Compresión de Texto Cifrado (Ciphertext Compression)

Para abordar la sobrecarga de comunicación (C3), SilentWood optimiza la consulta inicial del cliente:

• Mecanismo: En lugar de codificar repetidamente las entradas de características para cada ranura de comparación (como requiere la alineación SIMD estándar), el cliente elimina estas repeticiones antes del cifrado, creando un texto cifrado compacto.
• Descompresión: Al recibirlo, el servidor realiza una descompresión homomórfica (usando rotaciones y adiciones) para restaurar el formato de datos repetitivos original requerido para las comparaciones SIMD.
• Beneficio: Esto reduce significativamente el tamaño de la comunicación cliente-servidor (p. ej., de ~85 MB a ~15 MB para características de 32 bits) sin filtrar información de texto plano durante el proceso de descompresión.

Contribuciones Clave

El artículo presenta las siguientes contribuciones:

1. Diseño del Protocolo: La propuesta de SilentWood, el primer protocolo de inferencia privada optimizado específicamente para bosques de decisión de potenciación de gradiente altamente escalables.
2. Técnicas de Optimización: La introducción de tres técnicas específicas:
   • Agrupación de Computación: Agrupación de nodos y caminos para eliminar operaciones homomórficas redundantes.
   • Conversión de Código Ciego (BCC): Un protocolo que permite la agregación aritmética eficiente de las puntuaciones de los árboles usando SumPath sin altos costos de multiplicación.
   • Compresión de Texto Cifrado: Un método para reducir el tamaño de la consulta del cliente eliminando la codificación de datos repetitivos antes del cifrado.
3. Implementación y Evaluación: Una implementación de prototipo en C++ y una evaluación extensa a través de 13 conjuntos de datos UCI, comparando el rendimiento contra líneas base de vanguardia.

Resultados

Los autores evaluaron SilentWood contra tres líneas base:

• Línea Base: RCC-PDTE (un protocolo FHE de vanguardia) con agregación MultiplyPath ingenua.
• Zama Concrete ML: Una implementación basada en TFHE.
• SoK-GGG: Un protocolo de computación de garbled circuit (GC) de dos partes de vanguardia.

Métricas de Rendimiento (CPU-FHE, características de 32 bits, 100 árboles):

• Aceleración sobre la Línea Base: SilentWood es hasta 42.5x más rápido (promedio 32.7x).
• Aceleración sobre Zama: SilentWood es hasta 27.8x más rápido (promedio 27.8x).
• Aceleración sobre SoK-GGG: SilentWood es hasta 2.94x más rápido (promedio 2.2x).
• Comunicación: SilentWood reduce el tamaño de la comunicación cliente-servidor aproximadamente 5x en comparación con la línea base (p. ej., 15.12 MB frente a 85.7 MB para datos de 32 bits).

Estudio de Ablación:

• BCC proporcionó la mayor contribución de aceleración (~19.7x), principalmente al evitar cadenas de multiplicación costosas.
• Agrupación de Computación contribuyó con una aceleración de ~1.54x.
• Compresión de Texto Cifrado contribuyó con una aceleración de ~1.08x en entornos de baja latencia, pero su beneficio crece significativamente a medida que aumenta el tiempo de ida y vuelta (RTT) de la red.

Precisión: La técnica de agrupación de nodos preserva la precisión del modelo, manteniendo una precisión promedio de 0.90 a través de varias intensidades de agrupación y configuraciones de árboles.

Significancia

El artículo afirma que SilentWood representa un avance significativo para hacer práctica la inferencia privada para modelos de potenciación de gradiente. Al abordar las ineficiencias específicas de escalar la PDTE de árboles individuales a bosques —específicamente la explosión de rotaciones, la incompatibilidad de los métodos de agregación y la hinchazón de la comunicación— SilentWood logra tiempos de inferencia órdenes de magnitud más rápidos que los enfoques FHE existentes y competitivos con (o más rápidos que) los enfoques basados en MPC. Los autores enfatizan que esto permite el despliegue de modelos de potenciación de gradiente de alta precisión y explicables en entornos de MLaaS sensibles a la privacidad donde los protocolos anteriores eran prohibitivamente lentos o pesados en comunicación.