Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

Resumen Técnico: Computación Codificada Distribuida Aproximada, Privada y Verificable

Planteamiento del Problema
Los paradigmas de aprendizaje automático distribuido, específicamente el Aprendizaje Federado (FL) y el Aprendizaje Descentralizado (DL), permiten el entrenamiento colaborativo de modelos sin centralizar los datos brutos. Sin embargo, estos sistemas siguen siendo vulnerables a dos clases distintas de amenazas: la filtración de privacidad (donde los adversarios infieren datos sensibles a partir de las actualizaciones del modelo) y la manipulación maliciosa (ataques bizantinos donde los participantes inyectan actualizaciones envenenadas). Las defensas existentes suelen abordar estas amenazas de forma aislada. Las tecnologías de mejora de la privacidad (PETs), como el cifrado homomórfico o la privacidad diferencial, suelen incurrir en sobrecargas computacionales prohibitivas o degradan la utilidad del modelo. Por el contrario, las técnicas de agregación robustas mitigan el comportamiento malicioso pero rara vez abordan la filtración de privacidad y suelen estar diseñadas para arquitecturas específicas. Además, la mayoría de los trabajos previos se centran en el FL con un agregador central, dejando poco explorados los entornos descentralizados —donde se intercambian datos en lugar de actualizaciones de modelos— en cuanto a una resiliencia de adversarios unificada.

Metodología
Los autores proponen un marco unificado y agnóstico al modelo que aborda conjuntamente la privacidad y la integridad tanto en entornos de FL como de DL. El fundamento técnico central es la Computación Codificada Aproximada con Privacidad Generalizada (GPBACC), una técnica de computación codificada que mejora la privacidad y es aplicable a modelos de aprendizaje automático arbitrarios.

1. Mecanismo Central (GPBACC):

   • Construido sobre la Computación Codificada Aproximada con Berrut (BACC), que utiliza la interpolación racional (formulación de barycentro de Berrut) para distribuir la computación de funciones arbitrarias mientras se toleran los rezagados (stragglers).
   • Extensión de Privacidad: GPBACC introduce ruido aleatorio Gaussiano en el proceso de codificación. El nodo maestro codifica los tensores de datos utilizando una función de interpolación racional aumentada con términos de ruido aleatorio. Esto crea un efecto de canal de Ruido Blanco Gaussiano Aditivo (AWGN), limitando la información mutua accesible para los nodos semi-honestos coludidos.
   • Generalización: A diferencia de esquemas anteriores, GPBACC soporta configuraciones de múltiples fuentes y entradas de tensores de rango arbitrario, lo que lo hace adecuado para cargas de trabajo de aprendizaje profundo (deep learning).

2. Integración de Aprendizaje Federado (FL):

   • En el FL, donde existe un agregador central, el marco integra GPBACC con estrategias de agregación robustas (por ejemplo, Mediana por Coordenadas, Media Recortada, Krum, Multi-Krum).
   • La regla de agregación se establece como la función objetivo $f$ evaluada por los trabajadores. El sistema establece la dimensión de compresión de codificación $K=1$ para permitir la decodificación por coordenada, lo que permite al agregador reconstruir la actualización agregada de forma robusta con alta precisión numérica, a pesar de la naturaleza aproximada de la codificación.

3. Integración de Aprendizaje Descentralizado (DL):

   • En el DL, donde no existe un agregador central, el marco emplea un flujo de verificación que combina la Decodificación y Comparación Aproximada (ADC) y el Pruebas de Grupo (GT).
   • ADC: Dado que GPBACC introduce perturbaciones controladas para la privacidad, las comprobaciones de igualdad exacta son insuficientes. La ADC establece un umbral dinámico ($\tau$) basado en una estrategia de bootstrap para determinar si los resultados reconstruidos de diferentes subconjuntos de trabajadores son consistentes dentro de un envolvente de error aceptable.
   • Pruebas de Grupo (Group Testing): Para aislar eficientmente a los trabajadores maliciosos sin una decodificación completa, el sistema utiliza matrices de agrupación no adaptativas. Los trabajadores se agrupan, y sus resultados agrupados se prueban contra el umbral de la ADC. Un decodificador de Pruebas de Grupo ruidoso (por ejemplo, COMP, DD) identifica el conjunto de trabajadores adversarios, los cuales son luego podados antes de la reconstrucción final.

Contribuciones Clave

• Marco Unificado: Definición de un único marco que aborda simultáneamente la filtración de privacidad y el comportamiento malicioso tanto en los paradigmas de FL como de DL sin restringir la aplicabilidad a arquitectes de modelos específicos.
• Adaptación de FL: Propuesta para combinar GPBACC con estrategias de agregación robustas, preservando la naturaleza agnóstica al modelo del esquema de codificación.
• Adaptación de DL: Propuesta para complementar GPBACC con técnicas de decodificación y comparación aproximada y pruebas de grupo, permitiendo una verificación ligera y el aislamiento de adversarios sin un agregador de confianza.
• Evaluación Basada en Ataques: Una metodología de evaluación práctica que implementa explícitamente ataques de privacidad representativos (Ataques de Inferencia de Membresía) y comportamientos maliciosos (Cambio de Etiquetas, Adición de Ruido, Ruido Gaussiano) para validar empíricamente la eficacia del marco, en lugar de depender únicamente de garantías teóricas.

Resultados Experimentales
El marco fue evaluado en Redes Neuronales Convolucionales (CNN) utilizando los conjuntos de datos MNIST y CIFAR10.

• Aprendizaje Federado:

  • Privacidad: Bajo Ataques de Inferencia de Membresía (RMIA), GPBACC redujo significativamente el Área Bajo la Curva (AUC) a niveles cercanos al azar (~0.50), comparable al Cifrado Homomórfico Multicave (MKHE) y a la Privacidad Diferencial (DP-SVT), pero sin la severa degradación de la utilidad vista en DP.
  • Robustez: Bajo ataques de Cambio de Etiquetas y Adición de Ruido, GPBACC combinado con agregadores robustos (Mediana, Multi-Krum) mantuvo una alta precisión, igualando de cerca las líneas base robustas sin protección. Aunque la agregación Krum mostró sensibilidad al ruido de decodificación aproximada, el sistema aun así convergió.
  • Utilidad: GPBACC preservó la utilidad del modelo limpio casi perfectamente, con desviaciones de precisión por debajo de $4 \times 10^{-4}$ en comparación con las líneas base sin protección.

• Aprendizaje Descentralizado:

  • Robustez: Bajo ataques de adición de ruido, el DL sin protección colapsó (precisión ~0.63), mientras que GPBACC con ADC+GT mantuvo una alta precisión (>0.96), demostrando una resiliencia comparable a la computación codificada exacta (ALCC), pero con mayor flexibilidad.
  • Privacidad: La información mutua entre los conjuntos de datos originales y codificados se estimó utilizando el estimador KSG, arrojando ~1.012 bits, lo cual se alinea estrechamente con los límites de privacidad teóricos derivados del análisis de información-teórica.

Significancia y Reivindicaciones
El artículo afirma que la combinación de la computación codificada con mejora de la privacidad (GPBACC) con estrategias de resistencia a adversarios específicas de cada paradigma proporciona una base práctica y desplegable para el aprendizaje automático distribuido seguro. A diferencia de trabajos previos que tratan la privacidad y la robustez de forma aislada o dependen de primitivas criptográficas pesadas, este enfoque ofrece una solución unificada y validada mediante ataques que equilibra las garantías de privacidad, la robustez contra adversarios activos y la utilidad del modelo. Los autores enfatizan que su contribución radica en cerrar estas brechas a través de los paradigmas de aprendizaje, ofreciendo un mecanismo de defensa independiente de la arquitectura adecuado para el despliegue en el mundo real. El trabajo no pretende resolver todos los modelos de amenazas, sino demostrar que la integración explícita y dirigida por ataques de estas técnicas reduce significamente la filtración de privacidad y mejora la resiliencia en comparación con las defensas aisladas existentes.