Byzantine-Robust Aggregation for Securing Decentralized Federated Learning

Resumen Técnico: Agregación con Robustez Bizantina para Asegurar el Aprendizaje Federado Descentralizado

Planteamiento del Problema

El Aprendizaje Federado Descentralizado (DFL, por sus siglas en inglés) extiende el paradigma del Aprendizaje Federado (FL) al eliminar el servidor central, mejorando así la escalabilidad, la tolerancia a fallos y la privacidad al evitar un único punto de falla. Sin embargo, esta descentralización introduce vulnerabilidades de seguridad significativas, particularmente en lo que respecta a fallos bizantinos, donde los clientes maliciosos (nodos bizantinos) intentan interrumpir el proceso de aprendizaje enviando actualizaciones de modelos arbitrarias o envenenadas.

Si bien existen numerosos algoritmos de agregación con robustez bizantina para el FL centralizado (CFL), el artículo señala que la mayoría están diseñados para escenarios centralizados y pueden no ser igualmente eficientes en entornos descentralizados. En el DFL, la ausencia de un coordinador central complica la implementación de algoritmos de seguridad uniformes, y la naturaleza dinámica de las topologías descentralizadas, combinada con las capacidades heterogéneas de los nodos, crea desafíos únicos. La literatura existente carece de un algoritmo de agregación con robustez bizantina dedicado, diseñado específicamente para DFL que considere tanto las estadísticas espaciales como las variables en el tiempo.

Metodología

Los autores proponen WFAgg, un nuevo algoritmo de agregación con robustez bizantina diseñado específicamente para entornos DFL. El núcleo de la metodología consiste en un proceso de filtrado de múltiples etapas y agregación ponderada ejecutado localmente por cada nodo basándose en los modelos recibidos de sus vecinos.

1. Configuración del Sistema:
El sistema se modela como un escenario de dispositivos cruzados (cross-device) donde $N$ clientes colaboran a través de un grafo no dirigido $G$. Los clientes se comunican mediante un protocolo inspirado en Gossip, reenviando los modelos entrenados a todos sus vecinos. El objetivo es minimizar la función de pérdida empírica en toda la red sin un servidor central.

2. El Algoritmo WFAgg:
WFAgg emplea un enfoque de tres filtros para identificar y mitigar los modelos maliciosos antes de la agregación. Un modelo solo se considera "benigno" si supera criterios específicos en estos filtros. Los filtros operan secuencialmente:

• WFAgg-D (Basado en Distancia): Calcula la distancia euclidiana entre cada modelo recibido y la mediana de los modelos recibidos. Selecciona los $K-f-1$ modelos con las distancias más pequeñas, donde $K$ es el número de modelos recibidos y $f$ es el número estimado de nodos maliciosos.
• WFAgg-C (Basado en Similitud): Calcula la distancia de coseno entre los modelos recibidos y el modelo mediano. También emplea el recorte de magnitud (magnitude clipping) basado en la magnitud de la mediana. Selecciona los $K-f-1$ modelos con las distancias de coseno más pequeñas, filtrando eficazmente los modelos que se desvían significativamente en dirección.
• WFAgg-T (Basado en el Tiempo): Analiza la evolución temporal de las actualizaciones de los modelos. Compara la actualización actual de un vecino contra una ventana de tiempo de sus actualizaciones previas (usando distancia euclidiana y similitud de coseno). Utiliza una Media Móvil Exponencialmente Ponderada (EWMA) para establecer umbrales de media y desviación estándar. Las actualizaciones que caen fuera de estos umbrales se marcan como abruptas y potencialmente maliciosas.

3. Agregación Ponderada (WFAgg-E):
Una vez que los filtros identifican los subconjuntos de modelos benignos ($T_1, T_2, T_3$), el algoritmo asigna pesos a cada modelo recibido según cuántos filtros lo identificaron como benigno.

• Un modelo identificado por los tres filtros recibe el peso más alto ($\tau_1 + \tau_2 + \tau_3$).
• Un modelo identificado por solo un filtro se le asigna un peso de cero (rechazado).
• Un modelo identificado por dos filtros recibe un peso parcial.
  La agregación final utiliza un promedio ponderado por coordenadas (similar a FedAvg pero con ponderación diferencial para el modelo local y los vecinos), controlado por un factor de suavizado $\alpha$.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Diseño de un Nuevo Algoritmo: El desarrollo de WFAgg, un algoritmo de agregación con robustez bizantina diseñado específicamente para DFL que integra técnicas de filtrado espacial (distancia/similitud) y temporal.
2. Evaluación Comparativa: Una evaluación sistemática de los algoritmos de robustez bizantina centralizados de vanguardia (Estado del Arte o SOTA) como Mean, Median, Trimmed-Mean, Krum, Multi-Krum y Clustering cuando se aplican a entornos descentralizados, resaltando sus limitaciones.
3. Validación Empírica: Experimentos extensos en una tarea de clasificación de imágenes IID (MNIST) bajo varios escenarios de ataque bizantino (Ruido, Inversión de Signo, Inversión de Etiqueta, ALIE, IPM) demostrando que WFAgg supera a los esquemas centralizados en entornos descentralizados.
4. Marco de Simulación: La implementación de un simulador DFL basado en Python para realizar estos experimentos, soportando topologías tanto centralizadas como descentralizadas.

Resultados

Los experimentos se realizaron en una red de 20 nodos (10% maliciosos) utilizando una topología de grafo regular de grado 8. Los resultados indican:

• Robustez contra Ataques: WFAgg mitigó con éxito todos los ataques probados (incluyendo Ruido, Inversión de Signo, Inversión de Etiqueta, ALIE e Inversión de Producto Interno [IPM] variantes) tanto en escenarios centralizados como descentralizados.
• Comparación con SOTA:
  • Algoritmos centralizados estándar como Mean y Trimmed-Mean fallaron en converger o sufrieron caídas significativas de precisión bajo ataques de Ruido e IPM-100 en entornos descentralizados.
  • Los algoritmos basados en distancia (Krum, Multi-Krum) tuvieron dificultades con ataques IPM-0.5 en escenarios descentralizados debido a la incapacidad de distinguir cambios direccionales sutiles.
  • Los métodos basados en agrupamiento (clustering) fallaron bajo ataques de Ruido en entornos descentralizados.
  • WFAgg mantuvo una alta precisión (por ejemplo, ~95-98% en varios escenarios) y logró una convergencia más rápida en comparación con los algoritmos SOTA probados en el entorno descentralizado.
• Consistencia del Modelo: Usando la métrica R-cuadrado ($R^2$) para medir la similitud de los modelos locales entre nodos benignos, WFAgg demostró una consistencia de convergencia superior en comparación con los algoritmos SOTA basados en filtrado como Krum y Clustering, que mostraron valores de $R^2$ más bajos debido a que los nodos seleccionaban diferentes subconjuntos de modelos.
• Desempeño de Nodos Individuales: El análisis de la evolución de la precisión de los nodos individuales mostró que los nodos benignos convergieron a una alta precisión en pocas rondas, incluso rodeados de vecinos maliciosos, mientras que los nodos maliciosos fueron efectivamente aislados por el mecanismo de ponderación.

Significancia y Reivindicaciones

El artículo afirma que WFAgg representa un enfoque novedoso en la literatura, ya que es el primero en abordar explícitamente la robustez bizantina en escenarios descentralizados al considerar tanto las estadísticas espaciales como las variables en el tiempo. Los autores aseguran que su integración de múltiples filtros ligeros permite que el sistema se adapte a la naturaleza dinámica y adversaria de los entornos descentralizados de IoT.

El estudio concluye que, si bien los esquemas de agregación robusta centralizados existentes ofrecen cierta protección, son insuficientes para los desafíos específicos del DFL. El algoritmo WFAgg propuesto proporciona una alternativa más eficiente y robusta, asegurando la precisión y convergencia del modelo incluso ante diversos ataques bizantinos. Los autores sugieren que el trabajo futuro debería centrarse en optimizar las redes de comunicación (por ejemplo, usando Redes Definidas por Software) para reducir aún más la sobrecarga y la latencia en estos procesos de aprendizaje descentralizados.