Detecting Atypical Clients in Federated Learning via Representation-Level Divergence

Resumen Técnico: Detección de Clientes Atípicos en Aprendizaje Federado mediante Divergencia a Nivel de Representación

Enunciado del Problema

El Aprendizaje Federado (AF) permite el entrenamiento colaborativo de modelos en clientes distribuidos sin compartir datos crudos, abordando restricciones de privacidad y seguridad. Sin embargo, el AF enfrenta desafíos significativos debido a la heterogeneidad de los datos (distribuciones no i.i.d.), lo que a menudo conduce a una convergencia inestable y a un rendimiento global degradado. Más allá de la heterogeneidad estadística benigna, las implementaciones prácticas enfrentan riesgos donde las actualizaciones de los clientes se desvían debido a cambios de distribución, deriva de sensores o entradas anómalas.

Los enfoques actuales para detectar tales desviaciones a menudo se basan en comparar parámetros del modelo o gradientes. Los autores argumentan que estos métodos ofrecen una visión limitada sobre cómo diferentes clientes afectan el comportamiento funcional interno y los límites de decisión de la Red Neuronal (RN). Existe la necesidad de un mecanismo para distinguir entre la variabilidad esperada causada por datos no i.i.d. y las desviaciones potencialmente dañinas que comprometen la estabilidad o la confiabilidad del proceso de agregación.

Metodología

El artículo propone una métrica geométrica ligera para cuantificar la divergencia funcional entre el modelo local de un cliente y el modelo global. En lugar de analizar parámetros, el enfoque se centra en la partición del espacio de entrada inducida por la activación.

1. Patrones de Activación y Partición del Espacio de Entrada:

   • Para una Red Neuronal Feedforward (FF) basada en ReLU, los autores definen patrones de activación binarios $a_l(x; \theta)$ para cada capa $l$.
   • Estos patrones dividen el espacio de entrada en regiones afines por tramos. Las muestras que comparten el mismo patrón de activación pertenecen a la misma región.
   • Los autores utilizan un conjunto de sondas $P$ fijo y compartido (un subconjunto i.i.d. de datos) para evaluar estos patrones.

2. Métrica de Afinidad de Activación:

   • Para una capa dada $l$, la afinidad de activación $K^\theta_l(i, j)$ entre dos muestras de sonda $x_i$ y $x_j$ se calcula basándose en la distancia de Hamming entre sus patrones de activación.
   • Esta métrica cuantifica la "distancia" entre muestras en términos del número de hiperplanos cruzados. Una alta afinidad indica que las muestras se encuentran en las mismas o en regiones cercanas; una baja afinidad indica una separación por múltiples hiperplanos.
   • Esto da como resultado una matriz de afinidad $K^\theta_l$ que captura cómo un modelo agrupa las entradas.

3. Divergencia Geométrica Jerárquica:

   • Para comparar un modelo de cliente ($\theta_c$) con el modelo global ($\theta_g$), los autores calculan la norma de Frobenius de la diferencia entre sus matrices de afinidad: $d_l(\theta, \theta') = \|K^\theta_l - K^{\theta'}_l\|_F$.
   • Se define una divergencia jerárquica ($D_{hier}$) para tener en cuenta la estructura de las RN. Dado que las capas tempranas definen separaciones gruesas y las capas más profundas las refinan, las discrepancias en las capas tempranas se ponderan con mayor peso.
   • La fórmula es:
     $$D_{hier}(\theta, \theta') = d_1(\theta, \theta') + \sum_{l=2}^{L} \left( \prod_{r=1}^{l-1} \lambda_r \right) d_l(\theta, \theta')$$
     donde $\lambda_l = \exp(-\beta d_l)$ actúa como un factor de reducción de peso para las capas más profundas si las capas anteriores ya exhiben diferencias significativas.

4. Detección de Anomalías:

   • En un entorno de AF, la divergencia $D_c^{(t)}$ se calcula para cada cliente $c$ en la ronda $t$.
   • Para identificar clientes atípicos, se calcula una puntuación de valor atípico robusta (puntuación z) utilizando la mediana y la Desviación Absoluta Mediana (MAD) de la distribución de divergencia entre todos los clientes.

Contribuciones Clave

• Perspectiva Geométrica: Introduce una perspectiva novedosa para analizar el comportamiento de los clientes de AF basada en la estructura geométrica inducida por los patrones de activación de las RN, en lugar de los valores de los parámetros.
• Métrica Ligera: Propone una métrica que cuantifica la divergencia funcional midiendo cómo el entrenamiento local altera la organización del espacio de entrada, capturando diferencias más allá de las comparaciones a nivel de parámetros.
• Señal Interpretable: Demuestra que esta métrica proporciona una señal interpretable para monitorear la heterogeneidad de los datos e identificar contribuciones atípicas de clientes.

Resultados Experimentales

Los autores evaluaron la métrica en dos escenarios: un MLP en Fashion-MNIST y una ResNet-18 en CIFAR-10, utilizando Descenso de Gradiente Estocástico (SGD) con partición Dirichlet para simular datos no i.i.d.

1. Validación de la Métrica (Análisis de Heterogeneidad):

   • Los experimentos variaron el parámetro Dirichlet $\alpha$ (desde $\alpha=10$ cercano a i.i.d. hasta $\alpha=0.1$ altamente heterogéneo).
   • Resultados: En configuraciones cercanas a i.i.d. ($\alpha=10$), las divergencias de los clientes se estabilizaron rápidamente. En configuraciones altamente heterogéneas ($\alpha=0.1$), la métrica capturó un aumento sistemático en la divergencia e identificó clientes que se desviaban persistentemente del modelo global, alineándose con la intuición de que distribuciones de datos distintas inducen organizaciones geométricas distintas.

2. Identificación de Clientes Anómalos:

   • Se simuló un cliente "desplazado" aplicando perturbaciones (ruido gaussiano, rotaciones, desenfoque) al conjunto de datos de un cliente, mientras los demás permanecían estándar.
   • Resultados: El cliente desplazado exhibió consistentemente una divergencia geométrica significativamente mayor y puntuaciones z robustas en comparación con los clientes regulares en todas las rondas. Mientras que los clientes regulares convergieron a valores de divergencia estables, el cliente desplazado mantuvo una desviación persistente, indicando una organización geométrica fundamentalmente diferente del espacio de entrada. Esto se mantuvo cierto en ambas arquitecturas y conjuntos de datos.

Significado y Afirmaciones

El artículo afirma que monitorear la estructura geométrica inducida por las RN proporciona una señal significativa e interpretable para evaluar las contribuciones de los clientes en el AF. La métrica propuesta distingue eficazmente entre clientes heterogéneos estables y aquellos cuyas actualizaciones inducen cambios funcionales atípicos.

Los autores posicionan este trabajo como una herramienta para estrategias de agregación conscientes del riesgo. Al identificar clientes que se desvían funcionalmente (en lugar de solo paramétricamente), el sistema puede ponderar o filtrar actualizaciones basándose en su comportamiento funcional. El artículo concluye que este enfoque abre la puerta a una agregación más informada, aunque señala que se requiere trabajo futuro para integrar esta señal directamente en el bucle de entrenamiento y aplicarla a entornos a gran escala o adversarios. El trabajo se presenta como complementario a los métodos existentes de privacidad criptográfica y robustez bizantina, ofreciendo una señal de monitoreo geométrico en lugar de garantías criptográficas formales.