Resumen Técnico: Fed-Listing

Enunciado del Problema

Las Redes Neuronales de Grafos Federadas (FedGNNs) permiten el aprendizaje colaborativo entre clientes distribuidos preservando la privacidad de los datos. Sin embargo, investigaciones recientes indican que las actualizaciones de modelo compartidas, particularmente los gradientes, pueden filtrar inadvertidamente información sensible sobre los usuarios locales. Aunque se han explorado diversos ataques de privacidad (por ejemplo, inferencia de membresía, inferencia de propiedades y reconstrucción de grafos) en FedGNNs, la Inferencia de Distribución de Etiquetas (LDI) permanece poco explorada en este contexto.

Los ataques LDI tienen como objetivo inferir la distribución estadística de las etiquetas de clase dentro del conjunto de datos privado de un cliente objetivo. En datos con estructura de grafo, este riesgo se amplifica por la homofilia, donde los nodos con etiquetas similares tienden a conectarse, provocando que las correlaciones estructurales y de características revelen implícitamente la composición de la comunidad. La filtración de la distribución de etiquetas puede exponer rasgos demográficos sensibles, comportamientos de usuarios o condiciones médicas (por ejemplo, la proporción de escaneos positivos para tumores frente a escaneos normales en un hospital), lo que conduce a violaciones de privacidad y desventajas competitivas.

Los métodos LDI existentes, como Decaf, fueron diseñados principalmente para conjuntos de datos de imágenes y dependen de las magnitudes de cambio de gradiente en la última capa lineal. Estos métodos tienen dificultades en FedGNNs porque los gradientes no solo están influenciados por las etiquetas de los nodos, sino también por estructuras vecinas complejas y grados de nodos desconocidos, lo que hace que la ingeniería inversa directa sea no trivial. Además, los ataques activos concurrentes como EC-LDA requieren que el servidor manipule los parámetros del cliente, lo que los hace detectables y disruptivos para la utilidad del modelo.

Metodología: Fed-Listing

Los autores proponen Fed-Listing (Inferencia de Distribución de Etiquetas Federada en GNNs), un marco de ataque novedoso, pasivo y sigiloso, diseñado específicamente para entornos FedGNN horizontales. El ataque asume un servidor "honesto pero curioso" que tiene acceso a las actualizaciones de modelo compartidas (gradientes) y a un conjunto de datos auxiliar, pero que no altera el proceso de entrenamiento.

El ataque procede en tres fases:

1. Particionamiento del Conjunto de Datos Auxiliar:
   El atacante utiliza un conjunto de datos auxiliar ($D_a$) con una distribución y un espacio de etiquetas similares a los de los clientes objetivo. Este conjunto de datos se divide en subconjuntos utilizando cuatro estrategias distintas para simular diversas distribuciones de clientes:

   • Proporción igual: Las clases están representadas equitativamente.
   • Distribución aleatoria: Las clases se asignan aleatoriamente (simulando escenarios no i.i.d.).
   • Clase única: Cada cliente posee muestras de una sola clase.
   • Clases faltantes: Ciertas clases están ausentes en clientes específicos.

2. Entrenamiento Federado de Sombras:
   El atacante construye múltiples instancias de "aprendizaje federado de sombras" utilizando los datos auxiliares particionados. Durante estas rondas de entrenamiento de sombras, el atacante registra los gradientes de la última capa ($g_r$) intercambiados entre los clientes de sombras y el servidor. Estos gradientes se emparejan con las distribuciones de etiquetas de verdad conocida de los clientes de sombras para formar un conjunto de datos de ataque ($T_{attack}$).

3. Entrenamiento del Modelo de Ataque e Inferencia:
   Un modelo de ataque basado en redes neuronales (específicamente un MLP) se entrena sobre $T_{attack}$ para mapear las actualizaciones de gradiente a distribuciones de etiquetas. El modelo minimiza una función de pérdida compuesta que combina:

   • Norma L1 ($L_{L1}$): Mide la discrepancia estadística entre las distribuciones predichas y las reales.
   • Divergencia de Jensen-Shannon ($L_{JS}$): Mide la superposición/separación entre distribuciones.

   Una vez entrenado, el modelo de ataque infiere la distribución de etiquetas de un cliente víctima real analizando los gradientes recibidos durante el proceso real de entrenamiento FedGNN.

Contribuciones Clave

1. Marco de Ataque Novel: Introducción de Fed-Listing, el primer ataque LDI pasivo y sigiloso diseñado específicamente para FedGNNs horizontales.
2. Pipeline de Entrenamiento de Sombras: Un pipeline diseñado que utiliza un conjunto de datos auxiliar para explorar distribuciones de datos heterogéneas, creando escenarios de ataque diversos que imitan condiciones no i.i.d. del mundo real.
3. Evaluación Exhaustiva: Experimentos extensos realizados en cuatro conjuntos de datos de referencia (Cora, PubMed, Citeseer, Amazon Computers) y tres arquitecturas GNN (GCN, GraphSage, GIN).
4. Análisis de Defensa: Análisis empírico de la resistencia de Fed-Listing frente a tres mecanismos de defensa ampliamente adoptados: Privacidad Diferencial (DP), gradientes ruidosos y compresión de gradientes.

Resultados Experimentales

Los autores evaluaron Fed-Listing frente a la adivinación aleatoria y Decaf (adaptado para datos de grafos), así como frente al ataque activo EC-LDA (utilizado como límite superior).

• Rendimiento: Fed-Listing supera significativamente a las líneas base existentes en todos los conjuntos de datos y arquitecturas. En escenarios no i.i.d. desafiantes (por ejemplo, distribuciones de clase única o dominadas por una clase), Fed-Listing mantiene una alta precisión (por ejemplo, Similitud Coseno > 0.97 en Cora), mientras que Decaf y la adivinación aleatoria muestran una degradación significativa del rendimiento.
• Eficiencia: El modelo de ataque logra un rendimiento superior utilizando gradientes de la última capa en comparación con los gradientes de todas las capas, reduciendo el tiempo de entrenamiento hasta en 479 veces en el conjunto de datos Amazon Computers, manteniendo o mejorando la precisión de inferencia.
• Arquitectura del Modelo: Se encontró que un modelo de ataque basado en MLP es tan efectivo como un modelo basado en CNN, pero con significativamente menos parámetros (~44 veces menos), ofreciendo una solución más eficiente.
• Resistencia a Defensas: Los mecanismos de defensa existentes luchan por mitigar Fed-Listing sin degradar severamente la utilidad del modelo.
  • Privacidad Diferencial (DP): Aumentar el presupuesto de privacidad ($\epsilon$) generalmente mejora la utilidad del modelo, pero también aumenta la efectividad del ataque, excepto en valores bajos específicos.
  • Gradientes Ruidosos: Niveles altos de ruido degradan tanto la precisión del modelo como la fiabilidad del ataque, pero niveles intermedios de ruido aún permiten un éxito moderado del ataque.
  • Compresión de Gradientes: Aunque la compresión reduce el éxito del ataque en ciertos umbrales (por ejemplo, $\alpha=0.5$), requiere un compromiso donde ratios de compresión más altos mejoran la utilidad del modelo pero pueden no eliminar completamente la filtración.

Significado y Afirmaciones

El artículo afirma que Fed-Listing expone una vulnerabilidad crítica en las implementaciones actuales de FedGNN: la filtración de la distribución de etiquetas es un riesgo de privacidad significativo y poco explorado. Los autores enfatizan que:

• El ataque es pasivo y sigiloso, lo que lo hace difícil de detectar en comparación con los ataques activos que manipulan los parámetros de entrenamiento.
• Los mecanismos de defensa actuales son insuficientes; o bien no logran detener el ataque o requieren una perturbación tan fuerte que la utilidad del modelo global se ve severamente comprometida.
• Los hallazgos destacan la necesidad urgente de nuevos mecanismos de preservación de privacidad diseñados específicamente para prevenir la filtración de distribución de etiquetas en el aprendizaje federado basado en grafos, en lugar de depender de defensas diseñadas para entornos centralizados o basados en imágenes.

El trabajo concluye que comprender estas implicaciones de seguridad es esencial para el despliegue robusto de FedGNNs en sistemas sensibles del mundo real, como atención médica, sistemas de recomendación e investigación interinstitucional.