Topology-Aware Differential Privacy in Federated Learning

Resumen Técnico: Privacidad Diferencial Sensible a la Topología en el Aprendizaje Federado

Declaración del Problema
El Aprendizaje Federado (FL) protege los datos de los clientes transmitiendo únicamente las actualizaciones de los modelos, mientras que el DP-SGD (Descenso de Gradiente Estocástico con Privacidad Diferencial) limita la filtración a nivel de contenido mediante el recorte de gradientes y la adición de ruido. Sin embargo, las defensas existentes operan exclusivamente sobre el contenido de las actualizaciones e ignoran la información revelada por la propia topología de comunicación. En despliegues de tipo cross-silo (por ejemplo, consorcios hospitalarios, grupos industriales), la estructura de la red y la pertenencia organizacional crean canales de información que el DP-SGD deja sin abordar. Un adversario pasivo con conocimiento de la topología y la estructura organizacional puede inferir propiedades sensibles de los datos —específicamente, la concentración de clases sensibles dentro del conjunto de datos local de un cliente— incluso cuando las actualizaciones de los parámetros están saturadas de ruido. El DP-SGD estándar aplica un multiplicador de ruido uniforme para todos los clientes, lo cual es subóptimo cuando la topología de la federación es asimétrica, ya que no tiene en cuenta la variable capacidad de influencia estructural que poseen diferentes clientes.

Metodología
El artículo propone un enfoque de dos vertientes: un modelo de amenaza formal con una herramienta de descomposición empírica (TADI) y un mecanismo de defensa basado en principios (FULCRUM).

1. Modelo de Amenaza y TADI (Inferencia Distribucional Sensible a la Topología):
   Los autores formalizan una amenaza donde un adversario observa las actualizaciones de los parámetros, el grafo de comunicación $G$ y las etiquetas organizacionales $\omega$. Para cuantificar empíricamente la filtración, introducen TADI, un regresor entrenado mediante sombras (shadow-trained) que descompone las fuentes de información del adversario en cuatro canales mediante ablación:

   • Canal de Parámetros: Información derivada únicamente de las actualizaciones de los gradientes.
   • Canal Estructural: Información derivada de la posición del cliente en el grafo (grado, profundidad, centralidad).
   • Canal Organizacional: Información derivada de las etiquetas de pertenencia organizacional.
   • Canal Combinado: La visión completa del adversario.
     TADI se entrena en federaciones de sombra para estimar la concentración de la clase sensible $p_i$ para cada cliente, permitiendo a los autores medir la contribución marginal de información de cada canal.

2. Límite Teórico y Defensa FULCRUM:
   Los autores derivan un límite de información mutua (MI) por cliente (Teorema V.2) que muestra que la filtración se separa aditivamente en:

   • Un término de mecanismo controlable (limitado por el ruido de DP-SGD).
   • Un suelo de acoplamiento de prior de no controlable determinado por la influencia estructural del cliente $\ell^\circ_i$ (la predictibilidad estadística del caso más desfavorable de los datos de un cliente dado el resto de la federación).

   Basándose en esto, derivan FULCRUM, una asignación de ruido óptima de min-max equilibrada y de forma cerrada (Teorema V.3). A diferencia del DP-SGD uniforme, FULCRUM asigna escalas de ruido $\sigma_i$ de forma asimétrica basándose en las puntuaciones de influencia estructural. Minimiza estrictamente el límite de MI del peor de los casos para todos los clientes bajo un presupuesto de utilidad fijo.

Contribuciones Clave

1. Modelo de Amenaza Formal: Una definición de la inferencia de distribución condicional a la topología, estableciendo que la posición estructural y la pertenencia organizacional actúan como canales de información no abordados.
2. Límite de MI Aditivo: Una prueba teórica que separa la filtración en un término dependiente del ruido controlable y un término de acoplamiento de prior estructural no controlable.
3. Asignación FULCRUM: Una estrategia de asignación de ruido de forma cerrada que domina estrictamente al DP-SGD uniforme siempre que la influencia estructural sea asimétrica, y degenera exactamente en el DP-SGD uniforme cuando la influencia es simétrica, garantizando la seguridad incondicional.
4. Descomposición TADI: La primera caracterización empírica de la filtración condicional a la topología, aislando las contribuciones de parámetros, estructura y organización mediante entrenamiento de sombra.
5. Validación Empírica: Evaluación exhaustiva en Fed-ISIC2019, Fed-Heart-Disease y CIFAR-10 sintético a través de seis familias de topologías.

Resultados

• Ganancias de Privacidad: FULCRUM logra ganancias de privacidad de hasta 1.967 nats (una reducción en el límite de privacidad) en comparación con el DP-SGD uniforme en entornos asimétricos (por ejemplo, topologías jerárquicas con tamaños de conjuntos de datos heterogéneos), sin un costo mensurable en la utilidad del modelo.
• Consistencia de Utilidad: Las pruebas de equivalencia estadística (TOST) confirman que las mejoras de privacidad se logran sin una degradación prácticamente significativa en la precisión del modelo (diferencia absoluta media < 0.5 puntos porcentuales).
• Hallazgos de la Descomposición de Canales:
  • El canal de parámetros está efectivamente limitado por el DP-SGD en todos los entornos; el adversario de solo parámetros no performa mejor que una línea base de media constante.
  • El canal de acoplamiento de prior (estructural/organizacional) es empíricamente alcanzable cuando el prior de sombra del adversario coincide con el prior de despliegue (por ejemplo, en entornos sintéticos con alto acoplamiento topología-datos).
  • Bajo modelos de amenaza de cross-silo realistas donde el adversario carece de etiquetas de partición nativas (priors desajustados), el límite permanece conservador y el término de acoplamiento de prior no se materializa plenamente.
• Sensibilidad a la Topología: La brecha entre FULCRUM y el DP-SGD uniforme escala con el grado de asimetría de la influencia. Las topologías simétricas (por ejemplo, anillos) producen una brecha cero, mientras que las topologías asimétricas (por ejemplo, estrellas, árboles jerárquicos) muestran ganancias significativas.

Significancia y Reivindicaciones
El artículo afirma ser el primero en tratar la topología de comunicación como un canal de información conocido que puede ser explotado para inferir propiedades sensibles de los datos y en derivar una defensa que tenga en cuenta la resultante asimetría estructural. Los autores aseguran que FULCRUM ofrece una solución "segura de adoptar incondicionalmente": proporciona mejoras estrictas de privacidad en despliegues asimétricos (el caso común en FL cross-silo) y degrada elegantemente hacia la línea base uniforme estándar en casos simétricos. El trabajo destaca que la asignación de ruido uniforme actual es subóptima para los despliegues de FL en el mundo real donde la influencia estructural varía, y proporciona un mecanismo con principios para equilibrar los presupuestos de privacidad según los riesgos estructurales específicos de cada cliente.