Decentralised Federated Learning over Temporal Networks: The Role of Heterogeneities

Resumen Técnico: Aprendizaje Federado Descentralizado sobre Redes Temporales

Planteamiento del Problema
El Aprendizaje Federado Descentralizado (DFL, por sus siglas en inglés) permite el entrenamiento de aprendizaje automático en dispositivos mediante comunicación entre pares sin un coordinador central, ofreciendo privacidad y robustez contra puntos únicos de fallo. Aunque el DFL se analiza a menudo bajo supuestos idealizados —como actualizaciones sincrónicas, topologías de red estáticas o intervalos de comunicación regulares—, los entornos de borde (edge) del mundo real (por ejemplo, teléfonos inteligentes, IoT, vehículos autónomos) exhiben inhomogeneidades estructurales y temporales inherentes. Estas incluyen conectividad irregular, patrones de comunicación por ráfagas y restricciones espaciales. El artículo sostiene que el papel de estas inhomogeneidades en entornos totalmente descentralizados aún no se comprende adecuadamente, y que las configuraciones experimentales estándar pueden sobreestimar sistemáticamente las velocidades de convergencia al ignorar la compleja dinámica de las redes temporales del mundo real.

Metodología
Los autores establecen un mapeo teórico entre la dinámica del DFL y los procesos de difusión en redes temporales. Su enfoque involucra dos marcos analíticos complementarios:

1. Sincronización en Etapa Temprana: Los autores modelan la propagación de los parámetros iniciales del modelo como un proceso de difusión de paseo aleatorio perezoso (lazy random-walk diffusion process) en una red temporal. Al rastrear la influencia de los parámetros iniciales de los nodos en el estado del sistema en un tiempo $t$, demuestran que la dinámica de mezcla es isomórfica a un paseo aleatorio perezoso en reversa temporal. Utilizan la Relación de Participación Inversa (IPR) de la distribución de probabilidad del paseo aleatorio como una métrica para la velocidad de mezcla; una disminución más rápida del IPR indica una deslocalización más rápida y, por tanto, una convergencia más rápida.
2. Régimen Estacionario: En la fase estacionaria, donde el aprendizaje local predomina, los autores tratan las actualizaciones de aprendizaje local como perturbaciones. Demuestran que la redistribución de estas perturbaciones a través de la red está gobernada por el mismo operador de difusión lineal (el Laplaciano ponderado de la red temporal) derivado del paso de agregación, incluso en presencia de actualizaciones de aprendizaje no lineales (bajo supuestos de pequeña discrepancia).

Para validar estos hallazgos, el estudio emplea:

• Redes Sintéticas: Grafos aleatorios geométricos para aislar los efectos de la dimensionalidad espacial y el decaimiento por distancia, y procesos de renovación/Hawkes para aislar la naturaleza por ráfagas (burstiness) y la autoexcitación.
• Redes del Mundo Real: Tres conjuntos de datos distintos que representan proximidad humana (RFID de escuela secundaria), trayectorias de vehículos (taxis de San Francisco) y conectividad mediada por infraestructura (Wi-Fi del campus KTH).
• Modelos de Referencia Microcanónicos Aleatorizados: Estos modelos se utilizan para destruir heterogeneidades específicas (por ejemplo, el embebimiento espacial, las correlaciones temporales) mientras preservan las propiedades generales de la red (número de nodos, número de enlaces, número total de eventos), lo que permite aislar las contribuciones de cada heterogeneidad individual.

Contribuciones Clave

1. Mapeo de Difusión Unificado: El artículo establece que la convergencia del DFL, tanto en la sincronización temprana como en las fases estacionarias, está gobernada por la misma dinámica que un proceso de difusión de paseo aleatorio perezoso en redes temporales. Esto proporciona un marco analíticamente tratable para comprender la convergencia del DFL.
2. Cuantificación del Impacto de la Heterogeneidad: El estudio demuestra que tanto las heterogeneidades estructurales (por ejemplo, el embebimiento espacial de baja dimensión) como las temporales (por ejemplo, los tiempos entre eventos con distribución de cola pesada o procesos de autoexcitación) ralentizan universalmente el proceso de difusión.
3. Sesgo en los Benchmarks Estándar: Los autores muestran que las configuraciones experimentales estándar (que utilizan grafos aleatorios homogéneos con intervalos de comunicación regulares) están sistemáticamente sesgadas hacia una convergencia irrealmente rápida. En las redes del mundo real, un modelo base totalmente aleatorizado con idénticos recuentos de nodos/enlaces/eventos puede mezclarse decenas o incluso más de cien veces más rápido que la red empírica.

Result Resultados

• Dimensionalidad Espacial: El embebimiento espacial de baja dimensión (por ejemplo, 2D o 3D) aumenta significativamente el tiempo de relajación en comparación con los modelos de alta dimensión o de campo medio (Erdős–Rényi). Un mayor decaimiento por distancia (menor "temperatura" en grafos geométricos) ralentiza aún más la difusión.
• Burstiness Temporal: Las distribuciones de tiempo entre eventos de cola pesada (procesos de renovación de ley de potencia) y los procesos de autoexcitación (procesos de Hawkes) reducen drásticamente la velocidad de mezcla. Cuanto más agrupados estén los eventos (mayor burstiness o autoexcitación), más lenta es la convergencia.
• Redes del Mundo Real: El análisis de los tres conjuntos de datos del mundo real confirma que la coocurrencia de múltiples heterogeneidades conduce a ralentizaciones significativas. La aleatorización microcanónica revela que características específicas, como las restricciones espaciales y las correlaciones temporales, son los principales impulsores de este retraso, causando a menudo que la red empírica se mezcle órdenes de magnitud más lento que una contraparte aleatorizada.

Significancia y Reivindicaciones
El artículo afirma que la heterogeneidad de la red no es un detalle de modelado secundario, sino un determinante primario de la velocidad de convergencia en el aprendizaje federado descentralizado. Los autores sostienen que ignorar las inhomogeneidades temporales y estructurales conduce a una malinterpretación fundamental de los benchmarks basados en simulaciones, resultando en expectativas excesivamente optimistas para el rendimiento del DFL en despliegues reales. En consecuencia, los hallazgos sugieren la necesidad de políticas de comunicación adaptativas a la topología y al tiempo, así como una reevaluación de los protocolos de evaluación actuales que dependen de supuestos de red idealizados. El trabajo une la teoría de la ciencia de redes (difusión en redes temporales) con el diseño de sistemas de aprendizaje automático, ofreciendo una lente más realista para predecir el comportamiento del DFL.