Resumen Técnico: FedTopo

Planteamiento del Problema

El Aprendizaje Federado (FL) permite el entrenamiento colaborativo a través de silos de datos descentralizados sin centralizar los datos brutos. Sin embargo, el FL estándar asume arquitecturas de clientes idénticas, lo cual suele ser poco práctico debido a las variaciones en los recursos computacionales y las restricciones de despliegue. El FL heterogéneo en modelos aborda esto permitiendo que los clientes utilicen diferentes arquitecturas de red base (backbone).

El desafío central en el FL de modelos heterogéneos es la transferencia de conocimiento global a través de espacios de representación no alineados. Los paradigmas existentes comparten conocimiento mediante:

1. Compartición Parcial de Parámetros: Requiere espacios de parámetros alineados y arquitecturas compatibles.
2. Destilación de Conocimiento: Requiere un espacio de salida compartido o datos públicos auxiliares para alinear las predicciones.
3. Compartición de Prototipos: Intercambia prototipos por clase (coordenadas de características).

Los tres paradigmas codifican el conocimiento en un espacio absoluto (pesos, logits o coordenadas de características) que debe ser alineado entre clientes. Bajo backbones heterogéneos, la misma dimensión de características puede codificar factores semánticos diferentes entre clientes. En consecuencia, el promedio directo de prototipos o parámetros conduce a un conocimiento global poco fiable y desorienta el entrenamiento local.

Metodología: FedTopo

Los autores proponen FedTopo (Aprendizaje Guiado por Topología Federada), un marco que cambia la compartición de coordenadas absolas por la compartición de la topología de relación entre clases. En lugar de preguntar "¿dónde se encuentra una clase en el espacio de características?", FedTopo pregunta "¿cómo se relacionan las clases entre sí dentro del espacio local de un cliente?".

El marco opera en tres etapas:

1. Construcción de la Topología de Relación a Nivel de Relación (Lado del Cliente)

Cada cliente $k$ entrena su modelo heterogéneo local sobre datos privados.

• Extracción de Prototipos: El cliente calcula los prototipos de clase $p_{k,c}$ (representaciones medias de características) para las clases presentes en su conjunto de datos local.
• Construcción de la Matriz de Relación: En lugar de subir los prototipos, el cliente calcula una matriz de relación local $R_k \in [0, 1]^{C \times C}$. La entrada $R_k(c, c')$ representa la similitud de coseno entre los prototipos de la clase $c$ y la clase $c'$, reescalada a $[0, 1]$.
• Estadísticas: El cliente registra el recuento de muestras por clase $n_k$ para cuantificar el soporte estadístico de estas relaciones.
• Carga (Upload): Solo se suben la matriz de relación $R_k$ y las estadísticas $n_k$. Los prototipos brutos y las coordenadas de características permanecen locales.

2. Agregación de Topología Global Consciente de la Fiabilidad (Lado del Servidor)

El servidor agrega las relaciones locales en una topología global $R_g$ y una matriz de fiabilidad $S_g$.

• Enmascaramiento: Una máscara binaria $M_k$ excluye los pares de clases que no fueron observados en un cliente específico.
• Ponderación de Fiabilidad: Se calcula un peso $w_k(c, c')$ basado en la media armónica de los recuentos de muestras para las dos clases. Las relaciones respaldadas por pocas muestras son penalizadas.
• Agregación: La relación global $\tilde{R}_g$ es un promedio ponderado por fiabilidad de las relaciones locales válidas.
• Matriz de Fiabilidad: $S_g$ rastrea la cantidad relativa de evidencia que respalda cada par de relaciones globales.
• Suavizado: Se aplica una Media Móvil Exponencial (EMA) a $R_g$ para reducir las fluctuaciones de ronda a ronda.
• Difusión (Broadcast): El servidor difunde $(R_g, S_g)$ a los clientes.

3. Entrenamiento Local Guiado por la Topología (Lado del Cliente)

Los clientes utilizan la topología global para agudizar sus fronteras de decisión locales sin alinear los espacios de características.

• Selección de Guía: Para una muestra de entrenamiento con una verdad de campo (ground truth) $y$, el cliente selecciona las $q$ clases negativas superiores que son más topológicamente similares a $y$ (basándose en $R_g$) y que cuentan con mayor respaldo de fiabilidad (basándose en $S_g$).
• Modulación de Logits: Los logits de estas clases negativas seleccionadas se incrementan por un factor $\gamma$.
• Función de Pérdida: La pérdida local combina la pérdida de entropía cruzada estándar con un término auxiliar que penaliza al modelo si no logra distinguir la verdad de campo de estas clases negativas "difíciles".
• Inferencia: La topología global se utiliza únicamente durante el entrenamiento. En el momento de la inferencia, los clientes utilizan sus modelos locales originales, lo que implica cero sobrecarga de inferencia.

Principales Contribuciones

1. Compartición de Conocimiento a Nivel de Relación: FedTopo es el primer marco que comparte el conocimiento global como una topología de relación de clases en lugar de parámetros, logits o coordenadas de prototipos. Esto relaja el supuesto de alineación entre clientes hacia un supuesto de consistencia intra-cliente.
2. Agregación Consciente de la Fiabilidad: El método introduce un mecanismo para reducir el peso de las relaciones no fiables causadas por datos dispersos o un soporte débil, asegurando que la topología global sea robusta ante distribuciones de datos no-IID.
3. Entrenamiento Guiado por la Topología: Un objetivo de entrenamiento novedoso que aprovecha la topología global para enfatizar las clases negativas confusas, mejorando la discriminación local sin requerir la alineación del espacio de características.
4. Eficiencia: El marco logra un rendimiento de vanguardia con bajos costos de comunicación (escalando con $O(C^2)$ en lugar de $O(C \times d)$) y sin sobrecarga de inferencia.

Resultados Experimentales

Los autores evaluaron FedTopo en CIFAR-10, CIFAR-100 y Tiny-ImageNet bajo configuraciones Dirichlet y patológicas de no-IID, utilizando ocho backbones heterogéneos (que van desde CNN hasta ResNet-152).

• Rendimiento: FedTopo superó consistentemente a los modelos de referencia en los tres paradigmas de compartición de conocimiento (parámetros, destilación y prototipos).
  • En CIFAR-10 (Dirichlet $\alpha=0.1$), FedTopo alcanzó un 87.38% de precisión, superando al mejor modelo de referencia (FedSCE con 86.18%) por 1.2 puntos.
  • En CIFAR-100 (Patológico), alcanzó un 59.30%, superando al mejor modelo de referencia (FedMRL con 57.45%) por 1.85 puntos.
• Robustez: La brecha de rendimiento se amplió a medida que la heterogeneidad de los modelos y el sesgo de los datos aumentaban, demostrando que la topología de relación de clases es más transferible que las coordenadas absolutas.
• Estudios de Ablación: Eliminar cualquier componente (ponderación de fiabilidad, selección de Top-$q$, enmascaramiento consciente de ausencias o EMA) degradó el rendimiento, confirmando la necesidad del diseño completo.
• Costo: FedTopo requirió solo 110 parámetros para subir y 200 para descargar por ronda en CIFAR-10, significativamente menor que los métodos basados en prototipos (5,120 parámetros). Añadió FLOPs de entrenamiento insignificantes y cero FLOPs de inferencia.

Significado y Reivindicaciones

El artículo afirma que FedTopo proporciona una solución más robusta para el FL heterogéneo en modelos al cambiar fundamentalmente la naturaleza del conocimiento compartido. Al pasar de la alineación de coordenadas absolutas (que falla bajo backbones heterogéneos) a la consistencia de relación relativa (que se preserva a través de diferentes espacios de características), el método permite una colaboración efectiva sin requerir arquitecturas compartidas, datos auxiliares o alineación de características.

Los autores enfatizan que este enfoque:

• Evita el problema de los "prototipos globales no fiables" inherente a la compartición de prototipos.
• Opera eficazmente en entornos libres de datos (no requiere datos auxiliares públicos).
• Ofrece una transferencia positiva incluso en entornos altamente personalizados donde los modelos locales ya son fuertes.
• Mantiene bajos costos de comunicación y computación, lo que lo hace práctico para dispositivos de borde con recursos limitados.

El trabajo concluye que la topología de nivel de relación es un portador superior para el conocimiento global en el FL heterogéneo, ofreciendo un equilibrio de transferibilidad, robustez y eficiencia que los paradigmas existentes carecen. Se sugiere como trabajo futuro la extensión de esto a escenarios multimodales y de conjunto abierto (open-set).