Resumen Técnico: FIRMA (Agregación de Modelo en Anillo Fibonacci para Aprendizaje Federado con Preservación de Privacidad)

1. Declaración del Problema

El Aprendizaje Federado (FL) enfrenta actualmente un trilema estructural en cuanto a privacidad, descentralización y personalización del modelo:

1. Dependencia del Servidor e Inversión de Gradientes: Los protocolos canónicos como FedAvg dependen de un servidor central para agregar las actualizaciones completas del modelo. Esto crea un único punto de fallo y expone al servidor a ataques de inversión de gradientes, donde un servidor semi-honesto puede reconstruir los datos de entrenamiento de los clientes.
2. Exposición de la Cabeza en FL Personalizado: Los métodos personalizados (por ejemplo, FedRep) mejoran el rendimiento bajo datos no IID manteniendo la cabeza de clasificación local mientras comparten el extractor de características. Sin embargo, aún requieren un servidor central para la agregación, conservando el único punto de fallo y los riesgos de inversión de gradientes.
3. Limitaciones de las Topologías de Anillo Descentralizadas: Las alternativas descentralizadas (por ejemplo, RDFL) eliminan el servidor utilizando gossip de pares a pares en anillo. No obstante, los protocolos de anillo existentes típicamente transmiten el modelo completo (incluida la cabeza de clasificación) a los vecinos, exponiendo información discriminativa sensible. Además, dependen de pesos uniformes e informados (por ejemplo, 0.5/0.5) para la mezcla de vecinos, ignorando la calidad del modelo o la diversidad de datos.

La Brecha: Ningún protocolo existente logra simultáneamente: (i) operación sin servidor, (ii) cabezas de clasificación permanentemente privadas (nunca transmitidas), (iii) una topología de anillo y (iv) ponderación asimétrica de vecinos basada en principios.

2. Metodología: La Familia FIRMA

El artículo propone FIRMA (Agregación de Modelo en Anillo Fibonacci), una familia de tres protocolos mejorados progresivamente diseñados para llenar el cuadrante "Arriba-Derecha" del espacio de diseño de FL (Sin Servidor + Cabeza Privada).

Fundamento Matemático Central

Los protocolos utilizan la Proporción Áurea ($\phi \approx 1.618$) para definir un par de pesos asimétricos sin parámetros para el gossip en anillo:
$$\alpha = 1/\phi \approx 0.618, \quad \beta = 1/\phi^2 \approx 0.382$$
Dado que $\alpha + \beta = 1$, esto forma una combinación convexa válida. A diferencia de los pesos uniformes, esta asimetría introduce un sesgo direccional (sesgo izquierdo) que teóricamente produce un hueco espectral más estrecho que el gossip uniforme, acelerando el consenso.

Variantes del Protocolo

La familia se estructura como un estudio de ablación donde cada variante añade exactamente un componente estructural:

1. FIBFL (Protocolo Básico):

   • Arquitectura: Topología de anillo sin servidor donde los clientes solo intercambian parámetros del extractor de características ($\theta$); las cabezas de clasificación ($\eta$) permanecen permanentemente locales y privadas.
   • Agregación: Utiliza los pesos fijos de Fibonacci ($\alpha, \beta$) para mezclar a los vecinos izquierdo y derecho.
   • Entrenamiento: Emplea un procedimiento de entrenamiento local de dos fases adaptado de FedRep: la Fase 1 adapta la cabeza local (congelando el extractor) y la Fase 2 actualiza el extractor (congelando la cabeza). Ambas fases utilizan optimizadores Adam persistentes (estado llevado a través de rondas) para mejorar la estabilidad de la convergencia.

2. FIBFL+ (Gatillado por Precisión):

   • Mejora: Introduce una interpolación gatillada por precisión.
   • Mecanismo: Mezcla el prior de Fibonacci con un posterior derivado de la precisión. Si la precisión local de un vecino cae por debajo de un umbral $\tau$, su peso se suprime.
   • Resultado: Esto reduce adaptativamente el peso de pares mal convergentes mientras preserva el sesgo direccional de Fibonacci, evitando que actualizaciones de baja calidad degraden el modelo global.

3. FIBFL++ (Sistema Completo):

   • Mejora: Aborda la limitación del ordenamiento estático del anillo y el gossip de un solo paso.
   • Solución A (Permutación de Anillo 2-Opt): Antes del entrenamiento, un algoritmo 2-Opt reordena a los clientes en el anillo para maximizar la disimilitud coseno entre las distribuciones de clases de clientes adyacentes. Esto asegura que los vecinos tengan datos complementarios, maximizando la diversidad de gradientes.
   • Solución B (Cobertura Global): En lugar de un solo paso de gossip, el protocolo realiza $K_g = \lceil N/2 \rceil$ pasos secuenciales por ronda. Esto asegura que la información de cada cliente llegue a todos los demás clientes dentro de una sola ronda, equivalente al radio de difusión de un servidor central.
   • Solución C (Retención Calibrada): Utiliza coeficientes de auto-retención con recocido coseno y una fase de calentamiento estilo FedAvg para estabilizar la convergencia durante las rondas iniciales antes de que la topología de anillo se active completamente.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones específicas:

• C1. FIBFL: El primer protocolo de FL en anillo que combina privacidad de la cabeza, ponderación asimétrica de Fibonacci y entrenamiento Adam de dos fases.
• C2. FIBFL+: Un mecanismo original de interpolación gatillada por precisión que suprime vecinos con bajo rendimiento sin abandonar el sesgo de Fibonacci.
• C3. FIBFL++: Un sistema completo que integra tres soluciones estructurales novedosas: ordenamiento de diversidad 2-Opt, cobertura global multi-paso y retención con recocido coseno.
• C4. Análisis Teórico: Establece límites de convergencia y demuestra que el par de pesos de Fibonacci proporciona un hueco espectral estrictamente más estrecho que los pesos uniformes, y que el ordenamiento 2-Opt maximiza la diversidad de clases.
• C5. Evaluación Empírica: Una evaluación sistemática a través de 168 configuraciones (4 conjuntos de datos $\times$ 7 regímenes de heterogeneidad $\times$ 6 métodos).

4. Resultados Experimentales

Los experimentos se realizaron en CIFAR-10, Fashion-MNIST, MNIST-60k y MNIST-1797 bajo regímenes IID, Dirichlet (varios $\alpha$) y de Sesgo de Etiquetas ($K$).

• Rendimiento bajo Sesgo de Etiquetas: FIBFL++ supera significativamente a FedAvg en las 12 configuraciones de sesgo de etiquetas. En CIFAR-10 con $K=1$, FIBFL++ logró una ventaja máxima de +20.7 puntos porcentuales sobre FedAvg.
• Dominancia de Pareto: Bajo heterogeneidad Dirichlet, FIBFL++ es el método dominante de Pareto entre los protocolos sin servidor, logrando la mayor precisión en 17 de 28 configuraciones.
• Equidad: FIBFL++ logra consistentemente coeficientes de Gini más bajos (mayor equidad) que FedAvg en escenarios de sesgo de etiquetas, navegando efectivamente la dualidad precisión-equidad.
• Regímenes de Datos Pequeños: En el pequeño conjunto de datos MNIST-1797 ($N=5$), FIBFL++ fue el único método propuesto que superó a FedAvg (0.9695 vs. 0.9691) en el escenario de Sesgo de Etiquetas $K=1$.
• Hallazgos de Ablación:
  • El ordenamiento de anillo 2-Opt (Solución A) fue el contribuyente dominante a las ganancias de rendimiento, particularmente en configuraciones de alta heterogeneidad (por ejemplo, +5.2 pp en MNIST-60k).
  • La selección adaptativa (FIBFL+) proporcionó ganancias marginales en comparación con los beneficios estructurales de la topología de anillo.
  • FIBFL y FIBFL+ sufrieron de inestabilidad en mesetas (alta varianza) en regímenes de datos pequeños, mientras que FIBFL++ mantuvo la estabilidad debido a la regularización estructural del anillo.

5. Significado y Afirmaciones

El artículo posiciona a FIRMA como una solución al "trilema estructural" del aprendizaje federado. Su significado principal radica en ocupar un cuadrante previamente inexplorado del espacio de diseño: Topología de Anillo entre Pares con Cabezas Permanentemente Privadas.

• Privacidad: Al mantener las cabezas de clasificación locales y utilizar un anillo sin servidor, FIRMA elimina el único punto de fallo y previene los ataques de inversión de gradientes en la cabeza discriminativa.
• Eficiencia vs. Robustez: Aunque FIBFL++ incurre en mayores costos de comunicación ($K_g$ pasos) y sobrecarga computacional (ordenamiento 2-Opt) en comparación con FedAvg, el artículo argumenta que esto está justificado en entornos heterogéneos donde FedAvg falla en converger o personaliza mal.
• Autocalibración: El ordenamiento de anillo 2-Opt se destaca como "autocalibrable", proporcionando ahorros cercanos a cero en datos homogéneos (IID) pero ahorros masivos (hasta un 95.5%) en datos altamente sesgados (no IID) sin ajuste manual.
• Guía de Implementación: Los autores concluyen que FIBFL++ es la opción recomendada para federaciones con heterogeneidad moderada a fuerte y requisitos de equidad, mientras que FedAvg sigue siendo la opción predeterminada para datos homogéneos debido a su eficiencia en comunicación. Se advierte contra el uso de FedRep en regímenes con escasez de datos debido al colapso en la equidad.

El artículo no afirma resolver todos los desafíos del FL (por ejemplo, deriva de concepto o $N > 50$ a gran escala), sino que establece una base robusta para la optimización descentralizada con preservación de la privacidad en configuraciones no IID.