Resumen Técnico: Aprendizaje Federado Continuo Preciso y Eficiente en Recursos (FedRAN)

1. Planteamiento del Problema

El Aprendizaje Federado Continuo (FCL, por sus siglas en inglés) tiene como objetivo entrenar un modelo global a través de clientes distribuidos que reciben flujos secuenciales de datos no estacionarios (por ejemplo, nuevas clases o dominios) manteniendo los datos brutos de forma local. Los métodos de FCL existentes enfrentan un cuello de botella crítico: dependen de la optimización local iterativa, mecanismos de repetición (replay) o supervisión completa, lo que incurre en altos costos de comunicación, computación, memoria y disponibilidad de etiquetas.

Cuando los datos son no-IID (distribuidos de forma desigual entre los clientes) y los recursos son limitados, los enfoques estándar basados en optimización sufren de:

• Alta Sobrecarga de Comunicación: Transmisión repetida de actualizaciones de modelos a lo largo de múltiples rondas.
• Deriva de Características (Feature Drift): La actualización de los extractores de características compartidos con datos no-IID provoca que la representación de los datos previamente vistos se desplace, degradando el rendimiento en tareas antiguas.
• Escasez de Etiquetas: Muchos despliegues prácticos carecen de suficientes datos etiquetados para cada muestra entrante.
• Compromiso entre Precisión y Recursos: Los métodos analíticos (que evitan el entrenamiento iterativo) a menudo requieren transmitir estadísticas de segundo orden completas (matrices de Gram), lo que genera costos de comunicación cuadráticos en relación con la dimensión de las características.

2. Metodología: FedRAN

Los autores proponen FedRAN, un marco de FCL analítico consciente de los recursos que reemplaza las actualizaciones iterativas basadas en gradientes por estadísticas de características aleatorias compactas y soluciones de clasificador de forma cerrada.

Arquitectura Central

• Columna Vertebral Congelada (Frozen Backbone): Los clientes utilizan un extractor de características preentrenado y fijo (por ejemplo, ResNet-18 o ViT). No ocurre retropropagación en el lado del cliente, lo que elimina la deriva de características y reduce la computación.
• Mapeo de Características Aleatorias: Los clientes mapean las características extraídas en un espacio de características aleatorias de alta dimensión utilizando una matriz de proyección aleatoria compartida $P$ seguida de una no linealidad ReLU. Esto mejora la separabilidad de las características.
• Estadísticas Compactas: En lugar de enviar pesos de modelos completos o matrices de Gram completas ($M \times M$), los clientes computan y transmiten:
  1. Estadística Exacta de Etiqueta-Característica ($B_{k,t}$): La suma de las características aleatorias ponderadas por las etiquetas ($H^T Y$).
  2. Resumen Espectral de Bajo Rango: Una Descomposición en Valores Singulares (SVD) truncada de la matriz de Gram de características aleatorias locales ($H^T H$). Los clientes transmiten solo los vectores singulares dominantes ($V$) y los valores singulares ($\sigma$) hasta un rango $r$.

Agregación en el Servidor

El servidor realiza una fusión de subespacio QR-SVD de dos niveles:

1. Fusión Espacial: Agrega resúmenes de bajo rango de todos los clientes para la tarea actual.
2. Fusión Temporal: Agrega el resumen de la tarea actual con el historial global de tareas.
   Este proceso utiliza una actualización QR-SVD para mantener un subespacio espectral global acotado sin materializar la matriz completa $M \times M$. La complejidad por fusión es $O(Mr^2 + r^3)$.

Clasificador de Forma Cerrada

El clasificador global se resuelve analíticamente dentro del subespacio espectral retenido utilizando una formulación de regresión de Ridge:
$$\tilde{W} = (\text{diag}(\sigma^2) + \lambda I)^{-1} V^T B$$
El clasificador final es $W = V\tilde{W}$. Esto evita la inversión de matrices de tamaño $M \times M$, reduciéndola a una inversión diagonal de tamaño $r \times r$.

Manejo de la Escasez de Etiquetas (FedRAN-SSL)

Para abordar la escasez de etiquetas, el marco introduce el pseudo-etiquetado basado en prototipos:

• Los clientes computan prototipos de clase a partir de datos etiquetados en el espacio de características congelado.
• Las muestras no etiquetadas reciben pseudo-etiquetas si su similitud de coseno con un prototipo supera un umbral de confianza $\tau$.
• Estas muestras con pseudo-etiquetas de alta confianza se incluyen en la estadística de etiqueta-característica $B$, permitiendo que los datos no etiquetados contribuyan a la actualización analítica sin bucles de entrenamiento iterativos.

3. Contribuciones Clave

1. Marco FedRAN: Un novedoso sistema de FCL analítico que reemplaza el entrenamiento iterativo del cliente con estadísticas de características aleatorias de solo paso hacia adelante (forward-only) y actualizaciones de forma cerrada.
2. Fusión QR-SVD de Dos Niveles: Un mecanismo para agregar resúmenes de SVD truncados de bajo rango espacialmente (entre clientes) y temporalmente (entre tareas), permitiendo la retención de la geometría de segundo orden dominante sin costos de comunicación cuadráticos.
3. Límites Teóricos: Los autores proporcionan límites deterministas que relacionan el error de aproximación de la matriz de Gram y el clasificador con el rango del subespacio espectral retenido, demostando que el error es una cantidad controlable en lugar de una varianza de estimación.
4. Extensión Eficiente en Etiquetas: Una variante de pseudo-etiquetado basada en prototipos (FedRAN-SSL) que utiliza eficazmente los datos no etiquetados bajo supervisión dispersa.
5. Validación Empírica: Evaluación exhaustiva que demuestra una precisión superior, una reducción significativa de la comunicación y tiempos de entrenamiento más rápidos en comparación con las líneas base de vanguardia.

4. Resultados Experimentales

Evaluado en CIFAR-100, ImageNet-R y VTAB bajo configuraciones no-IID (distribución de Dirichlet $\beta \in [0.1, 1.0]$):

• Precisión: FedRAN mejora la precisión promedio hasta en 4.8 puntos porcentuales sobre la línea base analítica más fuerte (STSA) y supera significativamente a las líneas base basadas en optimización (por ejemplo, Finetune, FedLwF).
• Eficiencia de Comunicación: FedRAN reduce la comunicación por cliente de 30.6× a 121.8× en comparación con los métodos basados en optimización (que transmiten actualizaciones de modelos completos) y es más eficiente que los métodos analíticos de primer orden (STSA) al transmitir resúmenes espectrales de bajo rango en lugar de estadísticas de clase estimadas.
• Velocidad de Computación: FedRAN es, en promedio, 190.3× más rápido que las líneas base basadas en gradientes porque evita la retropropagación iterativa y múltiples rondas de comunicación.
• Escasez de Etiquetas: Con solo el 20% de datos etiquetados, la variante de pseudo-etiquetado mejora la precisión promedio hasta en 6.61 puntos en comparación con el uso exclusivo de datos etiquetados.
• Robustez: El método se mantiene estable a través de variaciones en el grado de sesgo de datos no-IID ($\beta$), mientras que los métodos basados en optimización muestran una degradación significativa del rendimiento a medida que el sesgo aumenta.

5. Significado y Reivindicaciones

El artículo afirma que FedRAN ocupa un punto distinto y óptimo en el diseño de FCL al:

• Desacoplar la Precisión del Costo de Recursos: Logra una alta precisión preservando las estadísticas de características de segundo orden (vía SVD de bajo rango) sin incurrir en el costo de comunicación cuadrático de las matrices de Gram completas.
• Estabilizar las Representaciones: Al congelar la columna vertebral, elimina la deriva de características inducida por el cliente, un modo de falla común en el aprendizaje federado continuo.
• Permitir el Despliegue con Recursos Limitados: Hace que el FCL sea factible para escenarios con ancho de banda, cómputo y recursos de etiquetado limitados, como la imagenología clínica o la teledetección, donde el entrenamiento iterativo es poco práctico.

Los autores concluyen que FedRAN permite un "FCL preciso y eficiente en recursos bajo restricciones de comunicación, computación y etiquetas", ofreciendo una alternativa práctica a la optimización iterativa para tareas de aprendizaje distribuido y secuencial.