🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

El artículo presenta HERO, una biblioteca de referencia consciente de la heterogeneidad para el Aprendizaje Continuo Federado que desacopla las divisiones de tareas, las distribuciones de datos de los clientes y las secuencias de tareas para permitir evaluaciones reproducibles que revelen cómo el rendimiento de los métodos varía a través de diferentes configuraciones de heterogeneidad y puede ser enmascarado por métricas promedio.

Autores originales: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una clase masiva de estudiantes que están en diferentes aulas, usando diferentes libros de texto y aprendiendo a diferentes velocidades. Este es el mundo del Aprendizaje Federado Continuo (FCL). El objetivo es entrenar un modelo de "superprofesor" inteligente que aprenda de todos estos estudiantes sin ver jamás sus cuadernos privados. Pero aquí está el truco: las lecciones de los estudiantes cambian con el tiempo. Un día aprenden sobre gatos, al siguiente sobre perros y al siguiente sobre cohetes. El profesor debe recordar los gatos mientras aprende sobre los cohetes, todo esto mientras los estudiantes están dispersos por todo el mundo.

Durante mucho tiempo, los científicos que intentaban probar estos "superprofesores" estaban jugando un juego de "comparar manzanas con naranjas". Un investigador podía probar con un conjunto de datos de 100 imágenes, otro con 1,000; uno podía hacer que todos los estudiantes aprendieran en el mismo orden, mientras que otro hacía que aprendieran en el caos. Era imposible saber si un método era realmente inteligente o si solo tenía suerte porque la prueba era más fácil.

Entra HERO (Biblioteca de Benchmarking Sensible a la Heterogeneidad para el Aprendizaje Federado Continuo). Piensa en HERO como una gigantesca y perfectamente calibrada pista de obstáculos por la que cada superprofesor debe correr. En lugar de dejar que los investigadores construyan sus propias pistas desordenadas, HERO construye la pista para ellos, asegurando que todos enfrenten exactamente los mismos obstáculos.

Los Tres Mandos Mágicos

El principal descubrimiento del artículo es que las pruebas anteriores mezclaban tres tipos diferentes de problemas en un gran lío. HERO separa estos problemas en tres "mandos" distintos que puedes girar para ver exactamente qué es lo que rompe un modelo:

El mando de "Quién recibe qué" (Sesgo de datos del cliente): Imagina una fiesta de pizza. Si todos reciben una porción igual de cada ingrediente, es fácil. Pero, ¿qué pasa si un estudiante solo recibe pepperoni, otro solo champiñones y un tercero una mezcla extraña? Esto es el sesgo de datos del cliente. El artículo utiliza un número llamado $\alpha$ para controlarlo. Un $\alpha$ alto (como 100.00) significa que todos reciben una parte justa. Un $\alpha$ bajo (como 0.10) significa que las porciones son sumamente desiguales.
El mando de "Quién va cuándo" (Desajuste en el orden de las tareas): Imagina una carrera de relevos. En una carrera sincronizada, todos corren la etapa 1, luego la etapa 2, luego la etapa 3 juntos. Pero en una carrera caótica, el Estudiante A corre la etapa 1, luego la 3, luego la 2, mientras que el Estudiante B corre la etapa 2, luego la 1, luego la 3. Esto es el desajuste en el orden de las tareas. El artículo utiliza un número llamado $\rho$ para controlarlo. Si $\rho$ es 0.00, todos corren en perfecta sincronía. Si $\rho$ es 1.00, cada uno corre a su propio ritmo caótico.
El mando de "Qué hay en el menú" (División de tareas): Esto decide qué temas (como "gatos" o "perros") componen cada lección.

Al separar esto, HERO permite a los investigadores preguntar: "¿Falla este modelo porque los datos son desiguales, o porque los estudiantes están confundidos con el orden de las lecciones?".

La Gran Sorpresa: Los Promedios Mienten

El artículo realizó un experimento masivo utilizando CIFAR-100 (un conjunto de datos de 100 categorías de imágenes) y TinyImageNet (un conjunto más pequeño de 100 categorías de imágenes). Probaron muchos métodos de "superprofesor" diferentes.

Aquí está la gran revelación: Los puntajes promedio pueden ocultar un desastre.

En la configuración "Fácil" (donde los datos son justos y todos aprenden en orden), un método llamado FedCBDR fue la estrella. Tenía la precisión promedio más alta. Pero tan pronto como los investigadores aumentaron el caos (haciendo que los datos fueran desiguales y los órdenes mezclados), FedCBDR comenzó a desmoronarse.

Mientras tanto, otros métodos como TagFed y LGA no parecían los mejores en la configuración fácil, pero fueron los supervivientes más duros en la configuración difícil. Lograron que el "10% inferior" de los estudiantes (aquellos con los datos más difíciles y los horarios más extraños) no fracasara por completo.

El artículo midió esto utilizando tres puntajes específicos:

Precisión Promedio Final (AFA): El promedio de la clase.
Olvido Promedio (AF): Cuánto olvidó el profesor las lecciones antiguas.
Precisión del 10% Inferior de Clientes (B10): Qué tan bien les fue a los estudiantes en la peor situación.

Los resultados mostraron que un método puede tener un AFA alto pero un B10 terrible. Es como una escuela donde los mejores estudiantes obtienen calificaciones de A+, pero el 10% inferior está reprobando la clase. Si solo miras el promedio, pensarías que la escuela es excelente. HERO te obliga a mirar el 10% inferior para ver la verdad.

El Experimento de Grafos: No son Solo Imágenes

Para demostrar que HERO no es solo para imágenes, los autores lo probaron en OGB-MolPCNA, un conjunto de datos sobre moléculas (estructuras químicas). En lugar de aprender nuevos tipos de moléculas, el modelo tenía que aprender de diferentes grupos de moléculas que se veían diferentes (como diferentes andamios o scaffolds).

Lo probaron agrupando las moléculas en 5, 15 o 25 dominios diferentes. A medida que hacían los grupos más pequeños y específicos (aumentando el número de dominios), los modelos empeoraban. La "Precisión Promedio" (AP) caía y el "olvido" aumentaba. Esto demostó que la interfaz de HERO funciona para grafos y productos químicos, no solo para imágenes.

Lo que el Artículo Descarta

El artículo argumenta explícitamente en contra de la idea de que se pueden juzgar estos modelos con un único puntaje de "Tabla de Clasificación" (Leaderboard). Demuestran que un método que gana en una prueba simple y sincronizada puede perder estrepitosamente cuando el mundo real se vuelve caótico. También descartan la idea de que el "rendimiento promedio" sea suficiente; se debe verificar el rendimiento de los clientes más débiles para saber si un método es verdaderamente robusto.

¿Qué tan seguros estamos?

Los autores están muy seguros de sus hallazgos porque no solo adivinaron; lo midieron. Realizaron sus experimentos cinco veces con diferentes semillas aleatorias para asegurar que los resultados no fueran solo cuestión de suerte. Reportaron números como 53.91 ± 1.53 para la precisión en CIFAR-100 en la configuración fácil, mostrando exactamente cuánto variaban los resultados.

Encontraron que en la configuración "Joint-Hard" (donde $\alpha = 0.10$ y $\rho = 1.00$ ), el mejor método (TagFed) logró un AFA de 42.83 en CIFAR-100, mientras que el ganador de la configuración fácil (FedCBDR) cayó a 39.74. Estos son hechos medidos, no solo sugerencias.

La Conclusión

HERO es como un nuevo tipo de gimnasio para modelos de IA. En lugar de dejar que corran en una pista plana y vacía donde todos parecen rápidos, HERO los pone en una pista con colinas, viento y terreno irregular. Nos muestra que el modelo que parece el más rápido en una pista plana puede ser el que tropiece en el lodo. Al separar el "quién recibe qué" del "quién va cuándo", HERO nos ayuda a construir una IA que esté verdaderamente lista para el mundo real, caótico e impredecible.

Resumen Técnico: HERO – Una biblioteca de benchmarks consciente de la heterogeneidad para el Aprendizaje Continuo Federado

1. Planteamiento del problema

El Aprendizaje Continuo Federado (FCL, por sus siglas en inglés) aborda el desafío de los clientes distribuidos que aprenden de flujos de datos no estacionarios mientras retienen el conocimiento adquirido previamente. Sin embargo, el campo sufre de una "brecha de benchmark" significativa. Las evaluaciones existentes son difíciles de comparar porque los investigadores alteran simultáneamente múltiples variables: conjuntos de datos, divisiones de tareas, distribuciones de datos de los clientes, secuencias de tareas, arquitecturas de modelos (backbones), restricciones de memoria y reglas de reporte. En consecuencia, un método puede parecer superior no debido a su robustez, sino porque fue evaluado bajo un protocolo más favorable o menos heterogéneo. Las evaluaciones actuales a menudo no logran distinguir si un método es robusto ante el sesgo de datos de los clientes, el desajuste de la secuencia de tareas o los cambios de dominio, o si solo funciona bien bajo configuraciones sincronizadas y sencillas.

2. Metodología: El marco de trabajo HERO

Los autores presentan HERO, una biblioteca de benchmarks consciente de la heterogeneidad diseñada para unificar la construcción de flujos, la ejecución de métodos y el reporte de resultados. La filosofía central de diseño es la separación de tres elecciones acopladas que suelen estar confundidas en trabajos previos:

División de Tareas (Task Split): Decidir qué clases o dominios forman cada tarea.
División de Datos de Clientes (Client Data Split): Decidir la distribución de datos que recibe cada cliente para cada tarea.
Secuencia de Tareas de Clientes (Client Task Sequence): Decidir el orden en el que cada cliente encuentra las tareas.

Construcción del Flujo (Stream Construction):
HERO genera flujos de benchmark $B(\xi, \alpha, \rho)$ donde:

$\xi$ es una semilla que asegura la reproducibilidad.
$\alpha$ controla el sesgo de datos de los clientes mediante una distribución de Dirichlet ( $pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$ ). Valores de $\alpha$ más bajos inducen un sesgo más fuerte (datos no IID).
$\rho$ controla el desajuste del orden de las tareas. Define la desviación de las secuencias de tareas individuales de cada cliente respecto a un orden de referencia compartido $\pi^*$ . Valores de $\rho$ más altos resultan en secuencias de tareas más asíncronas y desajustadas.

La biblioteca incluye tres niveles:

HERO-Core: El benchmark comparable principal centrado en el Aprendizaje Incremental de Clases Federado (FCIL) basado en imágenes utilizando CIFAR-100 y TinyImageNet.
HERO-Portability: Prueba la extensión de la interfaz a otros entornos, específicamente un caso de estudio de Aprendizaje Incremental de Dominio (Domain-IL) sobre OGB-MolPCBA (datos moleculares basados en grafos).
HERO-Extended: Almacena constructores de conjuntos de datos adicionales e implementaciones de métodos para uso futuro.

Métricas:
HERO reporta tres métricas primarias para capturar diferentes aspectos del rendimiento:

Precisión Promedio Final (AFA): Mide el rendimiento final general.
Olvido Promedio (AF): Mide la caída en el rendimiento de las tareas antiguas.
Precisión del Cliente del 10% Inferior (B10): Mide el rendimiento de los 10% de clientes con menor desempeño, resaltando la robustez contra la heterogeneidad.
Para el estudio de portabilidad basado en grafos, se utilizan la Precisión Promedio (AP) y el olvido de AP.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones específicas:

Biblioteca HERO: Una biblioteca de benchmark unificada y consciente de la heterogeneidad que separa la construcción del flujo de la ejecución del método, liberando flujos, configuraciones y scripts de reporte fijos para asegurar la reproducibilidad.
Generador de Flujos Desacoplado: Un generador que aísla la división de tareas, la división de datos de clientes y la secuencia de tareas de los clientes, permitiendo a los investigadores controlar e inspeccionar de forma independiente el sesgo de datos de los clientes ( $\alpha$ ) y el desajuste del orden de las tareas ( $\rho$ ).
Benchmark HERO-Core: Un benchmark denso de FCIL basado en imágenes sobre CIFAR-100 y TinyImageNet que cuenta con flujos compartidos, configuraciones de heterogeneidad controladas y un grupo representativo de métodos.
Demostración de Portabilidad: Un caso de estudio sobre OGB-MolPCBA que muestra que la interfaz de HERO se extiende al Domain-IL basado en grafos, donde los dominios moleculares agrupados por andamios (scaffolds) crean cambios de distribución sin cambiar la tarea de predicción.

4. Resultados Experimentales

Los autores evaluaron métodos representativos de FCL (por ejemplo, FedAvg, GLFC, TagFed, LGA, FedCBDR) a través de una cuadrícula $\alpha$ - $\rho$ que va desde "Fácil" (sincronizado, equilibrado) hasta "Joint-Hard" (alto sesgo, alto desajuste).

Varianza en el Comportamiento de los Métodos: El rendimiento de los métodos depende altamente de la configuración de heterogeneidad. Los métodos que dominan en configuraciones "Fáciles" (ej. FedCBDR) no necesariamente se mantienen como los más estables bajo alta heterogeneidad. Por ejemplo, TagFed y LGA se vuelven más competitivos a medida que el sesgo de datos de los clientes y el desajuste del orden de las tareas aumentan, particularmente en cuanto al B10.
Rendimiento Promedio vs. Rendimiento del Cliente Inferior: La precisión promedio (AFA) puede ocultar un rendimiento débil en clientes difíciles. Mientras que FedCBDR suele lograr una AFA alta, TagFed y LGA demuestran una Precisión del Cliente del 10% Inferior (B10) superior en entornos heterogéneos, indicando una mejor protección para los clientes con bajo desempeño.
Modos de Fallo Distintos: El estudio revela que el sesgo de datos de los clientes y el desajuste del orden de las tareas causan diferentes patrones de fallo.
- Sesgo de Datos de Clientes ( $\alpha$ ): Degrada principalmente el B10, indicando que los clientes difíciles se ven desproporcionadamente afectados por el desequilibrio de datos.
- Desajuste del Orden de las Tareas ( $\rho$ ): Aumenta principalmente el Olvido Promedio (AF), sugiriendo que las secuencias desajustadas crean mayor interferencia temporal.
Portabilidad: En el estudio OGB-MolPCBA, aumentar la granularidad del dominio de andamios (dominios más finos) redujo la Precisión Promedio e incrementó el olvido. Los métodos basados en grafos (POWER, MOTION) superaron a FedAvg, confirmando que la interfaz de HERO puede describir flujos de cambio de distribución más allá del FCIL basado en imágenes.

5. Significación y Reivindicaciones

El artículo afirma que HERO aborda la falta de evaluación controlada y comparable en FCL. Al separar las fuentes de heterogeneidad, HERO permite a los investigadores:

Determinar si un método es robusto ante tipos específicos de dificultad (sesgo vs. desajuste) en lugar de un entorno "heterogéneo" genérico.
Revelar que un único ranking global es insuficiente; las clasificaciones de los métodos cambian significamente según la configuración específica de heterogeneidad.
Exponer fallos en la "cola larga" de los clientes (vía B10) que las métricas promedio ocultan.
Extender los protocolos de evaluación a dominios no visuales (como grafos) sin mezclar configuraciones incompatibles en una sola puntuación.

Los autores enfatizan que HERO está diseñado como una biblioteca reutilizable para apoyar la evaluación de FCL acumulativa, reproducible y consciente del entorno, en lugar de un protocolo experimental de un solo uso. Declaran explícitamente que, si bien HERO documenta los supuestos de los métodos, no reemplaza el análisis formal de privacidad ni la validación a nivel de despliegue.