🤖 machine learning

Closing the Alignment-Maturity Gap in Federated Prototype Learning

Este artículo presenta FedSAP, un marco de aprendizaje federado que aborda la brecha de alineación-madurez en los métodos basados en prototipos mediante la combinación de un currículo de alineación determinista con una pérdida de separación de proximidad impulsada por la geometría para estabilizar el aprendizaje de representaciones y mejorar significativamente el rendimiento bajo condiciones de datos heterogéneos sin añadir sobrecarga de comunicación.

Autores originales: Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un grupo de estudiantes (los "clientes") tratando de aprender a reconocer diferentes animales, pero todos están en aulas separas y no pueden compartir sus cuadernos ni ver el trabajo de los demás. Solo pueden enviar una nota de resumen pequeña y única al profesor (el "servidor") de vez en cuando. Este es el mundo del Aprendizaje Federado (Federated Learning).

El problema es que cada estudiante tiene un conjunto de imágenes muy diferente. Un estudiante solo tiene fotos de gatos y perros; otro solo tiene pájaros y peces. Si intentan aprender juntos demasiado rápido, se confunden.

El Problema: La "Prisa por Juzgar"

En métodos anteriores, el profesor intentaba inmediatamente forzar a todos los estudiantes a ponerse de acuerdo sobre cómo se ve un "gato", justo desde el primer día de clase.

El artículo denomina a esto la "Brecha de Alineación-Madurez" (Alignment-Maturity Gap). Aquí está la analogía:

El Estudiante Inmaduro: Al inicio del año, la comprensión de un estudiante sobre un gato es desordenada y vaga. Podría pensar que un gato es simplemente "una cosa peluda".
El Resumen Ruidoso: Cuando este estudiante envía su idea desordenada al profesor, el profesor la combina con otras ideas desordenadas de otros estudiantes para crear una "Definición Global de Gato".
La Olla de Presión: El profesor entonces les grita de inmediato: "¡Deben cambiar su dibujo para que coincida con esta Definición Global de Gato!".
El Resultado: Debido a que el dibujo del estudiante ya era inestable, esta corrección repentina y forzada no ayuda a aprender. En cambio, le desordena el cerebro, haciendo que olvide cómo dibujar un gato por completo. Terminan con un dibujo desordenado y confuso que no se parece a nada.

El artículo argumenta que forzar a los estudiantes a alinearse con el grupo antes de que hayan aprendido los conceptos básicos es contraproducente. Crea una "presión de gradiente" que es demasiado fuerte y demasiado pronto, destruyendo el proceso de aprendizaje local.

La Solución: FedSAP (El Profesor Paciente)

Los autores proponen un nuevo marco llamado FedSAP. Piensa en él como un profesor que utiliza un "Currículo Paciente" y un "Mapa Inteligente" en lugar de solo gritar órdenes.

1. El Calendario de "Calentamiento" (Alineación Progresiva)

En lugar de forzar el acuerdo desde el Día 1, FedSAP actúa como un entrenador paciente:

Rondas Iniciales: Durante las primeras semanas, el profesor les dice a los estudiantes: "Solo concéntrense en aprender sus propios animales. No se preocupen por coincidir con el grupo todavía". Esto permite que los estudiantes construyan una comprensión sólida y clara de los gatos, perros, etc., por su cuenta.
Introducción Gradual: Lentamente, a lo largo del tiempo, el profesor comienza a pedirles que comparen sus dibujos con los del grupo.
Alineación Total: Para cuando los estudiantes tienen confianza en sus propias habilidades, el profesor dice: "Muy bien, ahora todos pongámonos de acuerdo en el estándar".
Por qué funciona: Para cuando llega la presión para "alinearse", los dibujos de los estudiantes ya son buenos. El acuerdo del grupo ayuda a refinarlos, en lugar de destruirlos.

2. El "Mapa Inteligente" (Separación de Proxies Basada en la Geometría)

Normalmente, para evitar que diferentes animales (gatos vs. perros) se mezclen, se necesita un conjunto especial de "tarjetas de referencia" (parámetros aprendibles) que ocupan espacio adicional y requieren comunicación extra.

FedSAP es ingenioso: dice, "¡No necesitamos nuevas tarjetas!".

El profesor ya envía a los estudiantes la "Definición Global de Gato" (el prototipo).
FedSAP utiliza estas definiciones existentes como las "tarjetas de referencia".
Crea una regla en un "mapa mental" (una hiperesfera): "Si estás dibujando un gato, mueve tu dibujo hacia la Definición de Gato. Si estás dibujando un perro, empuja tu dibujo lejos de la Definición de Gato".
El Benefio: Esto mantiene los diferentes grupos de animales ordenadamente separados en el mapa sin necesidad de ninguna comunicación adicional o herramientas complejas nuevas. Simplemente utiliza las herramientas que ya tienen.

El Bono: Aprender Sin Etiquetas

El artículo también muestra que este método funciona bien incluso cuando algunos estudiantes tienen imágenes sin nombres (datos no etiquetados).

Una vez que los estudiantes han aprendido los conceptos básicos (durante la fase de "calentamiento"), pueden mirar una nueva imagen sin etiqueta y adivinar: "Esto se parece más a la Definición de Gato".
Debido a que el profesor esperó hasta que los estudiantes estuvieran listos antes de introducir las reglas del grupo, estos cálculos son mucho más precisos. El sistema puede entonces usar estos cálculos para aprender aún más, sin necesidad de que un humano etiquete cada una de las imágenes.

La Conclusión

El artículo probó esto en tres "aulas" diferentes (conjuntos de datos) con variados niveles de confusión (heterogeneidad).

El Resultado: FedSAP superó consistentemente a los métodos antiguos.
La Ganancia: Mejoró la precisión hasta en 4 puntos porcentuales.
La Gran Victoria: La mejora fue mayor cuando las aulas eran más diferentes entre sí (condiciones de no-IID severas).

En resumen, FedSAP soluciona el problema de "apresurarse hacia el consenso" enseñando a los estudiantes a valerse por sí mismos primero, y luego guiándolos suavemente para que caminen juntos. Crea un mapa mental más limpio y organizado del mundo sin necesidad de enviar más datos de ida y vuelta.

Resumen Técnico: Cerrando la brecha de alineación-madurez en el aprendizaje de prototipos federados

Declaración del Problema
El Aprendizaje Federado (FL, por sus siglas en inglés) enfrenta un desafío fundamental al aprender representaciones visuales discriminativas a partir de datos distribuidos y heterogéneos. Si bien los métodos basados en prototipos (por ejemplo, FedProto, FedNH) abordan la heterogeneidad estadística mediante el intercambio de representaciones a nivel de clase (prototipos) en lugar de los pesos completos del modelo, estos introducen una inestabilidad crítica conocida como la brecha de alineación-madurez.

En el FL basado en prototipos existente, los prototipos globales se agregan a partir de las incrustaciones (embeddings) locales de los clientes y se utilizan como anclajes semánticos desde la primera ronda de entrenamiento. Sin embargo, en las etapas iniciales del entrenamiento, los extractores de características locales aún no han aprendido estructuras discriminativas, lo que resulta en representaciones locales ruidosas y poco refinadas. En consecuencia, los prototipos globales agregados no son fiables. Cuando se aplica un peso de alineación estático de inmediato, la gran distancia euclidiana entre las incrustaciones locales inmaduras y estos prototipos globales ruidosos genera gradientes de alineación masivos. Estos gradientes dominan la señal de entropía cruzada, suprimiendo la emergencia de la estructura discriminativa local y desestabilizando la optimización, particularmente bajo condiciones severas de no-IID.

Metodología: FedSAP
Los autores proponen FedSAP (Federated Scheduled and Adaptive Prototypes), un marco diseñado para estabilizar el aprendizaje de representaciones federadas mediante la desvinculación del tiempo de alineación global de la fuerza de la separación interclase. FedSAP opera sin modificar el protocolo de comunicación subyacente ni introducir parámetros aprendibles adicionales. Se basa en dos mecanismos complementarios:

Currículo de Alineación Determinista:
En lugar de aplicar una presión de alineación completa desde el principio, FedSAP emplea un esquema de calentamiento lineal para el peso de alineación del prototipo ( $\lambda_t$ ).
- Mecanismo: El peso aumenta linealmente de 0 a un valor máximo $M$ durante un número fijo de rondas ( $t_w$ ).
- Efecto: Esto retrasa la introducción de la presión de alineación global, permitiendo que las representaciones locales se consoliden y formen estructuras discriminativas antes de ser atraídas hacia un consenso global. El esquema es determinista y no requiere señales auxiliares ni sobrecarga de comunicación por ronda.
Pérdida de Separación de Proxies Basada en la Geometría:
Para imponer una estructura interclase sin añadir parámetros, FedSAP reutiliza el banco de prototipos globales existente como un "banco de proxies" compartido.
- Mecanismo: Las incrustaciones locales y los prototipos globales se proyectan sobre una hiperesfera unitaria. Se aplica un objetivo de cosine-softmax, atrayendo las representaciones hacia su prototipo de clase objetivo mientras las repele de los prototipos de clases no objetivo.
- Efecto: Esto impone clústeres de clase compactos y bien separados en la hiperesfera. Al utilizar los prototipos distribuidos por el servidor como proxies, el método evita la complejidad y los costos de comunicación asociados con el mantenimiento de parámetros de proxy aprendibles separados (como se ve en métodos como ProxyNCA o ProxyAnchor).

Extensión al Aprendizaje Semi-supervisado
El artículo demuestra que FedSAP se extiende naturalmente a entornos federados semi-supervisados (SSFL). Al establecer un espacio de incrustación estable durante una fase inicial supervisada, el marco permite un etiquetado pseudo (pseudo-labeling) fiable de los datos no etiquetados en una fase posterior. A las muestras no etiquetadas se les asignan etiquetas pseudo basadas en la distancia del vecino más cercano al banco de prototipos globales, con umbrales de confianza calibrados automáticamente desde la fase supervisada para mitigar el sesgo de confirmación.

Contribuciones Clave

Identificación de la Brecha: Los autores identifican y motivan explícitamente la "brecha de alineación-madurez", donde la alineación global prematura sobre representaciones inmaduras suprime el aprendizaje local.
Marco FedSAP: La propuesta de un marco que resuelve esta brecha a través de un currículo de alineación progresiva y una pérdida de separación de proxies impulsada por la geometría aplicada al banco de prototipos existente.
Desempeño y Generalidad: La validación empírica muestra que FedSAP logra incrustaciones bien separadas con el mismo costo de comunicación que FedProto, con ganancias significativas de rendimiento. Se demuestra que el marco se extiende naturalmente a entornos semi-supervisados, subrayando la generalidad del alineamiento programado como un principio de diseño.

Resultados Experimentales
FedSAP fue evaluado en tres bancos de pruebas (FEMNIST, CIFAR-10, CIFAR-100) bajo diversos grados de heterogeneidad estadística.

Desempeño: El marco logró mejoras de hasta 4 puntos porcentuales sobre las líneas base basadas en prototipos (FedProto, FedMPS) y la línea base de agregación de parámetros (FedAvg).
Heterogeneidad: Las mejoras fueron más pronunciadas bajo condiciones severas de no-IID, donde la inestabilidad de los prototipos en las rondas iniciales es más grave.
Ablación: Los resultados confirman que el esquema de alineación progresiva y la pérdida de separación de proxies son críticos para estabilizar el espacio de incrustación sin aumentar la sobrecarga de comunicación.

Significancia y Reivindicaciones
El artículo afirma que FedSAP aborda una limitación específica y no abordada previamente en el FL basado en prototipos: el desajuste temporal entre la fiabilidad de los anclajes globales y la madurez de las representaciones locales. Al tratar el aprendizaje de prototipos federados fundamentalmente como un problema de aprendizaje de representaciones, FedSAP produce una trayectoria de aprendizaje que es estable en las rondas iniciales y cada vez más discriminativa en las rondas posteriores. Los autores posicionan el principio de "alineamiento programado" no solo como una estrategia de ajuste para un protocolo específico, sino como un principio de diseño general aplicable tanto a entornos federados totalmente supervisados como semi-supervisados.