ProxyFL: A Proxy-Guided Framework for Federated Semi-Supervised Learning

El artículo presenta ProxyFL, un marco unificado para el aprendizaje federado semi-supervisado que mitiga simultáneamente la heterogeneidad externa e interna mediante el uso de un proxy aprendible que optimiza la distribución global de categorías y reintegra muestras descartadas para mejorar el rendimiento y la convergencia.

Lo esencial

¡Claro que sí! Imagina que este artículo es la historia de un grupo de amigos muy talentosos que quieren aprender juntos a reconocer animales, pero tienen un problema gigante: nadie quiere mostrar sus fotos privadas.

Aquí tienes la explicación de ProxyFL usando una analogía sencilla:

🌍 El Problema: La Fiesta de los Sabios (Federated Learning)

Imagina que tienes 100 amigos (los "clientes") que viven en diferentes ciudades. Cada uno tiene un álbum de fotos de animales, pero:

1. Privacidad: Nadie quiere enviar sus fotos al centro. Solo pueden enviar "consejos" sobre cómo aprendieron.
2. Datos Desiguales (Heterogeneidad):
   • Fuera: El amigo de la montaña solo tiene fotos de osos, y el de la playa solo de delfines. Sus "sabidurías" son muy diferentes.
   • Adentro: Dentro de la casa del amigo de la montaña, tiene 100 fotos de osos con etiquetas (sabe que son osos), pero tiene 10.000 fotos de animales sin etiquetas. A veces, se confunde y cree que un perro es un oso.

El objetivo: Crear un "Experto Global" que sepa reconocer todos los animales, sin mezclar las fotos privadas.

🚧 Los Problemas Antiguos (Cómo lo hacían antes)

Antes, intentaban dos cosas que no funcionaban bien:

1. El Promedio Ciego (Agregación): El líder (el servidor) tomaba los consejos de todos y hacía un promedio simple.
   • El fallo: Si el amigo de la montaña está muy equivocado en algo (un "raro" o outlier), arrastra a todo el grupo hacia su error. Es como si el experto en delfines dijera "los osos vuelan" y el promedio hiciera que todos creyeran que los osos vuelan un poco.
2. El Filtro Estricto (Pseudo-etiquetas): Para las fotos sin etiqueta, solo usaban las que estaban 100% seguros.
   • El fallo: ¡Tiraban a la basura miles de fotos! Si un amigo estaba "bastante seguro" (pero no 100%), sus fotos se ignoraban. Se perdía mucha información valiosa.

✨ La Solución Mágica: ProxyFL (El "Guía de Proxy")

Los autores proponen ProxyFL. Imagina que en lugar de enviar las fotos o los consejos completos, envían "Tarjetas de Identidad" (llamadas Proxies).

Estas tarjetas son como las fichas de los personajes en un videojuego. No son las fotos reales (privacidad segura), pero representan la "esencia" de cada animal (gato, perro, oso).

1. Ajuste Global (GPT): El Director de Orquesta

En lugar de hacer un promedio tonto de los consejos, el servidor tiene un Director de Orquesta (el Global Proxy).

• Cómo funciona: El Director mira las "fichas de personaje" que envían los amigos. Si ve que alguien está enviando una ficha de "Oso" que parece un "Perro" (un error o outlier), el Director no la ignora, sino que la corrige suavemente para que encaje con la verdadera imagen de un oso.
• Resultado: El grupo global aprende la forma correcta de cada animal, ignorando a los que están muy confundidos, sin necesidad de ver las fotos privadas.

2. Aprendizaje de Categorías Indecisas (ICPL): El "Quiz" Flexible

Aquí es donde ProxyFL es genial con las fotos que no están 100% claras.

• El problema antiguo: Si el amigo no estaba seguro si era un "Hamster" o un "Ratón", el sistema antiguo decía: "¡No me importa, tira esa foto!".
• La solución ProxyFL: El sistema dice: "¡Espera! No lo descartes. Vamos a ponerlo en un Grupo de Indecisos".
  • En lugar de forzar una etiqueta falsa ("Es un Ratón"), el sistema dice: "Podría ser un Hamster O un Ratón".
  • Crea una "Piscina de Posibles" (Positive-Negative Proxy Pool). Entrena al modelo para que sepa que esa foto se parece a ambos, pero no a un "Elefante".
• Analogía: Es como si en un examen, en lugar de tachar una respuesta que no estás seguro, el profesor dijera: "Marca que podría ser A o B, y te daré puntos parciales si aciertas al menos una". ¡Así aprovechan todas las fotos!

🏆 ¿Por qué es mejor?

1. No pierde datos: Ya no tiran las fotos "dudosas". Las usan de forma inteligente.
2. Es más justo: El "Director de Orquesta" corrige los errores de los amigos raros sin que ellos se den cuenta (privacidad).
3. Es rápido: Al usar más datos y corregir mejor los errores, el "Experto Global" aprende mucho más rápido que los métodos antiguos.

En resumen

ProxyFL es como un equipo de detectives que trabaja en secreto. En lugar de compartir sus pistas (fotos), comparten resúmenes de sus sospechas (las Proxies).

• Si alguien se equivoca feo, el líder corrige el resumen sin juzgarlo.
• Si alguien tiene una duda, en lugar de ignorarla, la anotan como "podría ser esto o aquello" para aprender de esa duda.

¡Y así, todos aprenden juntos, protegiendo sus secretos y aprendiendo más rápido! 🕵️‍♂️🐭🐻

Resumen técnico

Resumen Técnico: ProxyFL

1. Planteamiento del Problema

El aprendizaje semi-supervisado federado (FSSL) busca entrenar modelos globales colaborativamente utilizando datos parcialmente anotados en múltiples clientes, preservando la privacidad. Sin embargo, el FSSL enfrenta dos desafíos críticos de heterogeneidad de datos:

• Heterogeneidad Externa: Discrepancias en la distribución de datos entre diferentes clientes (non-IID).
• Heterogeneidad Interna: Desajustes dentro de un mismo cliente, principalmente entre los datos etiquetados y los no etiquetados, y el desequilibrio de clases.

Limitaciones de los métodos actuales:

• Para la heterogeneidad externa, las estrategias de agregación de pesos (como el promedio simple) suelen fallar al ajustarse a la distribución global ideal debido a la presencia de "outliers" (valores atípicos) en los clientes.
• Para la heterogeneidad interna, los métodos existentes suelen filtrar las muestras no etiquetadas de baja confianza para evitar etiquetas pseudo incorrectas. Esto reduce drásticamente la cantidad de datos disponibles para el entrenamiento, limitando el rendimiento del modelo.

El artículo se pregunta: ¿Existe una mejor manera de ajustar la distribución global sin comprometer la privacidad? ¿Cómo se pueden aprovechar eficazmente las muestras no etiquetadas de baja confianza?

2. Metodología Propuesta: ProxyFL

Los autores proponen ProxyFL, un marco unificado que utiliza pesos aprendibles del clasificador como "proxies" (representantes) para modelar la distribución de categorías tanto local como globalmente. A diferencia de los prototipos basados en características, los proxies son parte intrínseca de los parámetros del modelo, lo que evita problemas de privacidad y costos de comunicación adicionales.

El marco consta de dos mecanismos principales:

A. Ajuste Global de Proxies (Global Proxy Tuning - GPT)

• Objetivo: Mitigar la heterogeneidad externa.
• Mecanismo: En lugar de promediar simplemente los pesos de los clasificadores locales (que es sensible a outliers), el servidor optimiza explícitamente un conjunto de proxies globales ($\Omega_G$).
• Funcionamiento: Se define una función de pérdida que acerca el proxy global de una categoría a los proxies locales de esa misma categoría y lo aleja de los proxies de otras categorías. Esto permite que el proxy global se ajuste robustamente a la distribución real, ignorando el ruido de los clientes con distribuciones extremas.

B. Aprendizaje de Proxies de Categorías Indecisas (Indecisive-Categories Proxy Learning - ICPL)

• Objetivo: Mitigar la heterogeneidad interna y aprovechar muestras de baja confianza.
• Mecanismo: En lugar de descartar las muestras no etiquetadas de baja confianza o asignarles una única etiqueta pseudo, ProxyFL construye un conjunto de categorías indecisas ($\xi_i$).
  • Para muestras de alta confianza o etiquetadas, se usa la etiqueta única (o pseudo-etiqueta).
  • Para muestras de baja confianza, se seleccionan múltiples categorías candidatas basadas en un umbral dinámico derivado de una distribución de prior global.
• Pool de Proxies Positivos/Negativos: Se construye un "pool" de relaciones donde las muestras se entrena mediante aprendizaje contrastivo. Las muestras se emparejan con sus proxies positivos (basados en el conjunto de categorías indecisas) y se separan de proxies negativos (otras categorías no superpuestas). Esto permite incluir datos de baja confianza sin introducir el sesgo de etiquetas pseudo incorrectas.

Función de Pérdida Total:
La optimización local combina la pérdida de datos etiquetados, la pérdida de datos no etiquetados de alta confianza y la pérdida ICPL. La optimización global incluye el ajuste de los proxies (GPT).

3. Contribuciones Clave

1. Primera aproximación unificada: Es el primer trabajo en proponer un proxy unificado para mitigar simultáneamente la heterogeneidad interna y externa en FSSL.
2. Optimización explícita de distribución: Introduce un objetivo de optimización explícito para los proxies globales, reduciendo el sesgo de los métodos de agregación por promedios.
3. Inclusión de datos de baja confianza: Mediante el mecanismo ICPL, logra incorporar muestras de baja confianza de manera efectiva, aumentando la participación de datos sin sacrificar la precisión.
4. Privacidad y Eficiencia: Al usar los pesos del clasificador como proxies, no se comparten datos brutos ni características de alta dimensión, evitando riesgos de reconstrucción de datos y manteniendo costos de comunicación mínimos.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos estándar (CIFAR-10, CIFAR-100, SVHN, CINIC-10) bajo diferentes niveles de heterogeneidad (Dirichlet $\alpha = 0.1, 0.5, 1$) con solo el 10% de datos etiquetados.

• Rendimiento Superior: ProxyFL superó consistentemente a los métodos más avanzados (SOTA) como FedMatch, FedLabel, FedDure y SAGE.
  • En CIFAR-100 con alta heterogeneidad ($\alpha=0.1$), ProxyFL alcanzó un 57.50% de precisión, superando a SAGE (54.18%) y FedDure (48.27%).
  • En SVHN y CINIC-10, también mostró mejoras significativas (hasta +3.39% sobre el segundo mejor método).
• Convergencia Acelerada: El análisis de convergencia muestra que ProxyFL alcanza altos niveles de precisión con menos rondas de comunicación en comparación con los baselines, especialmente en escenarios no-IID, gracias a la inclusión efectiva de más datos de entrenamiento.
• Análisis de Componentes: Las pruebas de ablación confirman que tanto el módulo GPT como el ICPL contribuyen individualmente al rendimiento, y su combinación ofrece los mejores resultados.
• Robustez: La visualización t-SNE de los proxies muestra que el ajuste global (GPT) se adapta mejor a la distribución real que el promedio simple, resistiendo mejor a los outliers.

5. Significado e Impacto

ProxyFL representa un avance significativo en el aprendizaje federado semi-supervisado al abordar el dilema fundamental de la heterogeneidad de datos.

• Teórico: Demuestra que los pesos del clasificador pueden servir como representaciones efectivas de la distribución de categorías, ofreciendo una alternativa robusta a los promedios de parámetros tradicionales.
• Práctico: Proporciona una solución viable para escenarios del mundo real donde los datos son escasamente etiquetados y altamente heterogéneos, permitiendo entrenar modelos más precisos y rápidos sin comprometer la privacidad de los usuarios.
• Eficiencia: Al evitar el filtrado agresivo de datos y la comunicación de características pesadas, ProxyFL es escalable y eficiente para sistemas de borde (IoT).

En conclusión, ProxyFL establece un nuevo estado del arte en FSSL, demostrando que la gestión inteligente de la incertidumbre (a través de conjuntos de categorías) y la optimización robusta de la distribución global son claves para el éxito del aprendizaje federado con datos limitados.