Leveraging Label Proportion Prior for Class-Imbalanced Semi-Supervised Learning

Este trabajo propone un marco ligero que integra una pérdida de proporción, derivada del aprendizaje a partir de proporciones de etiquetas, como término de regularización en el aprendizaje semi-supervisado para mitigar el sesgo de clases mayoritarias y mejorar el rendimiento en escenarios de desequilibrio de clases.

Lo esencial

Imagina que estás entrenando a un equipo de detectives para resolver un misterio, pero tienes un problema: solo tienes pocas pistas escritas (datos etiquetados) y miles de notas sueltas sin resolver (datos sin etiquetar). Además, la mayoría de las pistas escritas son sobre un tipo de crimen muy común (como robos a casas), mientras que hay muy pocas pistas sobre crímenes raros (como robos a bancos).

Este es el problema que aborda el artículo: Aprendizaje Semi-Supervisado con Desequilibrio de Clases.

Aquí te explico cómo lo solucionan los autores, usando analogías sencillas:

1. El Problema: El Detective "Ciego"

En el aprendizaje automático normal, el sistema intenta adivinar las notas sueltas basándose en lo que aprendió de las pocas pistas escritas.

• El error: Como hay muchas más pistas de "robos a casas", el detective empieza a pensar que todo es un robo a casa. Si ve una nota que podría ser un robo a banco, la etiqueta erróneamente como "robo a casa" porque es lo que más ha visto.
• El ciclo vicioso: Al etiquetar mal esas notas, el detective se entrena aún más en esa idea equivocada. Los crímenes raros (la minoría) desaparecen de la memoria del detective.

2. La Solución: El "Mapa de la Ciudad" (Pérdida de Proporción)

Los autores proponen una idea brillante: Usar un mapa general de la ciudad.
Aunque no sepas exactamente qué crimen ocurrió en cada nota suelta, sí sabes (o puedes estimar) que en toda la ciudad, el 90% de los robos son a casas y el 10% a bancos.

• La analogía: Imagina que le das al detective un mapa que dice: "Oye, en total, de todas las notas que tienes, el 90% deberían ser robos a casas y el 10% a bancos".
• La nueva regla: El detective ya no puede decir "¡Todo es un robo a casa!". Debe ajustar sus respuestas para que, al final, la suma de sus predicciones coincida con ese mapa. Si predice demasiados robos a casas, el sistema le dice: "¡Espera! Tu mapa dice que solo el 90% son así. Tienes que buscar más robos a bancos".

A esto lo llaman "Pérdida de Proporción" (Proportion Loss). Es como un regulador que obliga al sistema a respetar la realidad global, no solo lo que ve en su pequeña mesa de trabajo.

3. El Reto: El "Ruido" de la Mesa de Trabajo

Aquí surge un problema divertido. El detective no revisa todas las notas de la ciudad de una vez; las revisa en paquetes pequeños (mini-lotes).

• El problema: Si en un paquete pequeño le caen por suerte 5 notas de robos a bancos (aunque sea raro), el detective podría pensar: "¡Wow! Hoy hay muchos robos a bancos, el mapa debe estar mal". Si le obligas a seguir el mapa exacto en cada paquete pequeño, el detective se confunde y se vuelve rígido.
• La solución creativa (Variante Estocástica): En lugar de darle al detective el mapa exacto y fijo para cada paquete, le dicen: "Aquí tienes el mapa, pero ten en cuenta que en este paquete pequeño podría haber un poco de variación natural".
• La analogía: Es como si el detective supiera que, aunque el promedio de la ciudad es 90/10, en una sola calle (el paquete pequeño) podría haber 85/15 o 95/5. El sistema permite esta pequeña fluctuación aleatoria para que el detective no se vuelva loco tratando de encajar cada pequeño grupo en una regla gigante. Esto hace que el aprendizaje sea más estable y menos propenso a errores.

4. Los Resultados: ¿Funciona?

Los autores probaron esto en un juego de imágenes llamado CIFAR-10 (donde hay muchas fotos de gatos, perros, aviones, etc., pero algunas categorías tienen muchas menos fotos que otras).

• Sin su ayuda: Los detectives (algoritmos antiguos) ignoraban casi por completo a las categorías raras (los gatos raros, los barcos).
• Con su ayuda: Al obligar al sistema a respetar la proporción global:
  1. El detective empieza a prestar atención a los crímenes raros.
  2. La precisión general mejora, especialmente cuando hay muy pocas pistas escritas al principio.
  3. Funciona mejor que otros métodos que intentaban arreglar esto de formas más complicadas.

En Resumen

El papel presenta una herramienta simple pero poderosa:
En lugar de dejar que el sistema de IA se obsesione con lo que ve más a menudo (la mayoría), les dan un "recordatorio global" de cómo debería ser la distribución real de las cosas. Y, para que no se confundan con pequeños grupos de datos, les permiten un poco de flexibilidad matemática.

Es como enseñar a un niño a contar: no solo le dejas que cuente los juguetes que tiene en la mano (que pueden ser todos coches), sino que le recuerdas que en la caja grande hay también muñecas y bloques, y que debe asegurarse de encontrarlos todos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Leveraging Label Proportion Prior for Class-Imbalanced Semi-Supervised Learning", presentado en español:

1. Planteamiento del Problema

El aprendizaje semi-supervisado (SSL) es una paradigma potente que utiliza grandes cantidades de datos no etiquetados junto con un conjunto pequeño de datos etiquetados. Sin embargo, en escenarios del mundo real, los datos suelen estar desequilibrados por clase (imbalanced), donde ciertas categorías tienen muy pocos ejemplos.

El problema central identificado es que, en condiciones de desequilibrio, los métodos SSL estándar sufren de un sesgo hacia las clases mayoritarias. Una vez que el clasificador desarrolla este sesgo, las etiquetas pseudo-generadas (pseudo-labels) propagan y amplifican dicho sesgo, suprimiendo aún más el rendimiento de las clases minoritarias. Esto resulta en una degradación significativa de la precisión global, incluso en métodos que funcionan bien con datos balanceados.

2. Metodología Propuesta

Los autores proponen un marco ligero que introduce la Pérdida de Proporción (Proportion Loss), originalmente estudiada en el aprendizaje a partir de proporciones de etiquetas (LLP), como un término de regularización dentro del SSL.

A. Pérdida de Proporción (Proportion Loss)

El objetivo es alinear las predicciones del modelo con la distribución global de clases estimada a partir de los datos etiquetados.

• Se define una proporción global estimada $q = (q_1, ..., q_L)$ basada en las frecuencias relativas de las clases en el conjunto etiquetado.
• Para un mini-lote $B$ de datos no etiquetados, se calcula la proporción predicha $\hat{p}_l(B)$ promediando las salidas softmax del modelo.
• La pérdida se define como una entropía cruzada entre la proporción global y la predicha:
  $$L_{prop}(B) = -\sum_{l=1}^{L} q_l \log \hat{p}_l(B)$$
• Esta pérdida se añade a la función de objetivo del método SSL base ($L_{ssl}$) mediante un hiperparámetro $\lambda$:
  $$L = L_{ssl} + \lambda L_{prop}$$

B. Variante Estocástica (Perturbación de Proporción)

Un desafío es que la composición de un mini-lote específico fluctúa aleatoriamente alrededor de la distribución global. Imponer la proporción global exacta en cada mini-lote puede causar sobreajuste a ruido.

• Para mitigar esto, los autores proponen una variante estocástica inspirada en el LLP de "bolsas grandes" (large-bag LLP).
• En lugar de usar la proporción global fija $q$ en cada iteración, se muestrea una proporción perturbada $q^{(t)}$ de una distribución hipergeométrica multivariada:
  $$q^{(t)} \sim \text{MultiHG}(M, q, |B|)$$
  donde $M$ es el tamaño total de datos no etiquetados y $|B|$ es el tamaño del mini-lote.
• Esto modela la composición esperada del mini-lote, introduciendo perturbaciones dependientes de la iteración que previenen que la red memorice una proporción ruidosa fija, estabilizando así el entrenamiento bajo desequilibrios severos.

3. Contribuciones Clave

1. Integración pionera de LLP en SSL: Es el primer trabajo que introduce explícitamente la información de proporciones de etiquetas desde el campo LLP al contexto de SSL como un término de regularización.
2. Marco simple y adaptable: El método es conceptualmente simple y se puede integrar sin modificaciones arquitectónicas en algoritmos SSL existentes (como FixMatch y ReMixMatch).
3. Variante Estocástica Robusta: Desarrollo de una versión de la pérdida que modela la composición del mini-lote probabilísticamente, mejorando la robustez ante fluctuaciones en escenarios de desequilibrio severo.
4. Validación exhaustiva: Demostración de mejoras consistentes en el benchmark CIFAR-10-LT, superando a los métodos de referencia y a técnicas existentes de SSL con desequilibrio de clases (CISSL).

4. Resultados Experimentales

Los experimentos se realizaron en CIFAR-10-LT (una variante de cola larga de CIFAR-10) con diferentes ratios de desequilibrio ($\gamma \in \{10, 20, 50, 100\}$) y ratios de datos etiquetados ($\beta \in \{2\%, 4\%, 10\%, 20\%\}$).

• Rendimiento General: La integración de la Pérdida de Proporción en FixMatch y ReMixMatch mejoró consistentemente el rendimiento en todas las severidades de desequilibrio y ratios de etiquetas.
• Condiciones de Etiquetas Escasas: El método fue particularmente efectivo cuando los datos etiquetados eran escasos ($\beta = 2\%$ y $4%$), superando a métodos avanzados como DARP y CReST.
  • Ejemplo: En ReMixMatch con $\gamma=10$ y $\beta=2\%$, el método propuesto alcanzó 88.1% de precisión, superando a ReMixMatch base (85.5%) y a ReMixMatch + DARP (87.5%).
• Análisis de Distribución: Las gráficas muestran que, mientras los métodos base sobreestiman las clases mayoritarias y subestiman las minoritarias, el método propuesto reduce significativamente esta discrepancia, alineando mejor las predicciones con la distribución real.
• Selección de Etiquetas Pseudo: El método mejoró la recall (sensibilidad) de las etiquetas pseudo para las clases minoritarias sin sacrificar el rendimiento de las clases mayoritarias, lo que indica una selección de pseudo-etiquetas de mayor calidad.

5. Significado e Impacto

Este trabajo aborda una limitación fundamental en el SSL: la amplificación de sesgos en datos desequilibrados. Al utilizar la información de proporciones globales como una guía de regularización, el método corrige el sesgo a nivel de clase sin necesidad de reestructurar los algoritmos base.

La propuesta es significativa porque:

• Ofrece una solución ligera y de bajo costo computacional para un problema complejo.
• Proporciona un mecanismo para estabilizar el entrenamiento cuando los datos etiquetados son muy escasos, un escenario común en aplicaciones prácticas (como diagnóstico médico o análisis de imágenes).
• Establece un nuevo enfoque que combina la supervisión a nivel de grupo (LLP) con el aprendizaje de instancias individuales (SSL), abriendo nuevas vías de investigación para mejorar la equidad y precisión en modelos de aprendizaje automático.

Limitaciones mencionadas: El método asume que los datos etiquetados y no etiquetados siguen la misma distribución; si esto no se cumple, la efectividad podría disminuir. Además, en tamaños de mini-lote muy pequeños, la estimación de proporciones puede ser menos precisa.