Generative Hints

1. El Problema

Aunque la aumentación de datos es un estándar en visión por computadora para introducir variación y mitigar el sobreajuste, presenta dos limitaciones fundamentales:

1. Aprendizaje Implícito: La aumentación expone al modelo a versiones transformadas de los datos de entrenamiento, esperando que el modelo aprenda invariancias (ej. que un objeto sigue siendo el mismo si se rota) de forma implícita a través de la función de pérdida de clasificación. Sin embargo, esto no garantiza explícitamente que la función aprendida satisfaga las restricciones de invariancia fuera del conjunto de entrenamiento finito.
2. Limitación del Conjunto Finito: La aumentación opera únicamente sobre el conjunto de datos de entrenamiento observado. La verdadera distribución de entrada es continua y mucho más amplia; por lo tanto, las invariancias aprendidas pueden no generalizar bien a regiones no vistas de la distribución de entrada.

El objetivo es desarrollar una metodología que imponga explícitamente las invariancias funcionales conocidas sobre la distribución de entrada aprendida, más allá de los ejemplos etiquetados disponibles.

2. Metodología: Pistas Generativas (Generative Hints)

Los autores proponen reformular una tarea de clasificación supervisada completa como un problema de aprendizaje semi-supervisado, utilizando datos sintéticos generados como "datos no etiquetados".

Concepto Central

Se basa en la teoría de "pistas" (hints) de Abu-Mostafa, donde el conocimiento del dominio se codifica como objetivos auxiliares de entrenamiento. A diferencia de las pistas anteriores que usaban ruido aleatorio (ineficaz en espacios de alta dimensión como imágenes), este método utiliza modelos generativos para aproximar la distribución de entrada real.

Proceso de Entrenamiento

El enfoque combina dos objetivos durante el entrenamiento:

1. Pérdida de Clasificación ($L_{class}$): Se aplica a los datos reales etiquetados ($D_{train}$) utilizando aumentación de datos estándar (igual que en los baselines).
2. Pérdida de Pista ($L_{hint}$): Se aplica a ejemplos virtuales no etiquetados ($x_v$) generados por un modelo generativo ($G_\theta$) entrenado en los datos de entrenamiento.

Mecanismo de la Pista de Invariancia:
Para un ejemplo virtual $x_v$ generado por $G_\theta$ y una transformación $h$ (ej. rotación, cambio de brillo):

• Se genera $x_v = G_\theta(z)$.
• Se aplica la transformación: $x'_v = h(x_v)$.
• Se fuerza explícitamente que las predicciones del modelo sean iguales: $f(x_v) = f(x'_v)$.
• Esto se logra minimizando la divergencia entre las predicciones de $x_v$ y $x'_v$ (usando Divergencia KL simétrica escalada por temperatura para clasificación, o MSE para regresión).

Tipos de Invariancias Implementadas:

• Espacial: Volteo horizontal, traslación y rotación.
• Fotométrica: Ajuste de brillo, contraste y saturación.
• Recorte (Cropping): Extracción de subregiones.

Algoritmo:
En cada lote (batch), el modelo se actualiza alternando o combinando:

1. Actualización con datos reales etiquetados + aumentación.
2. Muestreo de un ejemplo virtual por cada dato real, aplicación de la transformación de la pista, y actualización con la pérdida de pista ($\alpha \cdot L_{hint}$).

3. Contribuciones Clave

1. Mejora Consistente sobre Aumentación: Demostraron que las pistas generativas superan consistentemente a los baselines de aumentación de datos estándar en múltiples arquitecturas (ViT-B, Swin-B, ResNet50), conjuntos de datos (clasificación de imágenes finas y médicas) y funciones de pérdida.
2. Reformulación Semi-supervisada: Son los primeros en tratar la síntesis de datos a partir de un modelo generativo como "datos no etiquetados" para reformular una tarea totalmente supervisada como semi-supervisada, con el fin de aprender propiedades funcionales.
3. Imposición Explícita de Invariancias: Introducen una metodología que impone explícitamente las propiedades de invariancia sobre la distribución aprendida, en lugar de depender únicamente del aprendizaje implícito en un conjunto de datos finito.

4. Resultados Experimentales

Clasificación de Visión de Alta Finesa (Fine-Grained)

Se evaluó en cuatro conjuntos de datos: Stanford Cars, FGVC Aircraft, CUB-200-2011, Oxford Flowers.

• Arquitecturas: ViT-B y Swin-B.
• Resultados: Las pistas generativas lograron mejoras de precisión de hasta 2.10% en benchmarks de clasificación fina.
• Evidencia de Invariancia: La pérdida de pista (hint loss) en ejemplos virtuales disminuyó drásticamente (de ~0.2-0.7 a ~$10^{-7}$-$10^{-4}$), demostrando que el modelo aprendió explícitamente las invariancias, a diferencia del baseline que solo las aprendió implícitamente.

Imágenes Médicas (CheXpert)

• Dataset: CheXpert (radiografías de tórax).
• Arquitectura: ResNet50 con pérdida MSE.
• Resultados: Mejora promedio del 1.29% en la reducción del error cuadrático medio (MSE) sobre 9 patologías. Mejoras notables en "Dispositivos de Soporte" (+3.15%) y "Neumonía" (+2.00%).
• Nota: Se utilizó solo invariancia espacial, ya que las variaciones fotométricas pueden ser clínicamente significativas en radiografías.

Calidad del Generador

Se analizó el impacto de la calidad del modelo generativo (medida por FID - Fréchet Inception Distance):

• Existe un umbral crítico: Si el FID es > 50, no hay señal de aprendizaje útil.
• Si el FID baja de 11, la correlación entre el aprendizaje en ejemplos virtuales y reales se vuelve significativa.
• Modelos de calidad moderada (10 < FID < 15) ya proporcionan beneficios, aunque los ideales son FID < 10.

5. Significado y Conclusión

El trabajo establece las "Pistas Generativas" como una herramienta versátil para la inyección de conocimiento de dominio. Su principal valor radica en:

• Regularización Explícita: Permite forzar al modelo a respetar leyes físicas o lógicas conocidas (como la invariancia a la rotación) sobre toda la distribución de datos, no solo sobre los ejemplos de entrenamiento.
• Complementariedad: No reemplaza la aumentación de datos, sino que se suma a ella, ofreciendo una señal de aprendizaje adicional a través de ejemplos virtuales no etiquetados.
• Generalización: Funciona tanto en imágenes naturales como médicas y con diferentes arquitecturas (Transformers y CNNs).

Este enfoque abre nuevas vías para la regularización explícita en entornos de aprendizaje totalmente etiquetados, superando las limitaciones inherentes de la aumentación de datos tradicional.