Resumen Técnico: Mejora de la Destilación de Conocimiento bajo Desplazamiento de Covariables Desconocido mediante Aumentación de Datos Guiada por Confianza

1. Planteamiento del Problema

El artículo aborda las limitaciones de la Destilación de Conocimiento (KD) cuando se aplica en escenarios con desplazamiento de covariables desconocido. Aunque los modelos fundacionales demuestran capacidades robustas de cero disparos (zero-shot), desplegarlos en entornos con recursos limitados a menudo requiere transferir el conocimiento a redes estudiantiles más pequeñas. La KD estándar depende del "conocimiento oscuro" (etiquetas suaves) de un profesor para mejorar la generalización del estudiante. Sin embargo, cuando los datos de entrenamiento ($P_{train}$) no cubren suficientemente la distribución de prueba ($P_{test}$), el estudiante suele fallar al aprender el verdadero límite de decisión.

En su lugar, el estudiante explota características espurias (por ejemplo, el color de cabello o la edad en la clasificación de género) que están correlacionadas con la etiqueta en el conjunto de entrenamiento, pero no están relacionadas causalmente. Esto conduce al aprendizaje de atajos (shortcut learning), donde el modelo tiene un buen desempeño en los datos de entrenamiento, pero falla en los grupos de prueba que estuvieron ausentes o subrepresentados durante el entrenamiento (por ejemplo, mujeres rubias mayores o hombres jóvenes no rubios). Los métodos de aumentación de datos basados en difusión existentes suelen fallar al intentar atacar estos sesgos específicos porque no aprovechan explícitamente la discrepancia entre un profesor robusto y un estudiante sesgado.

2. Metodología: ConfiG

Los autores proponen ConfiG (Confidence-Guided), un novedoso marco de aumentación de datos diseñado para mitigar el desplazamiento de covariables mediante la generación de muestras sintéticas que desafíen específicamente la dependencia del estudiante de las características espurias.

Mecanismo Central

ConfiG utiliza un modelo de difusión (basado en Stable Diffusion) guiado por el desacuerdo entre un modelo profesor robusto ($t$) y un modelo estudiante sesgado ($f$). El objetivo es generar imágenes donde:

1. El profesor mantiene una alta confianza en la clase correcta (preservando las características causales).
2. El estudiante tiene una baja confianza en la clase correcta (indicando la dependencia de características espurias).

Implementación Técnica

El método opera en dos etapas principales:

1. Mezcla Inter-Clase (Warm-Starting):
   Para evitar mínimos locales y asegurar la generación de muestras desafiantes, ConfiG primero realiza una mezcla inter-clase. Utilizando edición prompt-to-prompt, la imagen original se edita hacia una clase objetivo aleatoria (diferente de la original). Esto proporciona una inicialización latente que es semánticamente distinta de la original, facilitando la exploración de nuevas combinaciones de características.

2. Optimización Latente:
   El núcleo de ConfiG implica la optimización del código latente ($z_0$), el texto nulo ($\emptyset$) y la señal de condicionamiento ($C$) para maximizar el desacuerdo entre el profesor y el estudiante. La optimización minimiza la siguiente función de pérdida:
   $$\min_{z_0, \emptyset, C} \; f(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y^\gamma + \left(1 - t(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y\right)^\gamma$$
   Donde:

   • $f$ y $t$ son los modelos estudiante y profesor.
   • $y$ es la confianza de la clase objetivo.
   • $\gamma$ es una transformación no lineal (establecida empíricamente en 2) para manejar casos donde el estudiante es inicialmente muy confiado.
   • $\mathcal{M}_{\epsilon_\theta}$ es el modelo de predicción de ruido y $\mathcal{D}$ es el decodificador.

   Este proceso genera imágenes donde el estudiante es "engañado" por características espurias (por ejemplo, un rostro masculino con cabello rubio siendo clasificado como femenino) mientras que el profesor identifica correctamente la clase verdadera.

3. Pipeline de Entrenamiento:

   • Primero, se destila un estudiante auxiliar sobre los datos de entrenamiento reales limitados y sesgados. Este estudiante estudiante naturalmente capta las correlaciones espurias.
   • ConfiG utiliza este estudiante auxiliar para generar aumentaciones sintéticas.
   • Luego, un estudiante robusto se entrena con una mezcla de datos reales y las aumentaciones generadas por ConfiG (con una probabilidad de reemplazo $\alpha = 0.5$).

3. Contribuciones Clave

1. Identificación del Problema: Los autores demuestran que, si bien la KD desde un profesor robusto mejora el rendimiento general, sigue siendo insuficiente bajo un desplazamiento de covariables desconocido, lo que conduce a un mal desempeño en grupos no vistos en el conjunto de prueba.
2. Marco ConfiG: Introducen un método de aumentación por difusión guiada por confianza que ataca explícitamente el desplazamiento de covariables al maximizar el desacuerdo profesor-estudiante, sin requerir conocimiento explícito del sesgo o de las etiquetas de grupo.
3. Validación Empírica y Teórica: El artículo proporciona motivación teórica mostrando que las aumentaciones que desafían al estudiante pero son fáciles para el profesor pueden reducir el error de generalización ($\Omega$). Empíricamente, ConfiG supera a las líneas base de aumentación basadas en difusión de última generación en múltiples conjuntos de datos.

4. Resultados Experimentales

Los autores evaluaron ConfiG en cuatro conjuntos de datos: CelebA-HQ, SpuCo Birds, BAR (Biased Activity Recognition) y un subconjunto de ImageNet (Spurious ImageNet).

• Conjuntos de Datos de Desplazamiento de Grupo (CelebA-HQ, SpuCo Birds, BAR):

  • ConfiG alcanzó consistentemente la mejor o segunda mejor Precisión Media de Muestra (SMA) y la mejor Precisión Media de Grupo (GMA) y Precisión del Peor Grupo (WGA) en comparación con seis líneas base (GIF, DistDiff, DA-Fusion, Diff-Mix, Diff-II, ActGen).
  • En CelebA-HQ, ConfiG mejoró la Precisión del Peor Grupo en más de un 34% en comparación con el entrenamiento solo con datos reales, reduciendo significativamente la brecha con el profesor.
  • En SpuCo Birds y BAR, ConfiG redujo la brecha de rendimiento con el profesor en un 23% y 37% respectivamente, superando a todas las líneas base en el rendimiento del peor grupo.

• ImageNet-100 (Características Espurias):

  • ConfiG logró la mayor precisión de validación y el Spurious Score (SpuScore) más alto, indicando una mejor robustez contra características espurias por clase.
  • Se observaron mejoras tanto para las arquitecturas de estudiante ViT-T como ViT-S.

• Estudios de Ablación:

  • Componentes: La combinación de la mezcla inter-clase y la optimización latente produjo los mejores resultados; usar cualquiera de los componentes por separado fue menos efectivo.
  • Aumentaciones más Fuertes: ConfiG combinado con aumentaciones no sintéticas más fuertes (por ejemplo, AutoAugment, MixUp) mejoró aún más el rendimiento.
  • Fuerza del Profesor: ConfiG se mantuvo efectivo incluso con modelos profesores más débiles (por ejemplo, ResNet50 o variantes más pequeñas de CLIP), aunque el rendimiento absoluto disminuyó.
  • Mitigación de Sesgo Centrada en el Modelo: Las aumentaciones de ConfiG mejoraron significativamente el rendimiento de los métodos de mitigación de sesgo centrados en el modelo (LfF, uLA, ERM) cuando se combinaron con ellos.

5. Significado y Reivindicaciones

El artículo afirma que ConfiG ofrece una solución centrada en los datos al problema de la cobertura limitada de los datos de entrenamiento y el desplazamiento de covariables desconocido. Al aprovechar la discrepancia entre un profesor robusto y un estudiante sesgado, el método genera datos sintéticos dirigidos que obligan al estudiante a desaprender las correlaciones espurias y aproximar con mayor precisión el límite de decisión del profesor.

Los autores enfatizan que su enfoque no requiere anotaciones de grupo explícitas ni conocimiento de los sesgos específicos, lo que lo hace aplicable a escenarios del mundo real donde dicha información no está disponible. Si bien el método muestra un rendimiento superior en robustez de grupo y manejo de características espurias, los autores señalan ciertas limitaciones:

• El método está actualmente diseñado para la aumentación de imágenes globales en tareas de clasificación y puede requerir adaptación para tareas dependientes de la localización, como la detección de objetos.
• Depende de modelos profesor y de difusión pre-entrenados, lo que conlleva costos computacionales, aunque los autores demuestran compatibilidad con modelos de difusión de un solo paso más rápidos (Hyper-SD).
• El análisis teórico asume ciertas condiciones (por ejemplo, la precisión del profesor) que se satisfacen aproximadamente en la práctica, pero que son difíciles de caracterizar puramente a partir de conjuntos de aumentación discretos.

En conclusión, ConfiG representa un paso hacia una destilación de conocimiento más robusta en entornos de datos escasos y sesgados, cerrando eficazmente la brecha entre las capacidades de los grandes modelos fundacionales y las redes estudiantiles más pequeñas y desplegables.