Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing

Resumen Técnico: Mitigación de Correlaciones Espurias mediante la Selección de Coresets Guiada por la Memorización de la Desesquematización de Datos

Declaración del Problema

Los conjuntos de datos del mundo real frecuentemente contienen correlaciones espurias: características que son altamente consistentes dentro de una clase pero que no están relacionadas causalmente con la etiqueta objetivo. Los modelos de aprendizaje profundo entrenados mediante la Minimización del Riesgo Empírico (ERM) suelen exhibir un sesgo de simplicidad, aprendiendo estas características espurias más simples antes de capturar las características esenciales complejas. Esto conduce a una deficiente precisión del peor grupo (WGA) en los datos de prueba donde las correlaciones espurias no se mantienen, particularmente para los grupos minoritarios donde el atributo espurio discrepa con la etiqueta.

Si bien los enfoques existentes para mitigar este sesgo a menudo se desvían del ERM estándar empleando técnicas de optimización complejas o requiriendo acceso a las etiquetas de grupo (atributos espurios), existe la necesidad de métodos que puedan reducir la dependencia de las correlaciones espurias mientras retienen el entrenamiento ERM estándar. Una solución potencial reside en la selección de coresets —la construcción de subconjuntos de alta calidad de datos que representen la distribución completa de entrenamiento. Sin embargo, el artículo argumenta que las funciones de puntuación de muestras ampliamente utilizadas (por ejemplo, EL2N, SelfSup) y los algoritmos de selección de coreset fallan en este contexto. Debido al sesgo de simplicidad, estas funciones de puntuación están dominadas por características espurias, clasificando erróneamente las muestras con fuertes correlaciones espurias como "fáciles" y las muestras sin ellas como "difíciles". En consecuencia, las estrategias de selección estándar fallan al no priorizar las características esenciales difíciles necesarias para la robustez de grupo.

Metodología

Los autores proponen TCSL-CS (Selección de Coreset Guiada por la Pérdida Acumulativa de Muestras de Dos Etapas), un marco diseñado para desenredar la dinámica de aprendizaje de las características esenciales y espurias sin requerir etiquetas de grupo.

1. Fundamento Teórico

El artículo proporciona un análisis teórico bajo el régimen del Kernel de Tangente Neural (NTK) y un modelo de covarianza con picos (spiked covariance model). Demuestra que bajo la condición de sesgo de simplicidad ($\beta_s(2\alpha - 1) > \beta_c$, donde $\beta$ representa la fuerza de la característica y $\alpha$ la fracción del grupo mayoritario), las características espurias se aprenden significativamente más rápido que las características esenciales durante las etapas tempranas del entrenamiento. Este aprendizaje rápido causa que las pérdidas de las muestras (y, por lo tanto, las puntuaciones estándar) estén dominadas por el atributo espurio, volviéndolas ineficaces para identificar muestras con características esenciales difíciles.

2. Entrenamiento de Modelo en Dos Etapas

Para desacoplar estas dinámicas, los autores introducen un esquema de entrenamiento de dos etapas (Algoritmo 1):

• Etapa 1 (Modelo Espurio, $f_s$): Se entrena un modelo sesgado para aprender solo características espurias. Esto se logra aumentando el peso de las muestras con la pérdida más baja en cada época, amplificando efectivamente el aprendizaje de las muestras donde el atributo espurio se alinea con la etiqueta ($a=y$).
• Etapa 2 (Modelo Esencial, $f_c$): Los pesos de $f_s$ se congelan. Un modelo esencial se entrena utilizando una función de pérdida modificada que incorpora el logit del modelo espurio como un mecanismo de retroalimentación negativa:
  $$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$$
  Esto empuja a $f_c$ a aprender las características esenciales al compensar las predicciones del modelo sesgado.

3. Pérdida Acumulativa de Muestras de Dos Etapas (TCSL)

Basándose en los modelos entrenados, los autores definen una nueva métrica de puntuación, TCSL, que consta de dos componentes:

• $TCSL_s(x)$: La pérdida acumulativa del modelo espurio $f_s$. Las puntuaciones altas indican muestras donde la característica espuria es débil o no está alineada con la etiqueta.
• $TCSL_c(x)$: La pérdida acumulativa del modelo esencial $f_c$. Esta puntuación refleja la dificultad de las características esenciales, independientemente del atributo espurio.

4. Algoritmo TCSL-CS

El algoritmo de selección de coreset (Algoritmo 2) opera en dos etapas para construir un subconjunto robusto:

1. Identificar Muestras de Alta Espuriedad: Utilizando wKMeans sobre las puntuaciones de $TCSL_s$ y las curvas de pérdida, el algoritmo identifica un grupo de muestras ($G_{high}$) con alta dificultad espuria (es decir, muestras que carecen de fuertes correlaciones espurias). Se selecciona un subconjunto de estas para asegurar que el coreset incluya muestras similares a las minoritarias que son desafiantes.
2. Completar la Cuota Restante: Los espacios restantes se llenan a partir del grupo mayoritario ($G_{low}$) basándose en las puntuaciones de $TCSL_c$.
   • Si la relación de selección $r$ es alta ($r \geq \tau$), el algoritmo selecciona las muestras con las puntuaciones más bajas de $TCSL_c$ (características esenciales más fáciles) para maximizar la precisión promedio.
   • Si $r$ es baja ($r < \tau$), el algoritmo utiliza una selección basada en histogramas (SelectHist) para muestrear de contenedores (bins) de diversas dificultades de $TCSL_c$, asegurando la diversidad en la dificultad de las características esenciales y evitando la exclusión de características esenciales difíciles.

Contribuciones Clave

• Puntuación TCSL: Una métrica novedosa que cuantifica por separado la dificultad de aprendizaje de las características esenciales y espurias, abordando el fallo de las puntuaciones existentes para desenredar estos componentes bajo el sesgo de simplicidad.
• Algoritmo TCSL-CS: Un método de selección de coreset robusto al grupo que logra una alta precisión del peor grupo sin requerir acceso a las etiquetas de grupo. Aprovecha la puntuación TCSL para construir coresets que equilibran la precisión promedio y el rendimiento del peor grupo.
• Análisis Teórico: Un análisis riguroso bajo el régimen NTK que demuestra que las características espurias dominan la dinámica de aprendizaje temprano, explicando por qué las puntuaciones basadas en la pérdida estándar fallan en entornos espurios.
• Superioridad Empírica: Demostrar que un modelo ERM estándar entrenado en el coreset de TCSL-CS supera a las técnicas de desesquematización de vanguardia (incluyendo aquellas que requieren etiquetas de grupo) utilizando solo el 10% de los datos de entrenamiento originales.

Resultados Experimentales

Los autores evaluaron TCSL-CS en cuatro conjuntos de datos conocidos por sus correlaciones espurias: Waterbirds, cMNIST, MetaShift y UrbanCars-B.

• Rendimiento vs. Baselines de Desesquematización: En Waterbirds, TCSL-CS mejoró la WGA de un modelo ERM estándar en un 10.44%, superando a GroupDRO (que requiere etiquetas de grupo) y otros métodos de desesquematización como LC, DFR y JTT. En cMNIST (donde las correlaciones espurias son extremadamente fuertes, $\alpha=0.995$), TCSL-CS superó al siguiente mejor método por más de un 11%.
• Rendimiento vs. Baselines de Selección de Coreset: TCSL-CS superó significativamente a los métodos de selección de coreset estándar (EL2N, SelfSup, Random, D2) en todos los conjuntos de datos. Por ejemplo, en Waterbirds, los métodos basados en EL2N alcanzaron puntuaciones de WGA tan bajas como 39.88%, mientras que TCSL-CS alcanzó el 91.91%.
• Eficiencia de Datos: El método logró un rendimiento de vanguardia utilizando solo el 10% de los datos de entrenamiento.
• Estudios de Ablación: Los experimentos confirmaron que $TCSL_s$ y $TCSL_c$ desenredan con éxito las dificultades de las características espurias y esenciales, mostrando una alta similitud de coseno con las puntuaciones derivadas de modelos entrenados exclusivamente en características espurias o esenciales, respectivamente.

Significancia y Reivindicaciones

El artículo afirma que TCSL-CS ofrece un enfoque escalable y principiado para la desesquematización. A diferencia de muchos métodos existentes que requieren optimizaciones complejas o etiquetas de grupo, TCSL-CS:

1. Retiene el ERM Estándar: Permite el uso de entrenamiento ERM estándar en el coreset seleccionado, evitando la necesidad de funciones de pérdida especializadas o procedimientos de optimización durante la fase final de entrenamiento.
2. Reduce el Costo Computacional: Al seleccionar un pequeño subconjunto (por ejemplo, el 10%) de los datos, reduce significativamente la carga computacional de entrenar modelos grandes, ya que el costoso paso de selección de coreset se realiza una sola vez y el subconjunto resultante puede reutilizarse.
3. Generalizabilidad: Los coresets seleccionados son agnósticos a la arquitectura, produciendo mejoras de rendimiento consistentes a través de diferentes backbones de modelos (ResNet, Inception, DenseNet).

Los autores posicionan su trabajo como el primer algoritmo de selección de coreset diseñado específicamente para lograr tanto una alta precisión promedio como una alta precisión del peor grupo en ausencia de etiquetas de grupo, mitigando eficazmente el impacto negativo del sesgo de simplicidad en la selección de datos.