Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

Resumen Técnico: El Sesgo Deja un Rastro de Gradiente

Enunciado del Problema
Los clasificadores de visión modernos a menudo logran una alta precisión en la distribución interna explotando correlaciones espurias (atajos) en lugar de características causales. Si bien estos modelos funcionan bien con los datos de entrenamiento, fallan bajo cambios de distribución donde estas correlaciones se rompen. Los métodos existentes de mitigación y análisis de sesgos típicamente requieren conjuntos de datos curados con atributos espurios conocidos o etiquetas de grupo, o bien necesitan reentrenar el modelo. Sin embargo, en escenarios de implementación en el mundo real, los practicantes a menudo se enfrentan a un modelo "congelado" sin acceso al pipeline de entrenamiento original, a anotaciones de sesgo o a etiquetas de grupo. El desafío consiste en identificar estos conceptos espurios ocultos y mitigarlos post-hoc sin reentrenar ni requerir supervisión adicional.

Metodología
Los autores proponen un método libre de etiquetas y post-hoc para identificar y mitigar conceptos espurios en modelos de visión congelados utilizando únicamente las etiquetas de clase estándar de un conjunto de auditoría retenido. El enfoque consta de tres etapas principales:

1. Descomposición de Conceptos No Negativos:

   • El modelo $f$ se descompone en $h \circ g$, donde $g$ mapea las entradas a representaciones intermedias $a$.
   • Para una clase objetivo $y$, los autores recopilan parches de las entradas predichas como $y$ y aplican la Factorización de Matrices No Negativas (NMF) a las activaciones $A_y$.
   • Esto produce un banco condicional a la clase de vectores de conceptos interpretables ($W_y$) y coeficientes correspondientes ($U_y$), descomponiendo la representación en direcciones no negativas y semánticamente significativas.

2. Identificación de Sesgos Basada en Gradientes:

   • La hipótesis central es que los atributos espurios se manifiestan como direcciones de conceptos distintas que reaccionan de manera asimétrica a las actualizaciones de gradiente en ejemplos mal clasificados.
   • Para ejemplos mal clasificados (Falsos Negativos y Falsos Positivos), los autores calculan el gradiente de la pérdida con respecto a la representación ($\nabla_a L$) y aplican un solo paso de gradiente para crear una representación perturbada $a'$.
   • Observan cómo cambian los coeficientes de los conceptos entre $a$ y $a'$.
   • Intuición: Para corregir un Falso Negativo (no detectar la clase objetivo), el modelo tiende a añadir la pista espuria; para corregir un Falso Positivo (predecir incorrectamente la clase objetivo), tiende a eliminar la pista espuria. Los conceptos intrínsecos (evidencia verdadera) no muestran este patrón asimétrico fuerte.
   • Se calcula una Puntuación de Sesgo ($S_{y,k}$) para cada concepto $k$ basada en la consistencia de estas adiciones y eliminaciones a través del conjunto de auditoría. Los conceptos con puntuaciones altas se clasifican como direcciones candidatas de sesgo.

3. Mitigación en Tiempo de Inferencia:

   • Una vez identificados los conceptos de sesgo, se suprimen en tiempo de inferencia sin actualizar los parámetros del modelo.
   • El método fusiona los bancos de conceptos condicionales a la clase, agrupa conceptos similares y proyecta la representación de entrada en el subespacio ortogonal a los conceptos de sesgo identificados.
   • La representación suprimida se reescala para mantener la norma de activación original antes de la clasificación.

Contribuciones Clave

• Descubrimiento Libre de Etiquetas: Un método para identificar conceptos espurios en modelos congelados sin requerir anotaciones de sesgo o de grupo, confiando únicamente en etiquetas de clase estándar.
• Sondas de Gradiente: Un mecanismo de puntuación novedoso que utiliza la interacción entre las activaciones de conceptos y los pasos de gradiente para distinguir conceptos de sesgo de evidencia intrínseca.
• Mitigación Accionable: Una técnica práctica de supresión en tiempo de inferencia que mejora la precisión del grupo peor sin reentrenar ni actualizar parámetros.
• Interpretabilidad: El método produce vectores de conceptos con parches de activación asociados, proporcionando una auditoría interpretable de en qué se basa el modelo.

Resultados Experimentales
El método se evaluó en tres puntos de referencia estándar: Colored MNIST (CMNIST), Waterbirds y CelebA.

• Alineación de Conceptos: En Waterbirds y CMNIST, la descomposición NMF recuperó de manera fiable conceptos alineados con atributos espurios conocidos (por ejemplo, tipo de fondo para aves, color para dígitos).
• Puntuación de Sesgo: La puntuación basada en gradientes propuesta clasificó con éxito los conceptos alineados con el sesgo por encima de los intrínsecos. Se encontró que un umbral de 0.55 separaba eficazmente los conceptos de sesgo.
• Rendimiento de Mitigación:
  • Waterbirds: La supresión de los conceptos mejor clasificados mejoró la precisión del grupo peor en 17.9 puntos porcentuales (de 45.9% a 63.8%) y la precisión de la clase peor en 8.5 puntos.
  • CelebA: A pesar de que los conceptos identificados solo coincidían parcialmente con el atributo de género anotado (capturando la forma y longitud del cabello en lugar de solo el color), la supresión mejoró la precisión del grupo peor en 10.4 puntos porcentuales (de 43.4% a 53.8%).
  • CMNIST: Los resultados fueron mixtos; aunque se identificaron conceptos de sesgo, la supresión no mejoró consistentemente la precisión del grupo peor, probablemente debido al fuerte entrelazamiento del color y la forma en el rango de descomposición específico utilizado.
• Comparación: El método superó a una ablación de supresión aleatoria, confirmando que las direcciones identificadas están específicamente alineadas con el sesgo. Opera sin las etiquetas de grupo o el reentrenamiento requeridos por líneas base supervisadas como Group DRO o DFR, aunque no alcanza los niveles de rendimiento absoluto de esos modelos reentrenados.

Significado y Afirmaciones
El artículo afirma proporcionar tanto una herramienta de auditoría interpretable como un mecanismo de desviación accionable para modelos de visión desplegados. Su significado principal radica en abordar el "problema de descubrimiento" donde el sesgo es desconocido y el reentrenamiento es inviable.

• Los autores enfatizan que el método identifica direcciones espurias relevantes para la toma de decisiones que no necesitan coincidir perfectamente con los atributos anotados (como se vio en CelebA), capturando proxies sutiles como la longitud del cabello o la textura del fondo que impulsan los errores del modelo.
• El enfoque se presenta como una intervención post-hoc de costo cero que puede aplicarse antes de decidir si un reentrenamiento más invasivo está justificado.
• El artículo reconoce limitaciones, señalando que la descomposición de parches a escala única puede tener dificultades con sesgos distribuidos espacialmente (como el género en CelebA) y que el método requiere un número suficiente de ejemplos mal clasificados en el conjunto de auditoría para funcionar eficazmente.