A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

A continuación se presenta un resumen técnico detallado del artículo "Una mujer con un cuchillo o un cuchillo con una mujer? Midiendo la amplificación direccional del sesgo en las descripciones de imágenes."

1. Declaración del Problema

Amplificación del Sesgo en la Descripción de Imágenes:
Cuando los modelos de descripción de imágenes se entrenan con conjuntos de datos sesgados (por ejemplo, descripciones escritas por humanos que contienen estereotipos sociales), a menudo reproducen e incluso amplifican estos sesgos en sus salidas generadas. Por ejemplo, un modelo podría predecir "una mujer sosteniendo un cuchillo" con mayor frecuencia que "un hombre sosteniendo un cuchillo" cuando la evidencia visual es ambigua, o viceversa.

Limitaciones de las Métricas Existentes:
Los métodos actuales para medir la amplificación del sesgo se dividen en dos categorías, ambas fallidas para la descripción de imágenes:

1. Métricas basadas en clasificación (por ejemplo, BA→, DPA): Estas miden el sesgo en tareas de clasificación pero ignoran el significado semántico de las oraciones en lenguaje natural. No pueden distinguir entre "Él tiene una pelota" y "Él no tiene una pelota" si las palabras clave son las mismas.
2. Métricas conscientes del lenguaje (por ejemplo, LIC, ImgCap2):
   • LIC (Fuga en la Descripción): Aunque entiende la semántica, es no direccional. No puede distinguir qué atributo causó el sesgo. No puede indicar si el modelo amplificó el sesgo de predecir una "mujer" al ver un "cuchillo", o de predecir un "cuchillo" al ver una "mujer".
   • ImgCap2: Confunde los sesgos inherentes a la imagen con los sesgos en la descripción, lo que la hace inadecuada para aislar el comportamiento del modelo de descripción.
   • Problemas de Consistencia: Las puntuaciones de LIC varían significativamente dependiendo de la elección del codificador de oraciones (un hiperparámetro), lo que hace que los resultados sean poco fiables.

El Vacío: No existe ninguna métrica que sea simultáneamente consciente del lenguaje (entiende la semántica), direccional (identifica la fuente del sesgo: Atributo $\to$ Tarea vs. Tarea $\to$ Atributo) y consistente a través de diferentes configuraciones de modelos.

---

2. Metodología: Amplificación Direccional del Sesgo en la Descripción (DBAC)

Los autores proponen DBAC, una nueva métrica diseñada para medir la amplificación del sesgo en dos direcciones específicas:

• $A \to T$ (Atributo a Tarea): ¿La presencia de un atributo (por ejemplo, Género) amplifica la predicción de una tarea/objeto (por ejemplo, Cuchillo)?
• $T \to A$ (Tarea a Atributo): ¿La presencia de una tarea/objeto amplifica la predicción de un atributo (por ejemplo, Género)?

Mecanismo Central

DBAC utiliza un marco de ataque adversarial combinado con alineación de vocabulario:

1. Enmascaramiento:
   • Para medir $A \to T$: Se enmascaran los tokens de género en la descripción (por ejemplo, "Una <género> con una guitarra").
   • Para medir $T \to A$: Se enmascaran los tokens de tarea (por ejemplo, "Un hombre con un ").
2. Función del Atacante ($f$):
   • Se entrena un modelo (codificador de oraciones + cabeza de clasificación) para predecir el atributo enmascarado (por ejemplo, género) utilizando únicamente el contexto restante.
   • Una alta precisión de predicción implica que el contexto restante (la tarea) contiene señales de sesgo fuertes sobre el atributo.
3. Formulación Probabilística:
   • El sesgo se cuantifica mediante la probabilidad del atributo dada la oración enmascarada.
   • Para garantizar un prior fijo (un requisito para una medición válida de la amplificación del sesgo), los autores utilizan el teorema de Bayes para aproximar el sesgo como $P(\text{Tarea} | \text{Atributo})$.
   • Puntuación de Amplificación del Sesgo: Se calcula como la diferencia entre el sesgo en las Descripciones Generadas por el Modelo (MGC) y las Descripciones Generadas por Humanos (HGC), normalizado a un rango de $(-1, 1)$.
   • Fórmula: $DBAC = \frac{\omega_M - \omega_H}{\omega_M + \omega_H + \epsilon}$, donde $\omega$ representa la fuerza del sesgo.

Mejoras Técnicas Clave sobre LIC

1. Direccionalidad: Separa explícitamente la amplificación $A \to T$ y $T \to A$, permitiendo estrategias de mitigación dirigidas.
2. Sustitución Contextual (Alineación de Vocabulario):
   • Problema: Las descripciones humanas (HGC) tienen vocabularios más grandes que las descripciones del modelo (MGC). La "sustitución constante" simple (reemplazar palabras desconocidas con <unk>) pierde matices semánticos.
   • Solución: DBAC utiliza sustitución contextual. Si una palabra en HGC falta en MGC, se reemplaza por la palabra semánticamente más cercana del vocabulario de MGC (utilizando incrustaciones como GloVe o FastText). Si no existe una coincidencia cercana, se convierte en <unk>.
   • Beneficio: Esto preserva mejor la señal de sesgo semántico que la sustitución constante.
3. Consistencia del Codificador: La métrica está diseñada para ser robusta a través de diferentes codificadores de oraciones (LSTM, RNN, Transformers, Modelos preentrenados).

---

3. Contribuciones Clave

1. Métrica DBAC: La primera métrica que es simultáneamente consciente del lenguaje, direccional y consistente.
2. Identificación de la Fuente: DBAC puede señalar si un modelo amplifica el sesgo de los atributos a las tareas o viceversa, permitiendo estrategias específicas de reentrenamiento (por ejemplo, reentrenar solo en "mujeres con objetos que no son cuchillos" si el sesgo $A \to T$ es alto).
3. Sustitución Contextual: Demostró que reemplazar palabras con alternativas semánticamente similares (en lugar de <unk> genérico) produce estimaciones de sesgo más precisas.
4. Robustez: Probó que las puntuaciones de DBAC son estables a través de varios codificadores de oraciones, eliminando la necesidad de ajustar hiperparámetros para encontrar un codificador "adecuado".

---

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos COCO Captions utilizando 13 modelos de descripción diferentes (incluyendo BLIP, OSCAR, LLaVA y modelos basados en Transformers) y atributos de Género y Raza.

• Captura del Sesgo Lingüístico: En conjuntos de datos controlados donde el género y la tarea estaban equilibrados pero el uso de verbos estaba desequilibrado, las métricas no conscientes del lenguaje (BA→, DPA) reportaron cero sesgo. DBAC y LIC detectaron correctamente el sesgo lingüístico.
• Validación de la Direccionalidad:
  • Los autores enmascararon progresivamente a las personas en las imágenes. A medida que la persona se volvía menos visible, el modelo dependía más de los objetos de fondo (tareas) para adivinar el género/raza.
  • Resultado: Solo DBAC capturó la tendencia creciente en el sesgo $T \to A$ a medida que aumentaba el enmascaramiento. LIC no pudo detectar esta tendencia porque carecía de direccionalidad.
• Consistencia (Análisis de Sensibilidad):
  • DBAC mostró un Coeficiente de Variación (CV) significativamente menor a través de diferentes codificadores de oraciones en comparación con LIC.
  • Género: DBAC tuvo 84.5% menos variación (codificadores desde cero) y 69.9% menos variación (codificadores preentrenados) que LIC.
  • Raza: DBAC tuvo 59.5% menos variación (desde cero) y 83.6% menos variación (preentrenados) que LIC.
• Impacto de la Sustitución: La sustitución contextual mejoró las puntuaciones de similitud METEOR (reteniendo el significado original) en aproximadamente un 2.7% al 3.4% sobre la sustitución constante. También resultó en puntuaciones de detección de sesgo más altas y precisas.
• Análisis de Modelos:
  • La mayoría de los modelos redujeron el sesgo $A \to T$ (predecir tareas dado el género se volvió más justo).
  • Sin embargo, 8 de cada 13 modelos aumentaron el sesgo $T \to A$ (predecir el género dado una tarea se volvió más sesgado).
  • La técnica de mitigación "Equalizer" redujo el sesgo $T \to A$ pero inadvertidamente empeoró el sesgo $A \to T$, destacando la necesidad de métricas direccionales para evitar consecuencias no deseadas.

---

5. Significado

• Fiabilidad: DBAC se establece como la única métrica fiable para medir la amplificación del sesgo en la descripción de imágenes, abordando las fallas críticas de los métodos anteriores.
• Información Accionable: Al identificar la dirección del sesgo, DBAC permite a los investigadores aplicar mitigación dirigida. En lugar de reentrenar un modelo en un conjunto de datos masivo, los investigadores pueden curar específicamente los datos para romper asociaciones sesgadas específicas (por ejemplo, "cuchillo $\to$ mujer").
• Estandarización: La robustez de DBAC frente a las elecciones de codificadores de oraciones elimina una fuente importante de ruido experimental, haciendo que la medición del sesgo sea más reproducible y comparable entre estudios.
• Seguridad: En aplicaciones de alto riesgo como la tecnología de asistencia para personas con discapacidad visual, comprender y corregir el sesgo direccional es crucial para evitar descripciones engañosas o dañinas.