Resumen Técnico: Investigación de los Sesgos Asociativos en la Comunicación Inter-Modelo de Grandes Modelos Generativos

Planteamiento del Problema

El sesgo social en la IA generativa se caracteriza a menudo por disparidades de rendimiento o "sesgo asociativo", donde los modelos reproducen vínculos estereotípicos entre conceptos (p. ej., actividades, emociones) y grupos demográficos (p. ej., género, edad) incluso sin prompts demográficos explícitos. Si bien trabajos previos han estudiado extensamente el sesgo en salidas de modelos estáticos o equidad predictiva, existe una brecha crítica en la comprensión de cómo estos sesgos evolucionan cuando los modelos generativos se despliegan en tuberías (pipelines) interconectadas. Específicamente, cuando la salida de un modelo (p. ej., un descriptor de imagen a texto) se convierte en la entrada para otro (p. ej., un generador de texto a imagen), los sesgos pueden propagarse, interactuar y amplificarse a través de intercambios iterativos. Esto es particularmente preocupante para tareas de percepción centradas en el ser humano, como el reconocimiento de actividad humana y la predicción de afecto, donde tales derivas podrían conducir a un trato desigual en despliegues sensibles, como la evaluación del bienestar o el monitoreo de la seguridad.

Metodología

Los autores proponen un marco para investigar la deriva de la distribución demográfica y sus mecanismos subyacentes a través de dos pipelines complementarios:

1. Pipeline de Comunicación Inter-Modelo:

   • Mecanismo: Un bucle de retroalimentación iterativo que alterna entre un generador de texto a imagen (Stable Diffusion 3.5 Large) y un descriptor de imagen a texto (LLaVA-Next con Mistral-7B).
   • Variantes: El estudio implementa dos tipos de bucles:
     • Semilla de texto (Text-seeded): Comienza con un prompt que describe un concepto (p. ej., "una persona haciendo deportes") para generar una imagen, la cual es luego descrita, y la descripción se utiliza para regenerar la imagen.
     • Semilla de imagen (Image-seeded): Comienza con una imagen semilla de un conjunto de datos, la cual es descrita, y la descripción se utiliza para generar una nueva imagen.
   • Convergencia: El bucle termina cuando la similitud de coseno entre descripciones consecutivas (en el caso de semilla de texto) o imágenes consecutivas (en el caso de semilla de imagen) supera un umbral, indicando estabilidad.
   • Conjuntos de Datos: Los experimentos utilizan PHASE (contexto rico, escena completa de actividad humana/afecto) y RAF-DB (imágenes de afecto centradas en el rostro).

2. Pipeline de Explicabilidad:

   • Objetivo: Determinar si las derivas demográficas surgen de una dependencia sistemática de pistas visuales espurias en lugar de características relevantes al concepto.
   • Técnica: Adapta Grad-CAM a un entorno de decodificador de lenguaje-visión. Calcula mapas de saliencia condicionados por tokens para tokens de etiquetas admisibles específicos (p. ej., el token "feliz" o "deportes").
   • Agregación de Regiones: Las activaciones se agregan sobre cuatro regiones semánticas: Rostro, Cabello, Cuerpo y Fondo. Esto permite a los autores cuantificar si el modelo depende de pistas semánticamente relevantes (p. ej., el rostro para la emoción) o correlatos espurios (p. ej., el cabello o el fondo).

3. Métricas de Evaluación:

   • Deriva Demográfica: Medida utilizando la prueba de Stuart–Maxwell para la homogeneidad marginal, el $\kappa$ de Cohen para el acuerdo y la similitud de Jaccard ponderada para comparar las distribuciones demográficas pre-bucle y post-bucle (edad, género, etnia).
   • Éxito de la Predicción: La tasa en la que la etiqueta seleccionada por el modelo coincide con la verdad de campo (ground truth), analizada a través de grupos demográficos para evaluar las disparidades de equidad.
   • Análisis Estadístico: Se utiliza la regresión logística para modelar los efectos de la etapa de bucle y el género en el éxito de la predicción.

Principales Contribuciones

El artículo realiza cuatro contribuciones primarias:

1. Deriva de la Distribución Demográfica (C1): Introduce un pipeline para medir sistemáticamente cómo cambian las distribuciones demográficas a través del intercambio de conocimiento inter-modelo, abordando la RQ1 (¿Reflejan las derivas asociaciones estereotípicas?).
2. Asociaciones Regionales (C2): Propone un pipeline de explicabilidad que combina la saliencia condicionada por tokens con la agregación basada en regiones para evaluar si las derivas son causadas por mecanismos sistemáticos (p. ej., dependencia del cabello/fondo) en lugar de ruido, abordando la RQ2.
3. Éxito de la Predicción (C3): Evalúa el rendimiento de las tareas descendentes (predicción de emoción/actividad) a través de grupos demográficos para cuantificar las disparidades resultantes del intercambio inter-modelo, abordando la RQ3.
4. Estrategias de Mitigación (C4): Esboza posibles intervenciones que abarcan desde lo centrado en los datos (aumento, recolección dirigida), el tiempo de entrenamiento (entrenamiento adversarial, objetivos conscientes de atributos) hasta el tiempo de despliegue (ingeniería de prompts, salvaguardas).

Resultados Clave

• Deriva Demográfica: A través de PHASE y RAF-DB, el bucle inter-modelo induce consistentemente una deriva demográfica.
  • Edad: Los resultados tienden significativamente hacia representaciones más jóvenes tanto para actividades como para emociones.
  • Género: Los resultados tienden hacia representaciones de apariencia femenina, particularmente para las emociones (p. ej., "Felicidad" y "Ira" en RAF-DB vieron la representación femenina aumentar de ~59% a ~92%). Curiosamente, para "Deportes" (típicamente estereotipado como masculino), la deriva también fue hacia representaciones femeninas, desafiando algunos estereotipos existentes mientras refuerza otros.
  • Etnia: En RAF-DB, hubo una reducción en las representaciones asiáticas y un aumento en las representaciones negras y blancas dependiendo de la emoción.
• Fundamentación Espuria (RQ2): El análisis de explicabilidad revela que los modelos a menudo dependen de regiones visuales espurias.
  • Para las emociones, donde el rostro debería ser la pista primaria, los modelos frecuentemente mostraron alta activación en las regiones de cabello y fondo.
  • Para las actividades, aunque las pistas del cuerpo y el fondo son relevantes, la dependencia del cabello (demográficamente correlacionado) sugiere que el modelo utiliza la apariencia como un "atajo" para la predicción de conceptos.
• Éxito de la Predicción y Equidad (RQ3):
  • Deportes (PHASE): El bucle mejoró la precisión general pero empeoró la disparidad de género, con sujetos masculinos teniendo tasas de éxito más altas post-bucle.
  • Felicidad: Los resultados dependieron del conjunto de datos. En PHASE, el bucle redujo la disparidad de género; en RAF-DB, amplificó la disparidad (favoreciendo a las mujeres) mientras reducía drásticamente la precisión general.
  • Ira: No se encontraron efectos significativos del bucle o del género en ninguno de los dos conjuntos de datos.
  • Conclusión: Optimizar para el rendimiento (precisión) mediante bucles iterativos no garantiza resultados equitativos y, en ocasiones, puede degradar la equidad.

Significancia y Reivindicaciones

El artículo afirma que la comunicación inter-modelo en sistemas de IA centrados en el ser humano introduce un nuevo vector para la propagación del sesgo. A diferencia del sesgo estático, estos sesgos evolucionan y pueden amplificarse a través de intercambios repetidos. El estudio demuestra que:

1. La deriva es Sistemática: Los cambios demográficos no son ruido aleatorio, sino que reflejan comportamientos sistemáticos de los modelos, a menudo dependiendo de pistas espurias (como el cabello o el fondo) en lugar de características relevantes al concepto.
2. El Contexto Importa: La naturaleza del conjunto de datos (rostros en primer plano frente a escenas completas) influye en cómo se manifiestan y propagan estos sesgos.
   3 Rendimiento $\neq$ Equidad: Las mejoras en la precisión de la predicción tras el bucle pueden coincidir con un aumento de la disparidad demográfica, lo que resalta la necesidad de restricciones de equidad explícitas.
3. Necesidad de Salvaguardas: Los autores enfatizan que la integración "plug-and-play" de modelos generativos requiere salvaguardas cuidadosas, incluyendo el monitoreo continuo de la deriva demográfica y el uso de la explicabilidad como herramienta diagnóstica para detectar la dependencia de pistas sesgadas.

El trabajo concluye que abordar estos problemas requiere un enfoque holístico que involucre la curación de datos, intervenciones de entrenamiento y controles en el tiempo de despliegue para prevenir el refuerzo de estereotipos en tuberías de IA interconectadas.