Bias at the End of the Score

Resumen Técnico: Sesgo en los Modelos de Recompensa para Generación de Imágenes

1. El Problema

Los Modelos de Recompensa (RMs) se han convertido en componentes críticos de los sistemas de generación de imágenes texto-a-imagen (T2I). Se utilizan para filtrar conjuntos de datos, evaluar la calidad de la salida, servir como señal de supervisión durante la optimización (fine-tuning) y filtrar contenido post-generación.

Aunque se diseñan como funciones de valor neutrales para medir la alineación, la fidelidad y la estética, el artículo plantea que los RMs no son neutrales. Existe una preocupación fundamental sobre su robustez y equidad: ¿Los RMs codifican sesgos demográficos que, al utilizarse para optimizar o filtrar imágenes, pueden amplificar estereotipos, sexualizar desproporcionadamente a ciertos grupos y reducir la diversidad demográfica? El trabajo investiga cómo estos sesgos, inherentes a los RMs entrenados en preferencias humanas, afectan la generación de imágenes.

2. Metodología

Los autores realizaron una auditoría a gran escala dividida en dos partes principales, utilizando cinco RMs ampliamente utilizados: PickScore, ImageReward, HPS, VQAScore y CLIP (además de una puntuación estética).

Parte I: Optimización Guiada por Recompensa (ReNO)

• Objetivo: Evaluar cómo el uso de RMs para optimizar el vector de ruido inicial ($\epsilon_0$) de un modelo generativo altera los atributos demográficos de la imagen.
• Marco: Utilizaron el framework ReNO para optimizar el ruido mediante ascenso de gradiente, maximizando la puntuación del RM sin cambiar los parámetros del modelo base.
• Métricas de Sesgo:
  • Hipersexualización: Medición del aumento en contenido NSFW (Not Safe For Work) y la exposición de la piel (Skin Exposure - SE).
  • Convergencia Demográfica: Análisis de cómo cambian la raza y el género percibidos de los sujetos en la imagen cuando el prompt no especifica demografía.
• Datos: Generaron imágenes con prompts neutrales (ej. "una foto de un médico") y prompts específicos de demografía, utilizando modelos base como SDXL-Turbo y PixArt-α.

Parte II: Evaluación de Puntuación en Datos Contrafactuales

• Objetivo: Investigar el mecanismo de puntuación subyacente que causa los desplazamientos observados en la Parte I.
• Datos Contrafactuales: Utilizaron tres conjuntos de datos (CausalFace, SocialCounterfactuals, PAIRS) que contienen pares de imágenes idénticas en contenido semántico pero que difieren únicamente en atributos demográficos protegidos (raza y género).
• Análisis Estadístico:
  • Regresión Lineal (OLS): Para determinar si la raza y el género predicen significativamente las puntuaciones de recompensa.
  • Análisis de Ranking: Para observar el ordenamiento preferencial de grupos demográficos bajo diferentes prompts (positivos, negativos, ocupacionales).
• Correlación con la Realidad: Compararon las puntuaciones de los RMs con estadísticas reales de empleo de la Oficina de Estadísticas Laborales de EE. UU. para ver si los modelos reflejan la distribución demográfica real de ciertas profesiones.

3. Contribuciones Clave

1. Evidencia de Sesgo Sistémico: Demostraron que los RMs, diseñados para medir la calidad, codifican sesgos demográficos profundos que no son meramente ruido, sino patrones estructurales.
2. Amplificación de Daños mediante Optimización: Probaron que el uso de RMs para optimizar imágenes (en lugar de solo evaluarlas) no solo mejora la calidad percibida, sino que induce cambios estructurales dañinos, como la hipersexualización de mujeres y la "blanqueamiento" (convergencia hacia raza blanca) de sujetos.
3. Desenmascaramiento de Priors Demográficos: Revelaron que los RMs asignan puntuaciones basadas en la conformidad con representaciones demográficas dominantes aprendidas durante el entrenamiento, en lugar de criterios puramente estéticos o de alineación con el prompt.
4. Correlación con Estereotipos del Mundo Real: Mostraron que las puntuaciones de los RMs correlacionan fuertemente con la distribución real de género en ocupaciones y con estereotipos sociales negativos, sugiriendo que los RMs aprenden y perpetúan prejuicios societales.

4. Resultados Principales

A. Hipersexualización Dispar (Parte I)

• La optimización guiada por recompensa aumenta significativamente el contenido NSFW y la exposición de la piel.
• PickScore mostró el mayor aumento. Las sujetos femeninas fueron afectadas desproporcionadamente: la tasa de NSFW aumentó un 19% en promedio para mujeres frente a solo un 7% para hombres (2.7 veces más).
• Esto contradice la suposición de que la optimización solo mejora la calidad sin alterar la identidad del sujeto.

B. Convergencia Demográfica (Parte I)

• Cuando se optimizan imágenes de sujetos no blancos con prompts neutrales, los RMs como ImageReward y HPS causan que la raza percibida converja hacia blanca.
• Estadística crítica: Más del 80% de las imágenes de sujetos negros se re-clasificaron como blancas después de la optimización con ImageReward o HPS.
• De manera similar, las imágenes etiquetadas como femeninas tienden a re-clasificarse como masculinas en un 39% de los casos con ImageReward.

C. Puntuación Sesgada y Priors de Frecuencia (Parte II)

• Preferencia por la Raza Blanca: En la mayoría de los RMs (especialmente HPS e ImageReward), las imágenes de sujetos blancos reciben las puntuaciones más altas, independientemente de si el prompt es positivo o negativo. Esto explica la convergencia observada en la optimización.
• Sesgo Ocupacional: Los RMs puntúan más alto a caras masculinas en ocupaciones dominadas por hombres y a caras femeninas en ocupaciones dominadas por mujeres, alineándose con las estadísticas laborales reales. Sin embargo, en ocupaciones mixtas o minoritarias, a menudo favorecen a los hombres incluso cuando la ocupación es mayoritariamente femenina.
• Estereotipos Negativos: Los RMs tienden a penalizar más a grupos minoritarios en prompts que evocan estereotipos negativos (ej. "terrorista", "pobre", "dominado") o sexualizados.

5. Significado e Implicaciones

El estudio concluye que los modelos de recompensa actuales no son métricas neutrales de calidad de imagen. Su uso en tuberías de generación (T2I) actúa como un filtro demográficamente sesgado que:

1. Amplifica el daño: La optimización basada en recompensa exacerba la hipersexualización de las mujeres y la eliminación de la diversidad racial.
2. Compromete la fiabilidad: No se puede confiar en estos RMs como evaluadores objetivos de calidad, ya que sus puntuaciones están intrínsecamente ligadas a la identidad demográfica.
3. Necesidad de Intervención: Se requiere una recolección de datos más diversa, procedimientos de entrenamiento revisados y nuevas metodologías de optimización para mitigar estos sesgos. Si no se abordan, los sistemas generativos guiados por recompensa tenderán a producir un "colapso de modo" hacia representaciones demográficas dominantes (blancas y masculinas), reduciendo la diversidad y perpetuando estereotipos sociales dañinos.

En resumen, el artículo advierte que la "optimización" de la calidad mediante RMs actuales puede ser, en realidad, una optimización de la conformidad con estereotipos demográficos y prejuicios sociales.