Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models

Resumen Técnico: ¿Alineado pero Estereotipado? Cómo los Prompts de Sistema Moldean el Sesgo Demográfico en Modelos de Generación de Imágenes a partir de Texto Basados en LLM

Declaración del Problema
Los sistemas recientes de Texto-a-Imagen (T2I) utilizan cada vez más Modelos de Lenguaje de Gran Escala (LLM) para el condicionamiento de texto con el fin de interpretar y expandir los prompts del usuario, buscando mejorar la alineación entre texto e imagen y el razonamiento compositivo. Sin embargo, este artículo identifica un efecto secundario crítico: la integración del condicionamiento basado en LLM introduce suposiciones demográficas implícitas en la generación de imágenes, incluso cuando los prompts del usuario son neutros o insuficientes. Los autores postulan que, si bien estos sistemas mejoran la adherencia al prompt, pueden simultáneamente amplificar el sesgo demográfico, creando un compromiso entre equidad y alineación (fairness–alignment trade-off). Se pone un enfoque específico en los prompts de sistema —instrucciones incrustadas que guían al LLM en la interpretación de las entradas del usuario— como una vía previamente inexplorada para la propagación del sesgo.

Metodología
Para investigar este fenómeno, los autores introducen COMPBIAS, un benchmark exhaustivo compuesto por 1,024 prompts organizados en cuatro niveles de complejidad:

1. Neutral (L1): Prompts ocupacionales (ej., "Un botánico").
2. Atributo (L2): Prompts con un atributo demográfico explícito (ej., "Un botánico asiático").
3. Atributo + Contexto (L3): Prompts enriquecidos con contextos de acción.
4. Expandido (L4): Descripciones extensas generadas por un LLM a partir de ocupaciones base.

El estudio evalúa ocho modelos T2I recientes, incluyendo bases no basadas en LLM (ej., SD3.5, FLUX.1) y sistemas basados en LLM (ej., SANA1.5, Qwen-Image, FLUX.2). El sesgo se cuantifica mediante una puntuación de Discrepancia Justa (FD) normalizada, que mide la desviación de las distribuciones demográficas generadas respecto a una referencia uniforme, mientras que la fidelidad se evalúa mediante la similitud CLIP y GenEval.

Hallazgos Clave y Análisis Diagnóstico

1. Sesgo Inducido por LLM: Los sistemas T2I basados en LLM exhiben consistentemente puntuaciones de sesgo demográfico más altas que las bases no basadas en LLM en todos los niveles de complejidad de los prompts. Además, a medida que los prompts se vuelven más complejos, tanto la alineación texto-imagen como el sesgo demográfico aumentan, revelando una tensión entre la fidelidad semántica y la equidad.
2. El Rol de los Prompts de Sistema: A través de un análisis controlado en el espacio de incrustación de texto (text-embedding space), los autores demuestran que los prompts de sistema por defecto reforman activamente los inputs neutros del usuario en representaciones demográficamente sesgadas antes de que comience la síntesis de la imagen.
   • Desplazamiento de Incrustación (Embedding Shift): Eliminar los prompts de sistema debilita las asociaciones de género en las incrustaciones de texto sin degradar significativamente la fidelidad semántica.
   • Texto Decodificado: La decodificación de las representaciones de texto intermedias revela que los prompts de sistema introducen descriptores demográficos (ej., términos de género) ausentes en el prompt original del usuario.
   • Propagación: Existe una fuerte correlación (64% de acuerdo) entre los atributos demográficos inferidos en el texto decodificado y las imágenes finales generadas, confirmando que el sesgo se propaga desde el procesamiento del lado del lenguaje hacia los resultados visuales.

Solución Propuesta: FAIRPRO
Motivados por el hallazgo de que los prompts de sistema son una fuente primaria de sesgo, los autores proponen FAIRPRO (FAIRness-aware System PROmpt), un marco de mitigación de sesgo libre de entrenamiento, aplicado en tiempo de prueba (test-time).

• Mecanismo: En lugar de eliminar los prompts de sistema (lo que reduce el enriquecimiento) o reescribir los prompts del usuario (que es menos efectivo), FAIRPRO genera dinámicamente instrucciones de sistema específicas para cada entrada y conscientes de la equidad.
• Proceso: Dado un prompt de usuario $u$, FAIRPRO utiliza un LLM para identificar posibles completaciones estereotipadas y construye un prompt de sistema revisado $s_{fair}$ que preserva las restricciones del usuario explícitamente especificadas (ej., "masculino") mientras impone diversidad en los atributos no especificados (ej., etnia, edad).
• Eficiencia: El método requiere solo una llamada adicional al LLM, lo que resulta en una sobrecarga computacional mínima (ej., ~1.05x para Qwen-Image) y no requiere cambios en la arquitectura del generador de imágenes subyacente.

Resultados
Experimentos a través de ocho modelos y el benchmark COMPBIAS demuestran que FAIRPRO:

• Reduce el Sesgo: Reduce sustancialmente las puntuaciones de sesgo demográfico en atributos de género, edad, etnia y apariencia en comparación tanto con las configuraciones por defecto como con las bases de "sin prompt de sistema".
• Mantiene la Fidelidad: Preserva una alta alineación texto-imagen y la controlabilidad del prompt, evitando la pérdida de fidelidad asociada con la simple eliminación de los prompts de sistema.
• Mejora la Diversidad: Aumenta la diversidad visual en pose, vestimenta y fondo para atributos no especificados sin invalidar las restricciones explícitas del usuario.
• Generaliza: Muestra un rendimiento robusto en benchmarks externos (TIBET) y en diferentes familias de modelos.
• Ablación: El estudio confirma que el prompting adaptativo al input y la auto-auditoría estructurada son componentes críticos; las instrucciones de equidad estáticas o la reescritura del prompt del usuario por sí solas son insuficientes.

Significancia y Reivindicaciones
El artículo sostiene que el condicionamiento de texto basado en LLM no es meramente una interfaz pasiva para la comprensión de prompts, sino un mecanismo activo que puede codificar y transmitir sesgo demográfico. La significancia de este trabajo reside en:

1. Identificar un Nuevo Vector de Sesgo: Destacar los prompts de sistema como un punto de intervención crítico y poco explorado para el sesgo en los sistemas modernos de T2I.
2. Perspectiva Diagnóstica: Proporcionar evidencia de que el sesgo se origina aguas arriba en la etapa de condicionamiento de lenguaje, desplazando el enfoque de la mitigación del proceso de generación de imágenes al de la interpretación del prompt.
3. Mitigación Práctica: Introducir FAIRPRO como una solución efectiva, agnóstica al modelo y libre de entrenamiento que equilibra la equidad con las capacidades mejoradas del condicionamiento basado en LLM.

Los autores mantienen una postura modesta, reconociendo que su enfoque mitiga las distribuciones de salida sesgadas en tiempo de prueba, pero no elimina los sesgos codificados en los parámetros de los modelos generativos subyacentes. También señalan las limitaciones respecto al uso de categorías demográficas discretas y la dependencia del contexto para definir distribuciones "justas".