Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH

Resumen Técnico: INCLUDE-BENCH – Investigando los Estereotipos de Discapacidad en Modelos T2I

Declaración del Problema
Si bien los modelos de Texto-a-Imagen (T2I) han demostrado una capacidad significativa en la creación de contenido, se sabe que reproducen y amplifican los sesgos sociales presentes en sus datos de entrenamiento. Investigaciones previas han evaluado exhaustivamente los sesgos relacionados con el género, la raza, la edad y la representación cultural, a menudo dentro de contextos ocupacionales o de escenarios. Sin embargo, la discapacidad permanece sistemáticamente poco explorada en este dominio. Las prácticas de evaluación existentes frecuentemente no logran alinearse con las definiciones sociológicamente fundamentadas de la estigmatización, lo que limita las evaluaciones de los daños representacionales hacia las Personas con Discapacidad (PCD). La literatura actual sugiere que los modelos T2I suelen producir representaciones estrechas y estereotipadas de las PCD, representándolas frecuentemente como personas mayores, tristes y dependientes de ayudas obsoletas como sillas de ruedas manuales, mientras fallan en representar la diversidad de la comunidad con discapacidad, que comprende un estimado del 16% de la población mundial.

Metodología: INCLUDE-BENCH
Para abordar estas brechas, los autores presentan INCLUDE-BENCH (Evaluación de Discapacidad INCLUSIVA), el primer benchmark a gran escala diseñado para evaluar el sesgo relacionado con la discapacidad en modelos T2I. La metodología involucra un flujo de trabajo estructurado de construcción de conjuntos de datos, generación de imágenes y evaluación multimodal.

• Construcción del Conjunto de Datos: El benchmark consta de 352 prompts organizados en cuatro subconjuntos para aislar los efectos de la discapacidad, la identidad interseccional y el contexto:

  1. Sin Contexto: Representaciones base sin pistas ambientales.
  2. Sin Contexto + Sesgo: Introduce atributos interseccionales (género, raza, edad).
  3. Solo Contexto: Introduce entornos espaciales estáticos (ej. museo, hogar, parque).
  4. Acción: Basados en la Clasificación Internacional del Funcionamiento, de la Discapacidad y de la Salud (CIF) de la OMS, estos prompts prueban representaciones agénticas en dominios como la movilidad, la comunicación y el autocuidado.
     Los prompts varían a lo largo de tres ejes: especificidad de la discapacidad (genérica, movilidad, sensorial), atributos interseccionales y contexto ambiental. El estudio se centra en discapacidades con características visuales observables (ej. Ciego, Sordo, Discapacidad de Movilidad, Sordociego, Mudo), excluyendo las discapacidades cognitivas que son menos visualmente aparentes.

• Generación de Imágenes: Los autores generaron 119,680 imágenes ejecutando los 352 prompts a través de 17 modelos T2I de vanguardia (incluyendo 15 modelos de código abierto de las familias Stable Diffusion, FLUX y otras, y 2 modelos cerrados). Para cada prompt, se generaron 20 imágenes utilizando semillas aleatorias.

• Métricas de Evaluación:

  • Análisis de Representación Visual: Las imágenes generadas fueron procesadas mediante SAM (Segment Anything Model) para recortar regiones centradas en la persona. Estas fueron agrupadas mediante MiniBatchKMeans para identificar patrones visuales recurrentes. Se generaron subtítulos de imagen usando Qwen3-VL para caracterizar los grupos e identificar pistas visuales compartidas mediante la frecuencia de tokens.
  • Análisis Interseccional: Los atributos demográficos (raza, edad, género) se extrajeron mediante Preguntas-Respuesta Visual (VQA). Los autores computaron las proporciones de apariencia relativa ($R_{i,g}$) comparando la frecuencia de identidades específicas en los grupos de discapacidad frente a una base de referencia sin discapacidad.
  • Alineación Semántica de la Discapacidad: Medida mediante CLIPScore para determinar la fuerza de la alineación semántica entre las imágenes generadas y los prompts condicionados por la discapacidad.
  • Diversidad Espectral de la Imagen: Cuantificada mediante el Vendi Score (basado en embeddings de CLIP) para medir la diversidad de elementos visuales únicos dentro de un conjunto de imágenes generadas para un prompt dado.
  • Puntuación del Modelo de Contenido de Estereotipos (SCM): Una métrica novedosa introducida para vincular las representaciones visuales con el modelo sociológico de Contenido de Estereotipos. Este modelo evalúa las percepciones a lo largo de dos dimensiones: Calidez (sociabilidad, moralidad) y Competencia (capacidad, agencia). La puntuación calcula la alineación de los embeddings de las imágenes con vectores textuales positivos y negativos para estas dimensiones.

Resultados Clave
La evaluación de 15 modelos de código abierto y 2 modelos cerrados arrojó cuatro hallazgos principales:

1. Dominancia de las Representaciones de Silla de Ruedas: Los prompts de discapacidad de movilidad y de discapacidad genérica producen predominantemente representaciones de sillas de ruedas en todos los modelos. Este atajo visual es la característica diagnóstica más común, lo que conduce a una reducción significativa de la diversidad representacional.
2. Compromiso entre Alineación y Diversidad: Existe una clara relación inversa entre la alineación semántica y la diversidad visual. Los prompts de discapacidad física y genérica (ej. "Discapacidad de Movilidad", "Discapacitado") logran los CLIPScores más altos (mayor alineación con el texto) pero exhiben los Vendi Scores más bajos (menor diversidad). Por el contrario, las discapacidades sensoriales muestran una alineación moderada pero una mayor diversidad, particularmente en tareas comunicativas y cognitivas.
3. Sesgo Demográfico e Interseccional: Los modelos sobre-representan sistemáticamente a personas blancas de edad avanzada, particularmente a mujeres blancas mayores en contextos de movilidad y domésticos, y a hombres blancos mayores en contextos públicos o activos. Los individuos jóvenes y las demografías no blancas están significamente subrepresentados en las generaciones condicionadas por la discapacidad en comparación con la base de referencia.
4. Reproducción de Estereotipos vía SCM: La introducción de la Puntuación SCM revela que los modelos T2I reflejan asociaciones estereotípicas del mundo real. Las imágenes asociadas con discapacidades de movilidad y sillas de ruedas son percibidas como menores tanto en calidez como en competencia en comparación con las bases de referencia sin discapacidad. Curiosamente, las discapacidades sensoriales ("invisibles") fueron representadas con mayor competencia y calidez que las discapacidades de movilidad, aunque todavía inferiores a las representaciones de personas sin discapacidad.

Significancia y Contribuciones
El artículo reclama las siguientes contribuciones:

• INCLUDE-BENCH: La creación de un benchmark integral y a gran escala que comprende 119K imágenes que evalúa el sesgo de discapacidad a través de diversos contextos estáticos y dinámicos, abordando la falta de evaluación contextual en trabajos previos.
• Evidencia Empírica de Sesgo: El estudio proporciona evidencia robusta de que los modelos T2I dependen de características visuales estrechas y altamente diagnósticas (como sillas de ruedas y vendas en los ojos) para maximizar la alineación de las etiquetas, resultando en representaciones estereotipadas y demográficamente homogéneas.
• Innovación Metodológica: La introducción de la Puntuación SCM ofrece un método multimodal y principista para cuantificar cómo los modelos T2I codifican juicios sociales implícitos respecto a la calidez y la competencia, vinculando los resultados técnicos con marcos sociológicos.
• Llamado al Cambio Estructural: Los autores concluyen que estos sesgos están integrados estructuralmente en diferentes arquitecturas de modelos. Argumentan que los sistemas T2I actuales no solo reflejan la discapacidad, sino que reproducen narrativas simplificadas y socialmente estratificadas. El artículo subraya la necesidad de un diseño y una evaluación conscientes del sesgo para lograr representaciones visuales más justas, señalando que las estrategias de mitigación actuales ofrecen solo mejoras limitadas en la diversidad o la reducción de estereotipos.

El estudio mantiene un alcance modesto, reconociendo limitaciones tales como la dependencia de métricas automatizadas (que pueden heredar sus propios sesgos), la exclusión de la anotación humana por parte de PCD debido a la escala, y el enfoque en discapacidades visualmente aparentes. Se sugiere que trabajos futuros involucren la evaluación centrada en las PCD para asegurar que los hallazgos se alineen con las percepciones de la comunidad sobre la representación auténtica.