Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH

Resumo Técnico: INCLUDE-BENCH – Investigando Estereótipos de Deficiência em Modelos T2I

Declaração do Problema
Embora os modelos de Texto-para-Imagem (T2I) tenham demonstrado uma capacidade significativa na criação de conteúdo, sabe-se que eles reproduzem e amplificam preconceitos sociais presentes em seus dados de treinamento. Pesquisas anteriores avaliaram extensivamente preconceitos relacionados a gênero, raça, idade e representação cultural, frequentemente dentro de contextos ocupacionais ou de cenários. No entanto, a deficiência permanece sistematicamente subexplorada neste domínio. As práticas de avaliação existentes frequentemente falham em alinhar-se com definições sociologicamente fundamentadas de estereotipia, limitando avaliações principadas de danos representacionais contra Pessoas com Deficiência (PcD). A literatura atual sugere que os modelos T2I frequentemente produzem retratos estreitos e estereotipados de PcD — frequentemente retratando-as como idosas, tristes e dependentes de auxílios obsoletos, como cadeiras de rodas manuais — enquanto falham em representar a diversidade da comunidade de pessoas com deficiência, que compreende uma parcela estimada de 16% da população global.

Metodologia: INCLUDE-BENCH
Para abordar essas lacunas, os autores introduzem o INCLUDE-BENCH (INCLUsive Disability Evaluation), o primeiro benchmark de larga escala projetado para avaliar o viés relacionado à deficiência em modelos T2I. A metodologia envolve um pipeline estruturado de construção de dataset, geração de imagens e avaliação multimodal.

• Construção do Dataset: O benchmark consiste em 352 prompts organizados em quatro subconjuntos para isolar os efeitos de impedimento, identidade interseccional e contexto:

  1. Sem Contexto: Representações de base sem pistas ambientais.
  2. Sem Contexto + Viés: Introduz atributos interseccionais (gênero, raça, idade).
  3. Apenas Contexto: Introduz configurações espaciais estáticas (ex: museu, casa, parque).
  4. Ação: Baseados na Classificação Internacional de Funcionalidade, Incapacidade e Saúde (CIF) da OMS, estes prompts testam representações agênticas em domínios como mobilidade, comunicação e autocuidado.
     Os prompts variam ao longo de três eixos: especificidade do impedimento (genérico, mobilidade, sensorial), atributos interseccionais e contexto ambiental. O estudo foca em impedimentos com características visuais observáveis (ex: Cego, Surdo, Deficiente de Mobilidade, Surdocegueira, Mudo), excluindo deficiências cognitivas que são menos visualmente aparentes.

• Geração de Imagens: Os autores geraram 119.680 imagens executando os 352 prompts em 17 modelos T2I de última geração (incluindo 15 modelos de código aberto das famílias Stable Diffusion, FLUX e outras, e 2 modelos fechados). Para cada prompt, 20 imagens foram geradas usando sementes aleatórias.

• Métricas de Avaliação:

  • Análise de Representação Visual: As imagens geradas foram processadas usando SAM (Segment Anything Model) para recortar regiões centradas na pessoa. Estas foram agrupadas usando MiniBatchKMeans para identificar padrões visuais recorrentes. Legendas de imagem foram geradas usando Qwen3-VL para caracterizar os clusters e identificar pistas visuais compartilhadas via frequência de tokens.
  • Análise Interseccional: Atributos demográficos (raça, idade, gênero) foram extraídos via VQA (Visual Question Answering). Os autores computaram razões de aparência relativa ($R_{i,g}$) comparando a frequência de identidades específicas em grupos de deficiência contra uma base de não-deficiência.
  • Alinhamento Semântico de Deficiência: Medido usando CLIPScore para determinar a força do alinhamento semântico entre as imagens geradas e os prompts condicionais de deficiência.
  • Diversidade Espectral de Imagem: Quantificada usando o Vendi Score (baseado em embeddings de CLIP) para medir a diversidade de elementos visuais únicos dentro de um conjunto de imagens geradas para um determinado prompt.
  • Pontuação do Modelo de Conteúdo de Estereótipo (SCM): Uma métrica inovadora introduzida para ligar representações visuais ao modelo sociológico de Conteúdo de Estereótipo. Este modelo avalia percepções ao longo de duas dimensões: Calidez (sociabilidade, moralidade) e Competência (capacidade, agência). A pontuação calcula o alinhamento dos embeddings de imagem com vetores textuais positivos e negativos para essas dimensões.

Principais Resultados
A avaliação de 15 modelos de código aberto e 2 modelos fechados rendeu quatro descobertas primárias:

1. Dominância de Representações de Cadeira de Rodas: Prompts de deficiência de mobilidade e de deficiência padrão predominantemente geram representações de cadeira de rodas em todos os modelos. Este atalho visual é a característica diagnóstica mais comum, levando a uma redução significativa na diversidade representacional.
2. Troca Alinhamento-Diversidade: Existe uma clara relação inversa entre alinhamento semântico e diversidade visual. Prompts físicos e genéricos de deficiência (ex: "Deficiente de Mobilidade", "Deficiente") alcançam os maiores CLIPScores (alinhamento mais forte com o texto), mas exibem os menores Vendi Scores (menor diversidade). Por outro de lado, deficiências sensoriais mostram alinhamento moderado, mas maior diversidade, particularmente em tarefas comunicativas e cognitivas.
3. Desvio Demográfico e Viés Interseccional: Os modelos representam sistematicamente indivíduos brancos e idosos, particularmente mulheres brancas idosas em contextos de mobilidade e domésticos, e homens brancos idosos em contextos públicos ou ativos. Indivíduos jovens e demografias não brancas são significativamente sub-representados nas gerações condicionadas por deficiência em comparação com a base.
4. Reprodução de Estereótipos via SCM: A pontuação SCM introduzida revela que os modelos T2I refletem associações estereotipadas do mundo real. Imagens associadas a impedimentos de mobilidade e cadeiras de rodas são percebidas como menores tanto em calidez quanto em competência em comparação com as bases de não-impedidos. Curiosamente, deficiências sensoriais ("invisíveis") foram representadas com maior competência e calidez do que impedimentos de mobilidade, embora ainda inferiores às representações de não-deficientes.

Significância e Contribuições
O artigo reivindica as seguintes contribuições:

• INCLUDE-BENCH: A criação de um benchmark abrangente e de larga escala composto por 119 mil imagens que avalia o viés de deficiência através de diversos contextos estáticos e dinâmicos, abordando a falta de avaliação contextual em trabalhos anteriores.
• Evidência Empírica de Viés: O estudo fornece evidências robustas de que os modelos T2I dependem de características visuais estreitas e altamente diagnósticas (como cadeiras de rodas e vendas nos olhos) para maximizar o alinhamento de rótulos, resultando em retratos estereotipados e demograficamente homogêneos.
• Inovação Metodológica: A introdução da Pontuação SCM oferece um método multimodal principado para quantificar como os modelos T2I codificam julgamentos sociais implícitos sobre calidez e competência, ligando saídas técnicas a estruturas sociológicas.
• Chamada para Mudança Estrutural: Os autores concluem que esses vieses estão estruturalmente incorporados em diferentes arquiteturas de modelos. Eles argumentam que os sistemas T2I atuais não apenas refletem a deficiência, mas reproduzem narrativas simplificadas e socialmente estratificadas. O artigo ressalta a necessidade de um design e avaliação conscientes de viés para alcançar representações visuais mais justas, observando que as estratégias de mitigação atuais produzem apenas melhorias limitadas na diversidade ou na redução de estereótipos.

O estudo mantém um escopo modesto, reconhecendo limitações como a dependência de métricas automatizadas (que podem herdar seus próprios vieses), a exclusão de anotação humana por PcD devido à escala, e o foco em deficiências visualmente aparentes. Trabalhos futuros sugerem envolver a avaliação centrada em PcD para garantir que os achados se alinhem com as percepções de representação autêntica da comunidade.