Bias at the End of the Score

Resumo Técnico: Viés Demográfico em Modelos de Recompensa para Geração de Imagens

1. Problema e Motivação

Os Modelos de Recompensa (RMs) tornaram-se componentes críticos nos sistemas de geração de imagem texto-para-imagem (T2I). Eles são utilizados para filtrar conjuntos de dados, servir como métricas de avaliação, fornecer sinais de supervisão durante o ajuste fino (fine-tuning) e filtrar saídas pós-geração. Embora projetados para medir a qualidade da imagem (alinhamento texto-imagem, estética, preferência humana), o artigo investiga se esses modelos são neutros em relação a atributos demográficos.

A premissa central é que, ao serem usados para otimizar a geração de imagens (ajustando o ruído inicial ou selecionando as melhores saídas), os RMs podem não apenas avaliar a qualidade, mas também amplificar vieses demográficos, levando a:

• Hipersexualização desproporcional de sujeitos femininos.
• Reforço de estereótipos de gênero e raça.
• Colapso da diversidade demográfica (convergência para um grupo demográfico dominante).

2. Metodologia

Os autores realizaram uma auditoria em larga escala dividida em duas partes principais, utilizando cinco modelos de recompensa amplamente utilizados: PickScore, ImageReward, HPS (Human Preference Score), VQAScore e CLIP.

Parte I: Otimização Guiada por Recompensa (ReNO Framework)

• Objetivo: Analisar como a otimização do ruído inicial ($\epsilon_0$) usando RMs altera os atributos demográficos das imagens geradas.
• Framework: Utilizaram o ReNO (Reward-based Noise Optimization), que otimiza o vetor de ruído inicial para maximizar a pontuação do RM, mantendo os parâmetros do modelo gerador congelados.
• Experimentos:
  1. Hipersexualização: Prompts com identificadores demográficos específicos (ex: "mulher negra"). Mediram o aumento na classificação de conteúdo NSFW (Not Safe For Work) e na exposição de pele.
  2. Deriva Demográfica (Demographic Drift): Prompts neutros (ex: "um médico trabalhando"). Iniciaram com ruídos que geravam imagens de grupos demográficos específicos (usando uma técnica de pseudo-inversão baseada em SeedSelect) e observaram se a otimização alterava a raça ou o gênero percebido da imagem.
• Classificação: Usaram embeddings do CLIP e o Chicago Face Database (CFD) como "âncoras" para classificar a raça e o gênero percebidos nas imagens geradas.

Parte II: Avaliação de Pontuação em Dados Contrafactuais

• Objetivo: Investigar o mecanismo de pontuação subjacente que causa as distorções observadas na Parte I.
• Dados: Utilizaram três conjuntos de dados contrafactuais (CausalFace, SocialCounterfactuals, PAIRS) onde pares de imagens diferem apenas em atributos demográficos (raça/gênero), mantendo o contexto semântico constante.
• Análise:
  1. Regressão Linear: Para determinar se a raça e o gênero predizem significativamente a pontuação do RM.
  2. Análise de Ranking: Para verificar a ordem de preferência entre grupos demográficos em diferentes prompts (incluindo prompts positivos, negativos e ocupacionais).
• Correlação: Compararam as diferenças de pontuação com dados reais do Bureau of Labor Statistics dos EUA sobre distribuição de gênero em ocupações.

3. Contribuições Principais

• Evidência Quantitativa de Viés: Demonstraram que os RMs, embora projetados para qualidade, codificam vieses demográficos que distorcem a otimização da geração de imagens.
• Amplificação de Hipersexualização: Mostraram que a otimização guiada por recompensa aumenta desproporcionalmente a sexualização de sujeitos femininos em comparação com masculinos.
• Convergência Demográfica: Revelaram que a otimização tende a "branquear" (transformar em brancos) e masculinizar sujeitos, reduzindo a diversidade racial e de gênero.
• Mapeamento de Priors Reais: Evidenciaram que os RMs não avaliam apenas a qualidade estética, mas alinham-se a distribuições demográficas dominantes do mundo real e estereótipos sociais aprendidos durante o treinamento.

4. Resultados Chave

A. Hipersexualização Desproporcional

• Ao otimizar imagens com o PickScore, a taxa de classificação NSFW aumentou em 19% para sujeitos femininos, contra apenas 7% para masculinos (2,7x maior).
• A exposição de pele (Skin Exposure) também aumentou significativamente mais para mulheres.
• Isso ocorre mesmo quando o prompt original não solicita conteúdo sexual, indicando que o RM associa "alta qualidade" a imagens sexualizadas para o gênero feminino.

B. Convergência e Deriva Demográfica

• Raça: Ao otimizar imagens de sujeitos negros, latinos ou asiáticos com modelos como ImageReward e HPS, mais de 80% das imagens foram reclassificadas como "brancas" após a otimização. Imagens brancas tendem a permanecer brancas.
• Gênero: Imagens inicialmente classificadas como femininas reclassificaram-se como masculinas em mais de 39% dos casos (com ImageReward) e 26% (com CLIP) durante a otimização.
• Conclusão: A otimização guiada por recompensa atua como um filtro demográfico que elimina minorias em favor do grupo dominante (branco e masculino).

C. Viés na Pontuação (Scoring)

• Preferência Estrutural: Modelos como HPS e ImageReward classificam consistentemente sujeitos brancos mais alto do que outros grupos, independentemente do tom do prompt (positivo ou negativo).
• Correlação com Ocupações: As pontuações dos RMs correlacionam-se fortemente com a distribuição real de gênero no mercado de trabalho. Por exemplo, rostos masculinos recebem pontuações mais altas em ocupações dominadas por homens, e vice-versa.
• Estereótipos Negativos: Prompts com conotações negativas (ex: "desonesto", "ameaçador") ou sexualizadas geram as maiores disparidades de pontuação entre raças e gêneros, exacerbando estereótipos nocivos.

5. Significado e Implicações

• Falha como Métrica de Qualidade: Os RMs atuais não são métricas neutras de qualidade de imagem. Eles incorporam e reforçam vieses sociais e demográficos.
• Risco em Pipelines de Geração: O uso desses modelos para fine-tuning, seleção "best-of-N" ou curadoria de dados não apenas reflete, mas amplifica a falta de diversidade e os estereótipos nos sistemas de IA generativa.
• Necessidade de Correção: O artigo conclui que são necessários novos procedimentos de coleta de dados e treinamento para criar modelos de recompensa mais robustos e equitativos, que avaliem a qualidade sem penalizar ou alterar indevidamente a identidade demográfica dos sujeitos gerados.

Em suma, o trabalho alerta que a "otimização" de imagens via recompensa pode levar a um mundo sintético mais homogêneo, estereotipado e sexualizado, desafiando a confiabilidade dos modelos de recompensa atuais como ferramentas neutras de avaliação.