StylisticBias: A Few Human Visual Cues Drive Most Social Biases in MLLMs

Resumo Técnico: StylisticBias

Definição do Problema
Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) estão sendo cada vez mais implantados em domínios de alto risco, como recrutamento, moderação de conteúdo e suporte judicial. Embora pesquisas anteriores tenham estabelecido que esses modelos herdam e amplificam vieses sociais de seus dados de treinamento, os sinais visuais específicos que impulsionam esses julgamentos permanecem pouco compreendidos. Estudos existentes frequentemente comparam diferentes indivíduos ou grupos demográficos, o que torna difícil desvendar os efeitos de atributos de aparência específicos das diferenças de identidade inerentes. Além disso, trabalhos anteriores focaram majoritariamente em construtos agregados latentes como "atratividade" ou categorias demográficas amplas (raça, gênero), deixando uma lacuna na compreensão de como atributos visuais específicos e controlados — como estilo de vestimenta, cuidados pessoais ou acessórios — alteram as percepções sociais quando a identidade é mantida constante.

Metodologia: O Benchmark StylisticBias
Para abordar isso, os autores introduzem o StylisticBias, um benchmark controlado projetado para avaliar o viés social em nível de atributo em MLLMs. A metodologia baseia-se em um pipeline de geração de dois estágios para isolar variáveis visuais:

1. Geração de Rosto Base: Os autores geraram 500 rostos base fotorrealistas usando o Imagen 4. Esses rostos cobrem um produto cartesiano de quatro dimensões demográficas: idade (jovem, meia-idade, idoso), gênero (masculino, feminino), etnia (asiático, africano, europeu, do oriente médio, latino) e tipo corporal (magro, normal, obeso). Essas imagens base servem como âncoras de identidade, apresentando iluminação de estúdio padronizada, expressões neutras e sem acessórios ou maquiagem.
2. Geração de Variação Controlada: Usando o Nano Banana (Gemini 2.5 Flash Image), os autores criaram aproximadamente 50 variações de atributo único para cada rosto base, resultando em cerca de 25.000 imagens. Cada variação modifica exatamente um atributo visual (por exemplo, alterando o estilo de cabelo, adicionando tatuagens, alterando o estilo de vestimenta) enquanto preserva a identidade, a pose e a iluminação da base. Esse design garante que qualquer mudança no julgamento do modelo possa ser atribuída ao atributo alterado específico, e não a mudanças de identidade.
3. Protocolo de Avaliação: Seis MLLMs de código aberto (variando de 4B a 14B parâmetros, incluindo LLaVA-v1.6, Qwen3-VL e variantes do Gemma) foram avaliados em um cenário de zero-shot. Os modelos realizaram julgamentos de escolha forçada binária em 25 cenários sociais fundamentados no framework calor–competência (ex: "Estiloso vs. Desestiloso", "Rico vs. Pobre", "Confiável vs. Não Confiável"). Para mitigar a sensibilidade ao prompt, cada par imagem-cenário foi avaliado sob 12 variações (4 ordenações de prompt × 3 sementes aleatórias), totalizando aproximadamente 28,3 milhões de chamadas de julgamento.

Principais Contribuições

1. Benchmark StylisticBias: Um conjunto de dados de 500 identidades base e ~25.000 imagens sintéticas com edições de atributo único, permitindo a avaliação detalhada de viés onde a identidade é fixa.
2. Avaliação de Larga Escala: Uma avaliação abrangente de seis MLLMs através de 25 cenários de julgamento social binário, fornecendo uma visão granular de como diferentes arquiteturas respondem a pistas visuais.
3. Descobertas Empíricas sobre Concentração de Viés: O estudo identifica que o viés não é distribuído uniformemente, mas concentrado em um pequeno conjunto de pistas visuais, particularmente aquelas relacionadas à autoapresentação.

Resultos
Os experimentos produziram vários padrões consistentes entre os modelos avaliados:

• Direcionadores Demográficos: Idade e tipo corporal emergiram como os direcionadores demográficos mais fortes do julgamento social (Força de Variação, VS = 0,075 e 0,069, respectivamente). Identidades obesas e idosas foram sistematicamente associadas a atribuições de traços menos favoráveis. Em contraste, etnia e gênero mostraram efeitos significativamente menores (VS = 0,038 e 0,030).
• Mudanças de Nível de Atributo: Aproximadamente 15 atributos visuais foram responsáveis por quase 80% da variação total de viés. O estilo de moda produziu as maiores mudanças, seguido por pelos faciais e maquiagem. Por outro vez, atributos como irregularidades na pele e cor do cabelo mostraram impacto próximo de zero.
• Assimetria de Pistas: Pistas negativas (ex: roupas gastas/desgastadas, cabelo desarrumado) produziram mudanças significativamente maiores no julgamento do modelo do que suas contrapartes positivas, espelhando o viés de negatividade humano.
• Alinhamento Semântico de Viés: A sensibilidade do modelo foi mais alta quando o traço julgado estava semanticamente alinhado com a aparência visível. Julgamentos socioeconômicos (ex: "Rico vs. Pobre") e julgamentos de estilo (ex: "Estiloso vs. Desestiloso") foram desproporcionalmente sensíveis a mudanças visuais em comparação a traços internos como "Honesto" ou "Leal".
• Consistência do Modelo: Embora os modelos tenham diferido na magnitude de suas respostas (ex: Pixtral foi o mais reativo, Qwen3 o mais conservador), eles concordaram amplamente sobre quais pistas importavam. Modelos maiores tenderam a atenuar as magnitudes dos efeitos, mas preservaram a estrutura geral de sensibilidade.
• Interações Contextuais: O impacto das pistas foi moderado pelo contexto demográfico. Por exemplo, o efeito positivo de roupas formais foi amplificado para rostos idosos e corpos obesos, enquanto o efeito negativo de "streetwear" mudou de negativo para rostos jovens para neutro/positivo para rostos idosos.

Significância e Alegações
O artigo afirma que o StylisticBias fornece uma base necessária para ir além das comparações demográficas grosseiras em direção à atribuição visual controlada. Os autores argumentam que os MLLMs são sistematicamente sensíveis a como uma pessoa se apresenta (pistas específicas como moda e cuidados pessoais), e não apenas a quem ela é representada ser.

O estudo destaca que o viés em sistemas multimodais está concentrado em um pequeno conjunto de pistas de autoapresentação, particularmente aquelas ligadas ao status socioeconômico e estilo. Isso sugere que as avaliações padrão que focam apenas em grupos demográficos amplos podem perder os principais direcionadores do viés baseado na aparência. Ao lançar o benchmark e o conjunto de dados, os autores visam apoiar a auditoria de equidade e o desenvolvimento de estratégias de mitigação para o viés baseado na aparência em aplicações de IA consequentes.

Limitações
Os autores reconhecem que o estudo utiliza imagens sintéticas controladas em vez de fotografias reais, o que limita a generalização para todas as implantações no mundo real, mas foi uma escolha deliberada para garantir o isolamento da identidade e a segurança ética. Adicionalmente, o estudo foca em um subconjunto curado de grupos demográficos e atributos visuais para manter a interpretabilidade, o que significa que ele identifica quais pistas impulsionam as mudanças, mas não cobre exaustivamente todas as identidades socialmente significativas ou explica os mecanismos subjacentes desses efeitos.