Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

Resumo Técnico: Edu-MMBias

1. O Problema

Com a integração crescente de Modelos Visão-Linguagem (VLMs) em sistemas educacionais de alto impacto (como pontuação automatizada, tutoria inteligente e análise de aprendizado), a garantia de equidade tornou-se crítica.

• Limitação das Avaliações Atuais: A maioria das avaliações de viés foca exclusivamente no texto, ignorando a modalidade visual.
• O Risco Oculto: Os VLMs utilizam pistas visuais que podem codificar sinais sociais ricos e introduzir formas de viés menos reguladas e mais profundas do que as detectadas em textos.
• A Lacuna: Não existe um framework sistemático que audite como o viés social evolui da percepção visual até a tomada de decisão final em contextos educacionais, especialmente considerando a desconexão entre a segurança alinhada ao texto e a realidade multimodal.

2. Metodologia: Edu-MMBias

O paper propõe o Edu-MMBias, um framework de auditoria sistemática baseado no modelo tri-componente das atitudes da psicologia social (Cognição, Afeto e Comportamento). O benchmark abrange cinco atributos sociais principais: Gênero, Raça, Status Socioeconômico (SES), Hobbies e Saúde.

O processo metodológico divide-se em três camadas hierárquicas e um pipeline de construção de dados:

A. Pipeline de Construção de Dados (Garantia de Qualidade)

• Geração de Perfis: Utilização de um design fatorial completo para sintetizar perfis de estudantes (DALL-E 3) variando os atributos sociais.
• Mecanismo de Auto-correção (AI Self-Correct): Um modelo de IA (GPT-5.2) audita as imagens geradas para consistência com os metadados e detecção de artefatos ou estereótipos não intencionais.
• Verificação Humana (Human-in-the-Loop): Especialistas validam a autenticidade social das imagens.
• Validação de Estímulos Neutros: Criação de uma "Banca de IA" (AI Jury) com múltiplos VLMs para garantir que as imagens de controle (texturas abstratas) sejam estritamente neutras emocionalmente.
• Resultado: 1.350 imagens validadas e 9.700 amostras de teste em cenários educacionais.

B. As Três Dimensões de Avaliação

1. Dimensão Cognitiva (Associação Implícita):
   • Adaptação do Implicit Association Test (IAT).
   • Mede a força associativa interna entre conceitos (ex: imagem de um estudante vs. rótulos positivos/negativos).
   • Métrica: Usa a confiança do modelo como proxy para tempo de reação (quanto maior a confiança na associação estereotipada, mais forte o viés cognitivo).
2. Dimensão Afetiva (Misatribuição de Afeto):
   • Adaptação do Affect Misattribution Procedure (AMP).
   • O modelo vê uma imagem de estudante (prime) seguida de uma imagem neutra. Deve julgar a imagem neutra.
   • Objetivo: Detectar se o viés inconsciente do primeiro estímulo "transborda" e altera o julgamento da imagem neutra.
3. Dimensão Comportamental (Auditoria de Currículo/Resumo):
   • Simulação de cenários de decisão (ex: seleção para bolsa de estudos).
   • O modelo recebe dois candidatos com qualificações idênticas, diferindo apenas em um atributo social (ex: um com saúde excelente, outro com condição crônica).
   • Objetivo: Medir a discriminação na alocação de recursos e decisões finais.

C. Métricas Quantitativas

• Índice de Viés Cognitivo (CBI): Baseado na congruência e confiança nas associações.
• Índice de Viés Afetivo (ABI): Baseado na valência emocional atribuída a grupos.
• Índice de Viés Comportamental (BBI): Análise estatística ponderada das escolhas finais de decisão.

3. Contribuições Principais

1. Identificação de um Ponto Cego: Revela que os atributos visuais atuam como um "backdoor" (porta dos fundos), permitindo que vieses sociais contornem as salvaguardas de alinhamento baseadas em texto.
2. Framework Holístico: Propõe a primeira estrutura de auditoria que conecta a percepção (cognição), a reação emocional (afeto) e a ação (comportamento) em VLMs educacionais.
3. Pipeline de Dados Robusto: Desenvolveu um método de síntese de dados com verificação humana e auto-correção para isolar fatores de viés específicos.

4. Resultados Chave

• Viés Compensatório de Classe: Os modelos exibem uma tendência paradoxal de favorecer narrativas de baixo status socioeconômico (viés compensatório), possivelmente devido a narrativas de adversidade nos dados de treinamento, enquanto mantêm estereótipos profundos sobre saúde e raça.
• O "Escudo de Positividade" (Positivity Shield): Modelos altamente alinhados (como GPT-5.2) mostram uma neutralidade superficial e scores emocionais uniformemente positivos, mascarando vieses latentes. No entanto, essa "limpeza" afetiva não se traduz em decisões justas.
• Desalinhamento Cognitivo-Comportamental:
  • Existe uma forte correlação entre associações cognitivas implícitas e resultados discriminatórios ($r \approx 0.73$).
  • Há uma desconexão total entre o afeto e a decisão ($r \approx 0.00$). Ou seja, o modelo pode parecer "gentil" ou "positivo" em suas respostas afetivas, mas ainda toma decisões discriminatórias baseadas em estereótipos cognitivos.
• Impacto da Modalidade Visual: A transição de texto para imagem causa um ressurgimento significativo do viés. Enquanto o texto-only mostra viés negligenciável, a entrada visual dispara o CBI e BBI, especialmente em Raça, SES e Saúde.
• Leis de Escala (Scaling Laws): O aumento do tamanho do modelo não elimina linearmente o viés. Modelos maiores (ex: Qwen3-VL 32B) podem ter redundância cognitiva para alinhamentos mais robustos, mas modelos de tamanho médio podem apresentar picos de viés (trajetória em forma de U invertido).

5. Significado e Implicações

• Alerta para Sistemas Educacionais: Os resultados indicam que o uso de VLMs como tomadores de decisão autônomos em cenários de alto risco (admissões, avaliações) é perigoso, pois o alinhamento de texto não garante justiça multimodal.
• Revisão de Alinhamento: As técnicas atuais de "guardrails" (barreiras de segurança) podem estar apenas suprimindo a negatividade explícita, sem corrigir as distorções cognitivas subjacentes que ditam a alocação de recursos.
• Necessidade de Novas Estratégias: É urgente desenvolver estratégias de alinhamento específicas para a modalidade visual e para a desconexão entre a "simpatia performática" e a equidade real na tomada de decisão.
• Recomendação Ética: O paper defende uma abordagem "Human-in-the-loop", onde a IA serve apenas como ferramenta de suporte sob supervisão humana estrita para evitar a marginalização sistemática de grupos vulneráveis.

Em suma, o Edu-MMBias demonstra que a justiça em VLMs educacionais não pode ser garantida apenas por testes de texto; a visão é um vetor crítico de viés que exige auditoria específica e contínua.