Resumo Técnico: MIRAGE – Auditoria de Viés Anti-Muçulmano em LLMs de Fronteira

Definição do Problema

Cinco anos após a descoberta inicial da persistente tendência de viés anti-muçulmano em Grandes Modelos de Linguagem (LLMs) por Abid et al. (2021), as metodologias de avaliação do campo estagnaram amplamente. A maioria das auditorias existentes baseia-se na conclusão de prompts de turno único, um paradigma que já não reflete como os LLMs de fronteira são implantados em 2026. Os sistemas modernos operam em três regimes distintos que a pesquisa anterior sobre viés religioso negligenciou:

1. Raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT): Onde os modelos são instigados a "pensar passo a passo".
2. Tomada de Decisão Agêntica: Onde os modelos emitem decisões consequentes em domínios de alto risco (ex: empréstimos, contratações, moderação de conteúdo).
3. Geração Aumentada por Recuperação (RAG): Onde os modelos fundamentam suas respostas em corpora de notícias externos e sensíveis ao tempo.

O problema central é que o atual "perfil de viés" medido pela conclusão de turno único não corresponde à real "superfície de dano" dos sistemas implantados. Além disso, as estratégias de mitigação baseadas em prompts podem falhar ao serem transferidas para esses novos contextos operacionais.

Metodologia: O Benchmark MIRAGE

Para abordar essas lacunas, os autores introduzem o MIRAGE (Muslim-Identity Reasoning and Agentic Generation Evaluation), um benchmark composto por 1.200 pares de prompts correspondentes.

Filosofia de Design

• Contra-factuais de Pares Correspondentes: Cada prompt inclui uma variante "focal" (identificando um indivíduo muçulmano) e uma ou mais variantes de "controle" (identificando indivíduos cristãos, judeus, hindus ou seculares). Estas diferem apenas por uma substituição lexical única (nome, substantivo de identidade ou vestimenta), garantindo que as diferenças de saída sejam atribuíveis exclusivamente aos sinais de identidade.
• Condições Realistas de Implantação: O benchmark evita sondagens adversariais, em vez disso, espelhando entradas de usuários finais e sistemas agênticos de nível superior.
• Paridade Multilíngue: Um subconjunto de 400 prompts foi traduzido para o Árabe Padrão Moderno (MSA) e três dialetos regionais (Egípcio, Levantino, Magrebino) para distinguir entre o viés interno do modelo e o viés mediado pela linguagem.

Condições de Avaliação

O benchmark avalia os modelos através de três condições:

• C1 (Conclusão Direta): Recapitula a configuração de turno único de Abid et al. (2021) para medir a evolução da linha de base.
• C2 (Raciocínio de Cadeia de Pensamento - CoT): Aumenta os prompts com um sufixo fixo de elicitação de CoT para analisar como os rastros de raciocínio introduzem ou amplificam o viés.
• C3 (Tomada de Decisão Agêntica): Insere os prompts em quatro fluxos de trabalho estruturados: Moderação de Conteúdo, Triagem de Empréstimos, Resumo de Pedidos de Refúgio e Triagem de Contratação. Nestas tarefas, as evidências são construídas para serem ambíguas quanto à decisão; qualquer diferença sistemática nos resultados entre casos muçulmanos e de controle é atribuída ao viés de identidade.

RAG Acoplado ao Tempo

Um subconjunto de prompts é avaliado com contexto recuperado de quatro pools: vazio, notícias neutras, cobertura de conflitos históricos e cobertura de conflitos recentes (publicada nos últimos 30 dias). Isso operacionaliza o mecanismo de "acoplamento temporal", onde o viés pode escalar com os ciclos de notícias atuais.

Modelos e Métricas

Seis modelos de fronteira foram avaliados: GPT-4o, Claude Opus 4, Mistral Large, Llama-3.3-70B, Qwen2.5-72B e DeepSeek-V3.
As principais métricas incluem:

• Taxa de Violência (V): A fração de conclusões que associam a identidade focal à violência ou criminalidade.
• Assimetria de Decisão ($\Delta$): A diferença absoluta média nos escores de decisão normalizados entre pares correspondentes em tarefas agênticas.
• Índice de Amplificação de CoT (CAI): A razão entre as taxas de violência em CoT vs. Conclusão Direta.
• Coeficiente de Acoplamento Temporal ($\delta_t$): O aumento marginal na taxa de violência devido à recuperação de notícias de conflitos recentes.

Resultados Principais

1. A Cadeia de Pensamento (CoT) Amplifica o Viés

Ao contrário da suposição de que a deliberação suprime estereótipos, o raciocínio CoT amplifica o viés anti-muçulmano. Em todos os seis modelos, o CoT aumentou as taxas de conclusão violenta em 12–34% em relação à conclusão direta.

• Mecanismo: A análise de logit-lens revela que, embora o treinamento de alinhamento suprima tokens violentos na camada final (em C1), o rastro de raciocínio em C2 traz à tona associações latentes (ex: invocando estatísticas de grupo ou enquadrando estereótipos como expectativas "razoáveis") antes que o mecanismo de supressão final seja acionado.

2. A Assimetria de Decisão Agêntica Persiste

Em configurações agênticas, os modelos exibem uma assimetria de decisão de 9 a 22 pontos percentuais contra casos identificados como muçulmanos sob evidências idênticas.

• Gravidade: A maior lacuna (14–27 pp) ocorreu no Resumo de Pedidos de Refúgio, a tarefa de maior risco.
• Independência: A análise de correlação mostra que prompts que provocam alto viés na conclusão direta (C1) não necessariamente provocam alta assimetria de decisão (C3). Aproximadamente 38% dos itens de alta assimetria apresentaram baixas taxas de violência em C1, indicando que o viés de decisão não é meramente uma associação superficial, mas um modo de falha distinto.

3. Viés Acoplado ao Tempo

O viés é fortemente acoplado ao contexto recuperado. Quando os modelos recuperaram notícias de conflitos recentes, as taxas de violência aumentaram em 18–27% em comparação com a recuperação neutra. Isso sugere que produtos integrados com RAG se tornarão mensuravelmente mais enviesados durante períodos de tensão geopolítica acentuada, sem qualquer mudança nos pesos subjacentes do modelo.

4. Baixa Transferência de Mitigações

Quatro mitigações padrão baseadas em prompts (prompting cultural, priming afetivo, auto-desenviesamento e o processo multi-etapas de gerar-criticar-revisar) foram testadas.

• Sucesso em C1: Estas mitigações reduziram o viés na conclusão direta em 24% a 4–16%.
• Falha em C2/C3: A eficácia caiu significativamente em configurações de CoT e agênticas. Crucialmente, a assimetria de decisão ($\Delta$) permaneceu essencialmente inalterada em todas as mitigações. O artigo conclui que defesas eficazes para a conclusão de turno único são insuficientes para os regimes de raciocínio e agênticos onde o dano no mundo real está concentrado.

5. Disparidades Dialetais

As taxas de viés em dialetos árabes (Egípcio e Levantino) excederam a linha de base em inglês em 9–17 pontos percentuais. Modelos de pesos abertos mostraram as maiores lacunas, sugerindo que o treinamento de segurança alinhado em inglês não se generaliza efetivamente para entradas dialetais.

Significância e Alegações

O artigo alega que a compreensão atual do viés anti-muçulmano está incompleta porque está ancorada em um paradigma de implantação ultrapassado (conclusão de turno único).

• A Superfície de Dano Mudou: A descoberta mais consequente é que a assimetria de decisão sobre evidências idênticas é essencialmente inafetada pelas atuais mitigações baseadas em prompts. Um modelo auditado e aprovado por baixas taxas de violência em conclusão direta pode, simultaneamente, produzir resultados sistematicamente piores para indivíduos muçulmanos em tarefas agênticas de alto risco (processamento de refugiados, empréstimos, contratações).
• Falha Estrutural: O viés em configurações agênticas e de raciocínio parece ser uma assimetria representacional estrutural que o filtragem superficial de saída (treinamento de alinhamento) não consegue abordar.
• Chamado à Ação: Os autores lançam o MIRAGE e um harness de avaliação aberto para apoiar pesquisas direcionadas de mitigação. Eles argumentam que o trabalho futuro deve ir além do viés de conclusão para abordar o alinhamento em tempo de raciocínio, a segurança consciente de recuperação (retrieval-aware safety) e o alinhamento de transferência multilíngue, particularmente para dialetos árabes.

O artigo posiciona-se não como uma medida de "islamofobia" geral, mas como uma auditoria específica de mudanças de resposta condicionadas ao input em condições de implantação realistas, destacando uma lacuna crítica entre as defesas de segurança atuais e os riscos operacionais reais dos LLMs de fronteira.