Resumo Técnico: Viés Omissivo na Representação Religiosa

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) servem cada vez mais como fontes primárias de orientação para questões pessoais, morais e existenciais, há uma necessidade crítica de avaliar se esses sistemas refletem os diversos quadros de valores de seus usuários. Embora a pesquisa existente documente extensivamente vieses baseados em presença (por exemplo, estereótipos, inclinações políticas, conteúdo tóxico), este artigo identifica uma forma distinta de dano representacional: o viés omissivo.

Os autores definem o viés omissivo como a falha sistemática de LLMs alinhados em trazer à tona perspectivas que são substancialmente relevantes para uma consulta, especificamente quadros religiosos. Dado que 75–80% da população global se identifica com uma religião, e muitos dependem de recursos religiosos para navegar pelo luto, perdão, relacionamentos e dilemas morais, a ausência consistente de referências religiosas nas respostas de LLMs a questões éticas cotidianas constitui uma forma de "aniquilação simbólica". O artigo postula que os protocolos de alinhamento atuais, que frequentemente partem de uma base ocidental, secular-racionalista, podem inadvertidamente apagar quadros religiosos do discurso, mesmo quando esses quadros são altamente relevantes para o contexto do usuário.

Metodologia

O Benchmark de Representação Religiosa AllFaith

Para operacionalizar o viés omissivo, os autores construíram o Benchmark de Representação Religiosa AllFaith, consistindo em 150 perguntas abertas.

• Origem das Perguntas: O conjunto de dados foi derivado de duas fontes principais:
  1. WildChat-1M: Um grande corpus de interações reais usuário-LLM. Um pipeline automatizado extraiu perguntas candidatas, que foram então filtradas por classificação via LLM e curadoria manual para garantir que fossem questões éticas genuínas e de alto risco (por exemplo, sobre luto, casamento, honestidade) que não mencionavam explicitamente religião, mas onde perspectivas religiosas seriam uma parte valiosa de uma resposta sólida.
  2. Contribuições de Comunidades de Fé: Perguntas suplementares foram curadas por parceiros de várias tradições de fé (Judaica, LDS, Protestante, Católica, etc.) para garantir diversidade e mitigar o viés de seleção inerente aos dados do WildChat.
• Características das Perguntas: As perguntas cobrem temas como "Vida Interior" (depressão, dependência), "Relacionamentos" (perdão, casamento) e "Visão de Mundo e Ética" (significado, verdade). Crucialmente, as perguntas não são sobre a religião em si; são dilemas pessoais onde a religião é um dos vários recursos potenciais.

Protocolo de Avaliação

• Teste de Modelos: O benchmark foi avaliado contra 27 modelos de ponta e de código aberto (incluindo variantes do GPT-5, Claude 4.6/4.7, Gemini 3.1, Llama 4, Grok 4, e outros).
• Rubrica LLM-como-Juiz: As respostas foram avaliadas usando uma estrutura de LLM-como-juiz (especificamente Gemini 3.1 Pro Preview). A rubrica foi deliberadamente definida com um limite baixo:
  • Pontuação 0: Nenhuma representação religiosa.
  • Pontuação 1–4: Níveis crescentes de menção, prática ou liderança religiosa.
  • Métrica: Para a análise principal, as pontuações foram binarizadas (0 = nenhuma religião, 1 = qualquer menção religiosa).
• Linha de Base Humana: Para estabelecer uma verdade fundamental para a "expectativa", os autores conduziram uma pesquisa com 1.125 participantes dos EUA (n=11.250 avaliações). Os participantes avaliaram as 343 perguntas iniciais em uma escala de 1 a 5 sobre se eles esperariam que uma resposta contivesse referências religiosas. O benchmark final de 150 perguntas foi selecionado com base nas perguntas com a discrepância mais significativa entre as expectativas humanas e o comportamento do modelo.

Resultados Principais

Sub-representação Sistemática

Em todos os 27 modelos testados, os LLMs consistentemente sub-representaram a religião em relação às expectativas humanas.

• Desempenho Geral: A pontuação binarizada média para relevância religiosa em todos os modelos foi de 0,084, indicando que em aproximadamente 91,6% dos casos, os modelos forneceram respostas com zero conteúdo religioso.
• Lacuna Humana vs. Modelo: As expectativas humanas foram significativamente mais altas, com uma pontuação média de aproximadamente 0,63 (em uma escala binarizada derivada da pesquisa de 1 a 5) para as mesmas perguntas. A correlação entre expectativas humanas e comportamento do modelo foi fraca ($r = 0,257$ a $0,441$, dependendo da métrica), sugerindo que os modelos não se alinham com as expectativas dos usuários quanto à relevância religiosa.

Omissão Assimétrica

A omissão de quadros religiosos não foi uniforme em todos os tópicos:

• Abstrato vs. Prático: Os modelos eram mais propensos a invocar a religião para questões existenciais abstratas (por exemplo, "O que acontece após a morte?", "Qual o significado da vida?") onde respostas seculares poderiam parecer insuficientes.
• Dilemas Práticos: Os modelos raramente invocavam religião para situações práticas e interpessoais (por exemplo, "Como lidar com o luto?", "Como lidar com a infidelidade?", "Perdoar um cônjuge"). Nessas áreas, onde a religião historicamente fornece suporte comunitário e ritual significativo, os modelos recorriam a conselhos seculares, terapêuticos ou procedimentais (por exemplo, sugerir terapia ou autorreflexão em vez de oração, confissão ou clero).

Variância entre Modelos

Embora a tendência de sub-representação fosse consistente, houve variância entre os modelos.

• Outliers: O modelo Grok-4.20 mostrou uma propensão notavelmente maior para menções religiosas em comparação com outros modelos. Os autores hipotetizam que isso pode ser devido aos dados de treinamento do Grok, que incluem discurso de mídia social em tempo real (X) onde debates religiosos ocorrem com mais frequência, ou a uma estratégia de alinhamento diferente.
• Tendência Geral: A maioria dos modelos, incluindo modelos principais da OpenAI, Anthropic e Google, agrupou-se em torno de uma pontuação média de 0,1, sugerindo um alinhamento "seguro" uniforme que evita a estruturação religiosa no raciocínio ético diário.

Significado e Alegações

O artigo faz uma alegação modesta, mas significativa: Os LLMs atuais ignoram oportunidades críticas de refletir quadros religiosos dos quais muitas pessoas se valem ao navegar por desafios pessoais e éticos.

• Não é Viés Anti-Religioso: Os autores afirmam explicitamente que não estão julgando quais valores os LLMs devem ter, nem alegam que a omissão seja necessariamente "viés anti-religioso" em um sentido malicioso. Em vez disso, argumentam que é provavelmente uma propriedade emergente de incentivos de alinhamento, políticas de segurança e dados de treinamento que favorecem conselhos seculares, terapêuticos ou procedimentais.
• Dano Representacional: Baseando-se na teoria da comunicação (Gerbner & Gross) e na justiça algorítmica (Crawford; Barocas et al.), o artigo argumenta que a ausência de uma perspectiva mantida pela maioria da população global constitui um dano representacional. Ao falhar em trazer à tona recursos religiosos em contextos onde são cultural e pessoalmente relevantes, os LLMs correm o risco de "apagar" esses quadros do discurso digital que molda a sociedade.
• Tensão de Design: Os autores destacam uma tensão de design: os provedores de LLMs podem temer que a super-representação da religião pareça proselitismo, ainda que a sub-representação apague um recurso vital para bilhões. Eles argumentam por uma estratégia que lide explicitamente com a religião com políticas claras, permitindo que os modelos reconheçam recursos religiosos como uma opção válida sem impô-los.

Conclusão

O Benchmark de Representação Religiosa AllFaith fornece a primeira operacionalização formal do viés omissivo como um paradigma primário de avaliação de LLMs. Os resultados demonstram que, embora os LLMs sejam capazes de discutir religião em termos abstratos, eles falham sistematicamente em integrar quadros religiosos na tomada de decisão ética prática e cotidiana, divergindo significativamente das expectativas humanas. Os autores concluem que, para que os LLMs reflitam fielmente as vidas morais pluralistas dos seres humanos, eles devem ser melhor calibrados para reconhecer quando perspectivas religiosas são contextualmente apropriadas, opcionais ou irrelevantes.