Resumo Técnico: AuthorityBench

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados em configurações aumentadas por citações, mas a influência específica da presença de citações no comportamento do modelo, independentemente do conteúdo factual, permanece mal compreendida. Embora a alucinação (a geração de conteúdo plausível, mas factualmente incorreto) seja um modo de falha bem documentado, o papel dos "sinais de autoridade em contexto" — especificamente como os modelos reagem à aparente autoridade de uma fonte citada versus a veracidade da afirmação em si — é subexplorado. Benchmarks existentes, como TruthfulQA e HaluEval, focam na precisão ao nível da resposta sem isolar o papel causal dos sinais de autoridade. Além disso, trabalhos anteriores, como o FalseCite, examinaram apenas afirmações falsas pareadas com citações fabricadas, falhando em controlar o prestígio do periódico, a identidade do autor ou a interação entre afirmações verdadeiras e citações fabricadas.

Metodologia: AuthorityBench

Os autores introduzem o AuthorityBench, um benchmark de larga escala e multidomínio projetado para isolar como os sinais de autoridade baseados em citações moldam o comportamento epistêmico de LLMs.

Design Experimental

A inovação central é um design fatorial 2×2 totalmente balanceado que manipula independentemente duas variáveis:

1. Veracidade da Afirmação: Verdadeira vs. Falsa.
2. Veracidade da Citação: Real vs. Fabricada.

Este design gera quatro condições primárias, além de uma linha de base "sem citação" para cada afirmação. Uma condição inovadora crucial é Afirmação Verdadeira × Citação Fabricada (AT×CF), que testa se os modelos podem ser induzidos a negar fatos corretos sob a pressão de um sinal de autoridade fabricado.

Construção do Dataset

• Escala: 220.564 prompts gerados a partir de 110.282 afirmações base.
• Domínios: Quatro domínios distintos foram utilizados: Conhecimento Geral (FEVER), Ciência (SciQ), Direito (CaseHOLD) e Medicina (MedMCQA).
• Variação de Prompt: O benchmark emprega 40 templates de prompt estruturalmente diversos (ex: prefixo, meio da frase, sufixo, estilo nota de rodapé) para testar a sensibilidade estrutural.
• Variáveis Controladas:
  • Prestígio do Periódico: As citações são atribuídas a um de quatro níveis de prestígio (Tier 1 a Tier 4) com base em rankings (SCImago, Washington and Lee, etc.).
  • Demografia do Autor: Para citações fabricadas, os sobrenomes dos autores são amostrados de um conjunto de dados codificado por país para analisar a influência demográfica percebida.
  • Enquadramento Temporal: Os anos das citações abrangem de 1980 ao presente.
• Construção da Citação: As citações reais são extraídas de fontes verificáveis (MTEB SciFact, PubMedQA, contextos de CaseHOLD). As citações fabricadas são construídas a partir de pools curados de nomes de autores e periódicos. Para o domínio de Conhecimento Geral (FEVER), onde metadados acadêmicos estruturados não estão disponíveis, os metadados da citação são preenchidos retroativamente a partir de outros pools de domínios e marcados para interpretação.

Avaliação

• Modelos: Sete modelos foram avaliados, incluindo modelos de pesos abertos (Gemma 3 4B, Llama 3.1 8B, Phi-4 Mini, Gemma 4 31B, DeepSeek V3.2) e modelos proprietários (Claude Haiku 4.5, GPT 5.4 mini). Modelos de pesos abertos foram testados no dataset completo; modelos proprietários foram testados em um subconjunto balanceado de 15K.
• Juiz: As saídas foram avaliadas usando Qwen3-8B como juiz, fornecido com rótulos de verdade fundamental e metadados da fonte para minimizar a dependência de conhecimento paramétrico. A avaliação humana em uma amostra estratificada confirmou alta concordância entre avaliadores (Cohen's $\kappa$ = 0,83).
• Métricas: A métrica primária é a taxa de alucinação (proporção de saídas rotuladas como alucinadas). Os efeitos são medidos via lift (diferença absoluta em pontos percentuais em relação à linha de base) e Cohen's $d$.

Resultados Principais

1. A Presença de Citação Aumenta a Alucinação

Em todos os sete modelos, a presença de qualquer citação — seja real ou fabricada — aumenta as taxas de alucinação em relação a uma linha de base sem citação. Isso contradiz a suposição de que as citações inerentemente fundamentam as saídas do modelo.

2. A Condição Crítica AT×CF

O modo de falha mais severo ocorre quando uma citação fabricada acompanha uma afirmação verdadeira (AT×CF).

• Nesta condição, os modelos são mais propensos a negar um fato correto do que em qualquer outra condição experimental.
• As taxas de alucinação no domínio de Conhecimento Geral sob AT×CF atingem 35% a 77%, dependendo do modelo.
• Os lifts sobre a linha de base de afirmação verdadeira variam de +3,23 a +22,29 pontos percentuais.
• Notavelmente, modelos maiores (ex: Gemma 4 31B, GPT 5.4 mini) não são mais resistentes que os menores; em alguns casos, são altamente suscetíveis.

3. Respostas Divergentes a Afirmações Falsas

Os modelos exibem dois comportamentos distintos quando apresentados com afirmações falsas:

• Supressão: Modelos como Llama 3.1, Claude Haiku 4.5 e GPT 5.4 mini mostram redução nas taxas de alucinação quando uma citação fabricada está presente, sugerando que a citação aciona um escrutínio intensificado.
• Amplificação: Modelos da família Gemma e Phi-4 mostram aumento nas taxas de alucinação em afirmações falsas quando uma citação está presente, tratando a citação como um endosso de autoridade.

4. Sensibilidade de Domínio e Estrutura

• Vulnerabilidade de Domínio: O domínio de Conhecimento Geral é o mais vulnerável à alucinação induzida por citação. Por outro lado, o domínio Jurídico é uniformemente robusto, mostrando os menores lifts induzidos por citação, provavelmente devido aos registros linguísticos distintivos e convenções formais que elevam o patamar de evidência do modelo.
• Prestígio do Periódico: Contrariamente às expectativas, o prestígio do periódico não tem impacto sistemático. Uma citação fabricada de um periódico de baixo nível carrega o mesmo peso que uma de um periódico de alto nível (ex: Nature) no que diz respeito a induzir alucinação.
• Demografia do Autor: A identidade percebida do autor (via sobrenomes codificados por país) mostra impacto negligenciável nas taxas de alucinação.
• Estrutura do Template: A colocação da citação importa. O posicionamento de prefixo ("De acordo com...") é consistentemente o formato de maior risco, enquanto formatos de saliência mínima são frequentemente os mais seguros.

Significância e Alegações

O artigo alega que o AuthorityBench fornece a primeira evidência rigorosa e de larga escala de que a presença de citação degrada a precisão factual, mesmo em afirmações que o modelo responderia corretamente de outra forma.

• Falha Epistêmica: Os achados sugerem que os LLMs sofrem de uma falha de raciocínio epistêmico sob pressão de autoridade, em vez de uma simples falta de conhecimento factual. Os modelos parecem internalizar um heurístico onde a presença de uma citação sobrepõe o conhecimento interno, levando à "negação induzida por citação".
• Implicações para RAG: Para sistemas de Geração Aumentada de Recuperação (RAG), a presença de uma citação não garante confiabilidade. Em domínios de alto risco, fundamentar as saídas em fontes citadas pode, na verdade, reduzir a precisão se o modelo deferir à autoridade da citação sobre a veracidade da afirmação.
• Estratégia de Mitigação: Os autores argumentam que a mitigação requer que os modelos tratem as citações como evidência a ser avaliada, e não como autoridade à qual se deve deferir. Eles enfatizam que escalar o tamanho do modelo não resolve inerentemente essa suscetibilidade.

O artigo conclui disponibilizando todos os datasets e códigos de avaliação para facilitar o desenvolvimento de modelos que possam distinguir melhor entre a autoridade de uma fonte e a veracidade de uma afirmação.