Resumo Técnico: Confie, mas Não Verifique: Pontos Cegos Epistêmicos na Avaliação de Fontes por LLMs

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados como intermediários epistêmicos, encarregados de sintetizar evidências conflitantes de múltiplas fontes para informar decisões consequentes em domínios que variam das finanças à saúde pública. Embora trabalhos anteriores tenham documentado a "sicofancia" — onde os modelos deferem às preferências do usuário em detrimento da precisão factual — uma vulnerabilidade distinta permanece pouco compreendida: a capacidade do modelo de avaliar a credibilidade das fontes que ele sintetiza. Especificamente, não está claro se os modelos conseguem distinguir entre uma metodologia estatística válida e estatísticas fabricadas ou impossíveis quando apresentadas em um contexto de múltiplas fontes.

O artigo postula que os modelos podem herdar vieses cognitivos humanos onde a "estética do rigor" (ex: jargão técnico, números precisos) sobrepõe-se à avaliação analítica. Isso cria um risco onde os modelos tratam estatísticas fabricadas como credíveis se forem apresentadas em um registro que mimetiza o rigor analítico, mesmo quando os números são estruturalmente impossíveis.

Metodologia

Os autores conduziram um experimento comportamental fatorial controlado através de cinco modelos (das famílias Claude, Qwen e OLMo) e três domínios profissionais: Venture Capital (VC), Marketing (MKT) e Saúde Pública (PH).

Design Experimental

• Tarefa: Os modelos atuaram como assistentes de IA em uma simulação de thread de mensagens de ambiente de trabalho (Slack/Teams) contendo quatro fontes (uma autoridade sênior, uma instituição externa, um analista interno e uma referência de terceiros).
• Conflito: A fonte focal (o analista interno) forneceu uma estimativa que divergia do consenso das outras três fontes.
• Manipulações: A apresentação da fonte focal foi variada em seis níveis:
  1. Alegação nua (sem metodologia ou estatísticas).
  2. Metodologia plausível com estatísticas válidas.
  3. Metodologia plausível sem estatísticas.
  4. Metodologia plausível com estatísticas estruturalmente impossíveis (ex: um intervalo de confiança de 95% abrangendo 0,06 pontos percentuais para n=2.400; p-valores abaixo de pisos de permutação; correlações excedendo tetos de confiabilidade de medição).
  5. Metodologia especiosa (jargão técnico inapropriado ao domínio) com ou sem diagnósticos.
• Contexto Social: O grau de consenso social foi variado (0 a 3 outras fontes concordando com a fonte focal).
• Métrica: O Índice de Preferência de Fonte (SPI) mediu o quanto a estimativa numérica final do modelo se deslocou do consenso em direção à alegação da fonte focal.

Análise Mecanística

Para explicar os achados comportamentais, os autores empregaram três técnicas de interpretabilidade mecanística no Qwen 32B e no OLMo 3.1:

1. Sondas Lineares (Linear Probes): Treinadas para detectar o "registro de metodologia" (texto válido vs. especioso) e a "validade numérica" (números impossíveis vs. válidos) no fluxo residual das ativações. Estas foram testadas para transferência entre domínios.
2. Rastreamento Causal (Causal Tracing): Corrompeu os embeddings de tokens de apresentação com ruído e os restaurou camada por camada para medir a importância causal na condução da estimativa final.
3. Atribuição Direta de Logit (DLA): Projetou o output de cabeças de atenção e MLPs no direcionamento de logit "analista vs. consenso" para quantificar as contribuições ao nível do componente.

Resultados Principais

1. Dissociação Comportamental: Detecção vs. Implementação

• Isolamento: Quando apresentada com uma estatística fabricada em isolamento sob um prompt de revisão, os modelos detectaram o erro de forma confiável (Taxas de Identificação Correta de 0,76–1,00 para metodologia; até 1,00 para ICs impossíveis de VC).
• Síntese: Na tarefa de síntese de múltiplas fontes, essa capacidade colapsou. Os modelos atribuíram peso idêntico a fontes com estatísticas válidas e aquelas com estatísticas impossíveis.
  • Estatísticas fabricadas recuperaram ~79% do ganho de influência proporcionado por estatísticas válidas.
  • Os modelos frequentemente sinalizavam a impossibilidade em seu rastro de raciocínio (Chain-of-Thought), mas ainda assim endossavam a fonte e deslocavam sua estimativa em direção a ela.
  • Metodologia especiosa (jargão sem números) teve influência negligenciável, indicando que os modelos são sensíveis à presença de um registro de metodologia, mas não à sua consistência interna.

2. Achados Mecanísticos

• Portão do Registro de Metodologia: Sondas lineares confirmaram a existência de uma representação domínio-geral de "registro de metodologia" (texto válido vs. especioso) que transfere entre domínios (AUC 0,83–0,92). Este sinal é causalmente importante nas camadas iniciais da rede.
• Ponto Cego da Validade Numérica: Embora a validade numérica seja decodificável em isolamento, o sinal colapsa para o acaso (AUC ~0,50) durante a síntese de múltiplas fontes. O modelo codifica a presença de números, mas não sua validade.
• Portão de Consenso (Consensus Gating): O rastreamento causal revelou um "portão de consenso". Quando a fonte focal está isolada, os tokens de apresentação carregam alta importância causal. Quando a fonte possui apoio majoritário, a influência causal dos tokens de apresentação (e o consequente deslocamento comportamental) colapsa para quase zero. Crucialmente, este portão opera sobre o próprio sinal de apresentação, não sobre a validade dos números.
• Atribuição de Componentes: Os MLPs (em vez das cabeças de atenção) dominam o processamento de sinais de metodologia. Nenhum componente carregou um sinal corretivo para numéricos fabricados; a rede simplesmente falhou em distinguir números válidos de impossíveis no contexto de síntese.

3. Limitações de Prompting e Treinamento

• Prompting: Prompts de verificação explícita, incluindo um "checklist de oráculo" nomeando verificações estatísticas exatas, falharam em induzir discernimento seletivo. Eles produziram um "ceticismo generalizado", reduzindo a confiança tanto em estatísticas válidas quanto fabricadas, em vez de descontar seletivamente estas últimas.
• Trajetória de Treinamento: A análise da trajetória de treinamento do OLMo mostrou que, embora a discriminação de metodologia tenha melhorado com o pós-treinamento (SFT, DPO, RLVR), a discriminação numérica permaneceu próxima de zero durante todo o processo, sugerindo que a vulnerabilidade não é um artefato de alinhamento de preferência, mas uma lacuna fundamental no objetivo de treinamento.

Significância e Alegações

O artigo argumenta que os LLMs exibem uma falha de alinhamento epistêmico distinta da sicofancia. Enquanto a sicofancia segue a preferência do usuário, esta falha segue as "características superficiais de apresentação" (o registro de metodologia) em vez da consistência interna das alegações.

• Lacuna de Vigilância Epistêmica: Os modelos possuem a capacidade de verificar a valididade numérica (raciocínio do tipo Sistema 2), mas falham em recrutá-la durante a síntese, dependendo de um heurístico rápido e automático (Sistema 1) que equipara o "registro analítico" à "credibilidade".
• Vulnerabilidade Adversária: A falha é mais pronunciada quando o discernimento independente é mais necessário: quando uma fonte está isolada (sem consenso para ancorar o modelo). Um adversário pode propagar desinformação simplesmente adotando o registro de escrita analítica credível, pois o ceticismo padrão do modelo colapsa na ausência de consenso social.
• Implementação vs. Capacidade: Os autores concluem que a questão não é se os modelos podem verificar evidências, mas se eles estão sendo implantados de uma forma que condiciona a confiança na qualidade da evidência em vez do estilo de apresentação. Os pipelines de pós-treinamento atuais (RLHF, DPO) reforçam atalhos estilísticos sem construir mecanismos robustos de verificação numérica.

O artigo não propõe estratégias de mitigação específicas, além de sugerir que futuros pipelines de treinamento podem precisar incluir dados onde as premissas são inválidas e exigem verificação, uma forma de supervisão que está ausente dos procedimentos de alinhamento padrão.