PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations

Título: PRISM: Investigando Raciocínio, Instrução e Memória de Origem em Alucinações de LLMs

1. O Problema

À medida que os Grandes Modelos de Linguagem (LLMs) evoluem de assistentes conversacionais para agentes capazes de lidar com tarefas complexas em domínios de alto risco (como medicina e direito), a alucinação (geração de conteúdo factualmente inconsistente) torna-se uma barreira crítica para a confiança e segurança.

O artigo identifica duas limitações fundamentais nas abordagens de avaliação existentes:

1. Consultas Mistas: A maioria dos benchmarks atuais (como TruthfulQA ou HaluEval) mistura diferentes tipos de consultas, tornando impossível isolar a causa raiz de uma falha (ex: foi falta de conhecimento, erro de raciocínio ou ignorância de instruções?).
2. Avaliação Posterior (Output-level): As avaliações atuais focam apenas no resultado final, sem analisar o pipeline de geração. Isso impede a compreensão de onde e por que o modelo falhou, dificultando a otimização direcionada.

2. Metodologia: O Framework PRISM

Os autores propõem o PRISM, um benchmark controlado que reformula a avaliação de alucinações como um problema de diagnóstico. A metodologia baseia-se em três estágios de geração (memória, instrução e raciocínio) e desdobra as alucinações em quatro dimensões independentes e ortogonais:

1. Erro de Conhecimento (KE - Knowledge Error): O modelo possui conhecimento paramétrico, mas este está incorreto ou desatualizado (ex: fatos distorcidos).
2. Falta de Conhecimento (KM - Knowledge Missing): O modelo não possui a informação necessária em sua memória paramétrica para responder à questão (ex: dados recentes ou privados).
3. Erro de Raciocínio (RE - Reasoning Error): O modelo possui os fatos corretos, mas falha ao combiná-los logicamente ou seguir cadeias de raciocínio complexas.
4. Erro de Seguimento de Instrução (IFE - Instruction Following Error): O modelo possui conhecimento e raciocínio corretos, mas viola restrições explícitas do usuário (ex: formato, comprimento, idioma).

Construção de Dados:

• Princípio de Ortogonalidade: Cada subconjunto de dados foi projetado para testar isoladamente um único modo de falha, evitando variáveis de confusão.
• Fontes Diversificadas:
  • Para KE/KM: Dados factuais (Wikipedia, Baidu Baike), dados fora de distribuição (notícias de 2025, entidades fictícias) e dados de domínio privado.
  • Para RE/IFE: Dados de raciocínio autocontidos (problemas de matemática, lógica, código) e instruções complexas com múltiplas restrições (negativas, formatação JSON estrita).
• Pipeline de Construção: Utiliza um framework multi-agente (normalizador de esquema, recuperador de evidências, classificador de tipo e avaliador de qualidade) seguido por seleção humana de especialistas para garantir clareza, relevância e coerência.
• Estatísticas: O benchmark contém 9.448 instâncias cobrindo 65 sub-tarefas.

3. Contribuições Principais

1. Framework Diagnóstico: Definição de um pipeline de falha cognitiva que categoriza alucinações em KE, KM, RE e IFE, permitindo a localização precisa de falhas.
2. Benchmark Abrangente: Criação do PRISM com 9.448 amostras que isola fatores causais para análise reproduzível.
3. Avaliação em Larga Escala: Avaliação de 24 modelos (open-source e proprietários) de diferentes famílias e escalas.
4. Análise de Trade-offs: Investigação de como estratégias de mitigação (como fine-tuning de instrução ou raciocínio) afetam diferentes dimensões, revelando compensações (trade-offs) entre capacidades.
5. Estudo de Mecanismos Internos: Análise de mapas de atenção e custos computacionais para entender por que certos tipos de alucinação ocorrem (ex: dominância de priores paramétricos em KE vs. contexto enganoso em KM).

4. Resultados Chave

• Desempenho Geral: Modelos proprietários (como Claude-Opus-4.5, Gemini-3-Pro) tendem a ter desempenho mais equilibrado e robusto, embora modelos open-source de ponta (como DeepSeek-R1, Qwen3) se aproximem em algumas métricas.
• Padrões de Falha:
  • RE (Raciocínio) e KE (Conhecimento) apresentam as maiores variações de desempenho entre os modelos.
  • KM (Falta de Conhecimento) geralmente apresenta taxas de erro mais baixas, pois os modelos tendem a recusar respostas quando não sabem a resposta, mas ainda assim falham em identificar lacunas em contextos enganosos.
  • Correlação: Existe uma correlação parcial entre as dimensões; melhorar uma não garante melhoria nas outras.
• Trade-offs de Mitigação:
  • Instruction Tuning (Ajuste de Instrução): Melhora a aderência a instruções (IFE) e reduz conflitos de conhecimento, mas pode degradar a capacidade de raciocínio lógico (RE).
  • Reasoning SFT (Ajuste de Raciocínio): Melhora drasticamente o RE, mas pode amplificar vieses na recuperação de conhecimento ou na execução de restrições (IFE).
  • ICL (Aprendizado em Contexto): Adicionar mais exemplos (shots) ajuda principalmente na formatação, mas pouco na correção de falhas de conhecimento ou raciocínio profundo.
• Custos Computacionais: A recusa de resposta (quando o modelo identifica que não sabe ou que há conflito) consome mais Active Neurons e GFLOPs do que a geração de uma resposta alucinada, sugerindo que "pensar" para evitar alucinações é computacionalmente mais caro.

5. Significado e Impacto

O PRISM representa um avanço significativo na avaliação de LLMs ao mudar o foco da quantificação da alucinação para a diagnóstico causal.

• Para Pesquisadores: Oferece uma ferramenta para entender os mecanismos internos de falha, permitindo o desenvolvimento de modelos mais especializados (ex: modelos otimizados especificamente para raciocínio lógico ou para seguimento estrito de instruções).
• Para Desenvolvedores e Indústria: Fornece uma base quantitativa para selecionar modelos adequados a cenários de alto risco, onde a estabilidade em uma dimensão específica (ex: não alucinar fatos médicos) é mais crítica do que o desempenho geral.
• Futuro: O trabalho destaca a necessidade de estratégias de mitigação balanceadas, pois otimizar uma dimensão frequentemente sacrifica outra, e aponta para a necessidade de avaliações em modalidades multimodais e em mais idiomas no futuro.

Em resumo, o PRISM estabelece um novo padrão para a avaliação de confiabilidade em LLMs, decompondo o fenômeno complexo da alucinação em componentes diagnosticáveis e acionáveis.