Resumo Técnico: Uma Definição Unificada de Alucinação: É o Modelo de Mundo, Estúpido!

1. Declaração do Problema

Apesar da extensa pesquisa em estratégias de mitigação desde o surgimento dos Grandes Modelos de Linguagem (LLMs), as alucinações permanecem um problema persistente e não resolvido nos modelos de fronteira. O problema central identificado pelos autores é a fragmentação da definição de "alucinação". As definições existentes são específicas para tarefas e frequentemente contraditórias:

• Pesquisadores de sumarização definem alucinação como conteúdo não suportado pelo documento de origem, mesmo que seja factualmente verdadeiro no mundo real.
• Pesquisadores de QA (Perguntas e Respostas) de domínio aberto definem-na como conteúdo factualmente incorreto, independentemente da fonte.
• Pesquisadores de Modelos de Linguagem-Visão (VLM) focam em inconsistências entre a entrada visual e o texto.
• Pesquisadores de agentes veem a alucinação como ações inapropriadas baseadas em observações do ambiente.

Essa falta de uma definição unificada torna difícil comparar benchmarks, avaliar a transferibilidade de estratégias de mitigação ou responder a perguntas fundamentais sobre se os LLMs podem algum dia parar de alucinar. As avaliações atuais frequentemente assumem implicitamente uma "verdade fundamental" (ground truth) sem especificar explicitamente o que é essa verdade, como ela é acessada ou como os conflitos entre fontes são resolvidos.

2. Metodologia: O Framework Unificado

Os autores propõem um framework formal que unifica todas as definições existentes sob um único conceito: Alucinação como modelagem de mundo (interna) imprecisa e observável ao usuário.

2.1 Componentes Principais

O framework define uma alucinação em relação a três componentes explícitos:

1. Modelo de Mundo de Referência ($W$): Uma representação formal do que é objetivamente verdadeiro em um determinado contexto. $W$ é uma tupla $(S, H, R)$, onde $S$ é o conjunto de estados de mundo possíveis, $H$ é o conjunto de históricos de interação e $R$ é um conjunto de regras que restringem os estados admissíveis. $W$ pode ser instanciado como um documento de origem, uma base de conhecimento, um simulador, um banco de dados ou uma gramática formal.
2. Função de Visão ($V$): Uma função que seleciona a parte do modelo de mundo relevante para um dado input $x$ (ex: o documento completo, um subconjunto recuperado ou uma observação parcial do DOM).
3. Política de Conflito ($P$) e Função de Verdade ($T_{W,P}$): Uma política que determina como reconciliar múltiplas fontes de informação (ex: "documentos recuperados sobrepõem a memória paramétrica"). A função de verdade atribui um status (verdadeiro, falso, desconhecido) a qualquer afirmação atômica $c$ dado $W$, $x$ e $P$.

2.2 Definição Formal

Seja $y$ o output do modelo e $C(y)$ o conjunto de afirmações atômicas observáveis ao usuário. O output $y$ alucina em relação a $(W, P)$ se, e somente se, existir uma afirmação $c \in C(y)$ tal que $T_{W,P}(x, c) = \text{false}$.

Crucialmente, esta definição distingue alucinação (crenças incorretas sobre o mundo de referência) de outros tipos de erro:

• Erros de Planejamento: Crenças corretas, mas seleção de ação pobre.
• Erros de Recompensa/Incentivo: Crenças corretas, mas outputs confiantes devido a incentivos de treinamento.
• Erros de Calibração: Incerteza que não é expressa adequadamente.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Uma Taxonomia Unificada: Os autores demonstram que as definições anteriores (de contextos de sumarização, RAG, agentes e VLMs) são simplesmente diferentes instanciações da mesma estrutura subjacente. Ao variar $W$, $V$ e $P$, pode-se derivar as definições existentes (ex: alucinações intrínsecas vs. extrínsecas) como casos especiais.
2. Diretrizes Explícitas de Design de Benchmarks: O framework força os designers de benchmarks a declarar explicitamente suas suposições em relação ao mundo de referência, a visão do modelo e a resolução de conflitos. Isso permite a comparação significativa entre diferentes benchmarks (ex: FavaBench, HALoGEN, HaluEval) ao diagnosticar onde suas definições divergem.
3. Geração de Benchmarks Escalável via Mundos Sintéticos: O artigo propõe um método para criar benchmarks de larga escala usando ambientes sintéticos (ex: jogos, simuladores) onde o mundo de referência $W$ é totalmente especificado e programaticamente conhecido.
   • Estudo de Caso (Xadrez): Os autores ilustram como um ambiente de xadrez pode servir como um benchmark. O estado do mundo ($s$) e o histórico ($h$) são a verdade fundamental. Um gerador de documentos cria contextos textuais e um gerador de queries cria perguntas. A função de verdade avalia as afirmações contra o estado real do tabuleiro e as regras, permitindo a geração automática e de larga escala de rótulos de alucinação sem necessidade de anotação humana.

4. Resultados e Descobertas

Como um artigo de posição, o trabalho não apresenta resultados empíricos sobre o desempenho do modelo, mas sim fornece uma análise conceitual e diagnóstica:

• Poder Diagnóstico: O framework revela que as divergências na literatura frequentemente decorrem de diferenças implícitas em $W$, $V$ ou $P$, e não no comportamento do modelo. Por exemplo, um método pode reduzir alucinações em sumarização (onde $W$ é o documento de origem) mas falhar em QA de domínio aberto (onde $W$ são fatos do mundo real) porque as intervenções visam componentes diferentes.
• Esclarecimento de Estratégias de Mitigação: O artigo categoriza técnicas de mitigação com base no componente que elas visam:
  • Recuperação/Ferramentas: Intervenções na função de Visão ($V$).
  • Calibração/Abstenção: Intervenções na função de Verdade ou na política de output ($T_{W,P}$).
  • Mudanças Arquiteturais/de Treinamento: Intervenções na aproximação interna do modelo de $W$.
• Distinção de Tipos de Erro: O framework separa com sucesso "alucinação" (erros de modelagem de mundo) de erros de "planejamento" ou "seguimento de instrução", uma distinção frequentemente confundida na literatura atual.

5. Significância e Alegações

Os autores afirmam que esta visão unificada é significativa por várias razões:

• Rigor Científico: Move o campo de definições vagas e específicas de tarefas para uma estrutura formal e reprodutível. Força os pesquisadores a esclarecer "o que é verdade" antes de alegar que um modelo alucinou.
• Comparabilidade: Permite a comparação de benchmarks e estratégias de mitigação entre diferentes domínios (texto, visão, agentes) ao mapeá-los para um template comum.
• Escalabilidade: Ao alavancar ambientes sintéticos com mundos totalmente especificados, o framework permite a criação de benchmarks onde os rótulos de alucinação são determinados por construção, em vez de anotação humana cara ou métodos pouco confiáveis de "LLM-as-a-judge".
• Orientação Acionável: Fornece um roteiro claro para desenvolvedores e pesquisadores identificarem se uma falha se deve à falta de informação ($V$), conflitos de regras ($P$) ou um modelo interno fundamentalmente quebrado ($W$).

O artigo conclui que, embora a modelagem de mundo perfeita possa ser inalcançável, o objetivo para os LLMs deve ser reconhecer os limites de seu conhecimento, abster-se quando incertos e atualizar-se com base em informações externas. O framework proposto, complementado pela suíte de benchmarks HALLUWORLD, oferece um caminho para medir e reduzir sistematicamente os erros observáveis de modelagem de mundo.