Resumo Técnico: HalluWorld: Uma Avaliação Controlada para Alucinação via Modelos de Mundo de Referência

1. Declaração do Problema

A alucinação permanece um modo de falha central dos modelos de linguagem de grande porte (LMs), contudo, as avaliações existentes operacionalizam-na de forma inconsistente em tarefas como sumarização, resposta a perguntas e geração aumentada por recuperação. As abordagens atuais sofrem de duas limitações primárias:

1. Fragmentação: As avaliações frequentemente confundem modos de falha distintos (por exemplo, ler fatos incorretamente versus recordar erroneamente decisões anteriores) sob um único rótulo, tornando incerto se uma estratégia de mitigação em um cenário se generaliza para outros.
2. Falta de Controle: As avaliações existentes dependem ou de anotação humana com referências fixas (propensas à memorização) ou de observações naturalistas em cenários difíceis de reproduzir ou variar sistematicamente. Crucialmente, o ambiente, a observabilidade do modelo e as políticas de resolução de conflitos são tipicamente fixos por design, impedindo o isolamento de modos de falha específicos.

O artigo argumenta que, para entender as causas raiz da alucinação, a avaliação deve ser fundamentada em uma formulação unificada onde a alucinação é definida como um erro observável relativo a um mundo de referência explícito.

2. Metodologia: O Framework HALLUWORLD

Os autores introduzem o HALLUWORLD, um framework de avaliação extensível fundamentado em uma formulação de "modelo de mundo de referência". Este framework decompõe a alucinação em três componentes explícitos:

• Mundo de Referência ($W$): Uma verdade fundamental totalmente especificada que codifica estados e transições.
• Função de Visão ($V$): Um mecanismo que controla o que o modelo pode observar (observabilidade parcial).
• Política de Conflito ($P$): Uma regra que decide como conflitos entre fontes observáveis (por exemplo, observação direta versus testemunho escrito) são resolvidos.

Uma alucinação ocorre quando a saída do modelo contradiz o mundo de referência de verdade fundamental. Ao tornar esses componentes explícitos, o framework permite o teste de estresse sistemático de modelos variando um fator (por exemplo, complexidade do mundo) enquanto mantém outros constantes.

Ambientes de Avaliação

O HALLUWORLD instância este framework em três domínios distintos, totalizando 33 níveis de gridworld, 7 níveis de xadrez e 110 tarefas terminais, com 1.718 perguntas de sondagem no total:

1. HALLUWORLD-GRID: Construído sobre o MiniGrid, estes são ambientes totalmente sintéticos e personalizáveis. Oferecem alto controle sobre o estado do mundo e mecânicas (por exemplo, fogo, inundação, placas de pressão) com mínima sobreposição com dados de pré-treinamento.
   • Sondas: Perceptual (P), Memória (M), Causal (C), Incerteza (U) e Composta (X).
   • Serialização: Suporta formatos Simbólico, Grid (ASCII) e Memória para testar como a apresentação afeta a alucinação.
2. HALLUWORLD-CHESS: Um domínio governado por regras com forte representação nos dados de treinamento. Testa a capacidade do modelo de lidar com priores adversariais (continuações típicas de jogos) contra estados de tabuleiro observados.
   • Sondas: Perceptual (leitura estática do tabuleiro), Causal (simulação futura de movimentos) e Memória (rastreamento de estado ao longo de longas sequências de movimentos sem o tabuleiro).
3. HALLUWORLD-TERMINAL: Fundamentado em implantação realista de agentes usando trajetórias do Terminal-Bench. O mundo de referência é um sistema de arquivos Linux ao vivo, e a visão é o histórico bruto do terminal.
   • Sondas: Derivadas de tarefas reais de engenharia de software, testando modos de falha como memória obsoleta, raciocínio entre categorias e superestimação de incerteza.

Categorias de Sondagem

Em todos os domínios, a avaliação utiliza cinco categorias de habilidades cognitivas:

• Perceptual (P): Leitura precisa de valores diretamente presentes na observação atual.
• Memória (M): Retenção de observações passadas e rastreamento de estado ao longo do tempo.
• Causal (C): Raciocínio sobre relações de causa e efeito e simulação futura de ações.
• Incerteza (U): Reconhecimento dos limites da evidência e abstenção de respostas quando o contexto é insuficiente.
• Composta (X): Integração de evidências em múltiplas seções de contexto ou ambientes.

3. Principais Contribuições

1. Operacionalização Unificada: O artigo introduz um framework de avaliação que operacionaliza a alucinação como um erro observável relativo a um mundo de referência explícito e política de conflito, indo além de pontuações agregadas para categorização de erros granular.
2. Suite de Ambientes Controlados: Os autores instanciam o framework em três domínios (Grid, Xadrez, Terminal) compreendendo 33 níveis de grid únicos, 7 níveis de xadrez e 110 tarefas terminais. Todos os rótulos de alucinação são gerados automaticamente por construção, eliminando a necessidade de anotação humana.
3. Ferramentas de Extensibilidade: O lançamento de um editor de níveis e gravador de trajetórias para o ambiente gridworld permite que a comunidade crie tuplas complexas de ambiente-sonda e estenda a avaliação para novos cenários.

4. Resultados Experimentais

Os autores avaliaram uma dúzia de modelos de fronteira e de peso aberto (incluindo GPT-4o/5, Claude Opus/Sonnet, o3, e modelos abertos como Qwen e DeepSeek) nestes cenários.

Descobertas Gerais

• Percepção vs. Raciocínio Complexo: A alucinação perceptual em informações diretamente observadas está quase resolvida para modelos de fronteira. No entanto, o rastreamento de estado multi-etapa (Memória) e a simulação causal futura permanecem desafios significativos, mesmo para os modelos mais capazes.
• O Paradoxo do "Pensamento": O pensamento estendido (Cadeia de Pensamento) mostra benefícios inconsistentes. Embora melhore ligeiramente a precisão perceptual, frequentemente piora as alucinações causais. Os autores hipotetizam que o raciocínio estendido fornece mais oportunidade para confabular estados intermediários plausíveis em vez de confiar em observações diretas.
• Confiança na Fonte: Os modelos consistentemente privilegiam o testemunho escrito (por exemplo, placas, quadros de avisos) sobre a observação direta, mesmo quando o testemunho contradiz o mundo observável.
• Incerteza: Os modelos lutam significativamente com a abstenção epistêmica. Em cenários terminais, mesmo os melhores modelos alucinam aproximadamente 25% das vezes quando a resposta correta é "não pode determinar".

Insights Específicos por Domínio

• Gridworld: Foi observada uma hierarquia consistente de dificuldade: Incerteza < Perceptual < Memória < Causal. O formato do estado do ambiente (serializador) é um driver independente de alucinação; por exemplo, a serialização de grid causou falha catastrófica no rastreamento de atributos entre observações para modelos fortes, enquanto formatos simbólicos preservaram a precisão de contagem.
• Xadrez: Categorias de longa sequência (Memória e Composta) separaram modelos de fronteira dos mais fracos. Enquanto os melhores modelos saturaram em sondas perceptuais e causais de horizonte curto, eles mostraram modos de falha distintos no rastreamento de estado de longo horizonte.
• Terminal: Este foi o domínio mais difícil. Nenhum modelo saturou qualquer categoria individual de sondagem. Uma anomalia notável foi o GPT-4o-mini, que mostrou um perfil de memória invertido único onde as taxas de alucinação de memória excederam as taxas causais, sugerindo falhas específicas no rastreamento de estado de longo horizonte.

Experimentos de Navegação (InNav)

Em um cenário de navegação interativa, os autores descobriram que a navegação frequentemente reduz a alucinação para modelos de raciocínio (via fundamentação epistêmica), mas pode aumentar erros em tarefas de memória ou de longo horizonte devido à carga cognitiva. O impacto da navegação é altamente dependente da categoria da tarefa (por exemplo, benéfico para tarefas causais, prejudicial para tarefas compostas de múltiplas zonas).

5. Significância e Alegações

O artigo afirma que o HALLUWORLD oferece um caminho escalável e reproduzível para medir e reduzir alucinações. Ao fundamentar a avaliação em ambientes explícitos e controláveis, a avaliação:

• Desfaz Modos de Falha: Revela que as alucinações não são uma falha de capacidade subjacente única, mas surgem de modos qualitativamente distintos (percepção, memória, causalidade, incerteza).
• Permite Intervenção Direcionada: A capacidade de isolar condições específicas (por exemplo, testemunho adversarial, formato de serialização) permite que pesquisadores apoiem proativamente os modelos com intervenções direcionadas em vez de depender de métricas agregadas.
• Muda o Paradigma: Move o campo de métricas vagas e fundamentadas em fontes para um problema experimentalmente tratável onde as alucinações podem ser diagnosticadas como erros de modelagem de mundo.

Os autores concluem que, embora a precisão perceptual esteja melhorando, a capacidade de manter estados de mundo precisos ao longo do tempo e raciocinar sobre estados futuros permanece um problema não resolvido para modelos de fronteira, sugerindo que o raciocínio sozinho pode não ser suficiente para mitigar alucinações sem intervenções arquitetônicas ou de treinamento.