HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models

O artigo propõe o HART, um novo framework baseado em dados para atribuição de alucinações e rastreamento de evidências em Grandes Modelos de Linguagem, que supera as abordagens existentes ao formalizar o problema em quatro etapas estruturadas e introduzir o primeiro conjunto de dados organizado para avaliação causal e interpretável de erros de geração.

O essencial

Imagine que você pediu a um assistente de IA (como um robô superinteligente) para escrever um texto sobre Albert Einstein. O robô escreve um texto lindo, mas, no meio dele, inventa que Einstein ganhou um Prêmio Nobel por algo que nunca aconteceu e que ele trabalhou em um projeto secreto de armas nucleares em Princeton.

O texto parece real, mas é uma alucinação: uma mentira convincente.

Até hoje, os pesquisadores tentavam apenas dizer: "Ei, aqui tem um erro!". Mas o novo trabalho que você pediu para explicar, chamado HART, vai muito além. Ele não apenas aponta o erro; ele age como um detetive particular que investiga por que o erro aconteceu e onde está a verdade real.

Aqui está uma explicação simples de como o HART funciona, usando analogias do dia a dia:

1. O Problema: O "Robô Alucinado"

As IAs são ótimas em escrever, mas às vezes elas "alucinam". É como se um aluno muito estudioso, mas um pouco sonhador, escrevesse uma redação. Ele sabe a matéria, mas às vezes mistura fatos reais com invenções da própria cabeça.

• O problema antigo: Os métodos anteriores eram como um professor que apenas riscava a frase errada com uma caneta vermelha e dizia "Isso está errado". Eles não explicavam por que o aluno errou nem mostravam o livro de onde a informação correta vinha.

2. A Solução: O Detetive HART

O HART (Hallucination Attribution Retrieval Tracing) é um sistema que transforma a investigação de erros em um processo de 4 etapas, como se fosse uma investigação policial:

Etapa 1: Localizar a "Mão na Massa" (Localização do Trecho)

O HART não olha para o texto inteiro de uma vez. Ele usa uma lupa para encontrar exatamente qual palavra ou frase é a mentira.

• Analogia: É como um detetive que não diz "o crime aconteceu na casa", mas aponta: "O suspeito estava na sala, atrás do sofá, às 14h".

Etapa 2: Descobrir o "Motivo" (Atribuição do Mecanismo)

Aqui está a grande inovação. O HART pergunta: "Por que o robô inventou isso?". Ele classifica o erro em categorias específicas:

• Invenção Pura: O robô criou algo do nada (como inventar um livro que Einstein nunca escreveu).

• Confusão de Identidade: Misturar duas pessoas (achar que Einstein trabalhou com Oppenheimer em algo que não foi).

• Generalização Exagerada: Pegar uma verdade pequena e esticá-la até virar mentira.

• Vazamento de Contexto: O robô usou uma informação que estava na pergunta, mas que não deveria estar na resposta.

• Falha de Raciocínio: O robô tentou deduzir algo e chegou a uma conclusão lógica, mas falsa.

• Analogia: Em vez de apenas prender o ladrão, o detetive descobre se ele roubou por fome, por vingança ou por acidente. Isso ajuda a entender a "personalidade" do erro.

Etapa 3: Buscar a "Prova Real" (Busca de Evidências)

Depois de achar o erro e o motivo, o HART vai até uma enorme biblioteca digital (a internet, Wikipédia, sites oficiais) para encontrar o documento que prova que o robô estava errado.

• Como funciona: Ele não apenas procura palavras-chave. Ele entende o significado. Se o robô diz "Sydney é a capital da Austrália", o HART busca documentos que dizem "Canberra é a capital", mesmo que a palavra "Sydney" não apareça no documento de prova.
• Analogia: É como se você tivesse uma acusação falsa e o detetive trouxesse não apenas a foto do crime, mas o registro civil, a testemunha e o vídeo de segurança que provam sua inocência.

Etapa 4: O Relatório Final (Rastreamento Causal)

O HART entrega um pacote completo:

1. Onde está a mentira.
2. Por que ela aconteceu (o mecanismo).
3. Qual é a verdade real e onde encontrá-la.

3. Por que isso é importante?

Imagine que você usa uma IA para:

• Medicina: O robô diz que um remédio cura uma doença que ele não cura. O HART não apenas diz "erro", mas mostra o estudo médico real que prova o contrário.
• Direito: O robô cita uma lei que não existe. O HART traz o código de leis real.

Sem o HART, você teria que confiar na sua própria intuição para verificar se o robô está mentindo. Com o HART, o robô é obrigado a "mostrar o trabalho" e a fonte da verdade, tornando-o muito mais confiável para coisas sérias.

Resumo em uma frase

O HART é como um tradutor e detetive que pega as mentiras convincentes de uma IA, explica exatamente por que ela inventou aquilo e entrega, na mão, a prova real de onde está a verdade, transformando um "achismo" em uma investigação factual.

Resumo técnico

1. Problema Identificado

Os Grandes Modelos de Linguagem (LLMs) demonstram desempenho excepcional em geração de texto e resposta a perguntas, mas sofrem frequentemente de alucinações (geração de conteúdo factualmente incorreto ou sem evidências).

• Limitações das Abordagens Atuais:
  • Detecção de Alucinação: Métodos existentes focam apenas em identificar se uma alucinação ocorreu (baseados em estimativa de incerteza ou recuperação de conhecimento externo), mas falham em classificar o tipo de alucinação ou o mecanismo de erro subjacente.
  • Rastreabilidade: Abordagens baseadas em mecanismos internos do modelo explicam por que o erro ocorreu em termos de representações latentes, mas não conseguem vincular fragmentos específicos de erro a evidências factuais externas verificáveis.
• O Desafio Central: Existe uma lacuna na capacidade de estabelecer correspondências estruturadas em nível de "span" (trecho de texto) entre o tipo de alucinação, o mecanismo de geração do erro e a evidência factual externa que o contradiz. Isso limita a interpretabilidade e a rastreabilidade causal.

2. Metodologia: O Framework HART

O artigo propõe o HART (Hallucination Attribution Retrieval Tracing), um framework unificado que trata a análise de alucinações como uma tarefa de atribuição e rastreamento de evidências. O processo é dividido em quatro estágios principais:

A. Construção de Dataset Estruturado (Nível de Span)

Os autores criaram o primeiro dataset estruturado para rastreamento de alucinações, utilizando uma abordagem de anotação híbrida (LLM + supervisão humana).

• Estrutura de Anotação: Cada fragmento de alucinação é anotado com:
  1. Tipo de Alucinação: (4 categorias: Entidade, Fato, Lógica, Fabricação).
  2. Mecanismo de Erro: (5 categorias: Desalinhamento de Entidade, Generalização Excessiva, Falha de Raciocínio, Vazamento de Contexto, Heurística de Fabricação).
  3. Conjunto de Evidências Adversariais: Textos factuais que contradizem ou corrigem a alucinação.
• Fonte de Dados: Baseado em LongFact++, utilizando modelos como Claude Sonnet 4.5 e ChatGPT 5.1 para gerar e anotar alucinações, com refinamento humano para garantir precisão.

B. Recuperação de Evidências (Retrieval)

O sistema utiliza um pipeline de recuperação de duas etapas para encontrar evidências factuais que contradigam a alucinação:

1. Codificação Semântica e Indexação: Uso de Sentence-BERT para transformar textos em vetores e indexação via FAISS (busca de vizinhos mais próximos) para recuperação inicial rápida.
2. Reclassificação (Reranking): Um modelo Cross-Encoder é aplicado aos candidatos iniciais para realizar uma correspondência semântica profunda e avaliar a consistência factual, superando as limitações da simples similaridade geométrica.
3. Estratégia Multi-Query: Para cada fragmento de alucinação, são geradas múltiplas consultas (queries) contextuais para aumentar a cobertura de recuperação.

C. Atribuição e Rastreamento Causal

O framework integra:

• Classificação de Tipos e Mecanismos: Dois classificadores independentes (baseados em BERT) preveem o tipo de alucinação e o mecanismo de erro, fornecendo sinais supervisionados estruturados.
• Rastreamento de Evidência: O sistema mapeia o fragmento alucinado para a evidência externa mais provável, criando uma cadeia causal que liga a saída do modelo à realidade factual.

3. Principais Contribuições

1. Mudança de Paradigma: Propõe uma abordagem que sai da "detecção interna" para o "rastreamento de evidências externas", modelando alucinações como um problema de atribuição causal baseada em fatos do mundo real.
2. Framework Unificado (HART): Unifica a classificação de spans, a atribuição de mecanismos de erro e o alinhamento de evidências externas em um único pipeline.
3. Dataset Estruturado Inovador: Apresenta o primeiro dataset de rastreamento de alucinações em nível de span com anotações multidimensionais (tipo, mecanismo e evidências), permitindo avaliação em nível causal.
4. Validação Empírica: Demonstra que a abordagem supera significativamente as linhas de base tradicionais (BM25, DPR, Sentence-BERT) em precisão e interpretabilidade.

4. Resultados Experimentais

Os experimentos foram realizados em datasets derivados dos modelos Qwen2.5-7B e Mistral-Small-24B.

• Desempenho de Recuperação:
  • O HART alcançou um Recall@1 de 0,8024 (Qwen) e 0,7522 (Mistral), superando drasticamente as linhas de base (ex: BM25 ficou em ~0,10).
  • Métricas como nDCG e MRR também mostraram melhorias significativas, indicando que as evidências corretas são posicionadas no topo da lista de resultados.
• Ablação: A combinação de Dense Embedding + Cross-Encoder + Multi-Query provou ser essencial para o desempenho, com o Cross-Encoder sendo crucial para a precisão de reclassificação.
• Classificação: Os classificadores de tipo e mecanismo alcançaram acurácias de 79,13% e 83,32% respectivamente na validação, demonstrando capacidade de caracterizar semanticamente os erros.
• Análise de Erros: O estudo estatístico revelou que a maioria das alucinações é do tipo "Fato" (72-83%) e o mecanismo predominante é a "Heurística de Fabricação" (84%), indicando que os modelos tendem a inventar fatos em vez de apenas cometer erros lógicos.

5. Significado e Impacto

• Interpretabilidade e Confiabilidade: O HART oferece uma ferramenta crucial para aplicações de alto risco (saúde, direito, finanças), permitindo não apenas detectar que algo está errado, mas explicar por que e onde o erro ocorreu, fornecendo a evidência correta para correção.
• Rastreabilidade Causal: Ao vincular a saída do modelo a fontes externas verificáveis, o trabalho estabelece um novo padrão para a avaliação de LLMs, focando na coerência factual com o mundo real em vez de apenas na probabilidade estatística interna.
• Futuro: Abre caminho para pesquisas em atribuição multimodal e modelagem de cadeias causais de evidências de múltiplos saltos (multi-hop), aumentando a transparência e a confiança nos sistemas de IA.

Em resumo, o HART representa um avanço significativo ao transformar a análise de alucinações de um problema de "caixa preta" de detecção para um processo estruturado, explicável e baseado em evidências factuais.