💻 computer science

Hallucination Span Detection with Input-Side Evidence Alignment

Este artigo introduz uma nova tarefa e um método baseado em codificador para detectar trechos alucinados em textos gerados por LLMs, aproveitando a previsibilidade de tokens fiéis da evidência de entrada para identificar simultaneamente as alucinações e alinhá-las à sua origem.

Autores originais: Miyu Yamada, Yuki Arase

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Miyu Yamada, Yuki Arase

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala transformaram a forma como interagimos com os computadores, atuando como motores poderosos que podem resumir notícias, responder a perguntas complexas e redigir documentos. Esses sistemas funcionam prevendo a próxima palavra em uma frase com base em padrões que aprenderam a partir de vastas quantidades de texto. No entanto, uma falha persistente compromete sua confiabilidade: às vezes, eles inventam fatos. Esse fenômeno, conhecido como alucinação, ocorre quando um modelo gera informações que parecem plausíveis, mas que são não sustentadas pelo material de origem ou que o contradizem diretamente. Para usuários que dependem dessas ferramentas para tarefas críticas, distinguir entre um resumo útil e uma história fabricada é difícil. O desafio central não reside apenas em saber que um erro existe, mas em identificar exatamente quais palavras estão erradas e encontrar a parte específica do texto original que prova que elas estão erradas. Sem esse nível granular de detalhe, verificar a veracidade de um documento longo permanece um processo tedioso e manual.

Pesquisadores do Instituto de Ciência de Tóquio desenvolveram uma nova abordagem para resolver este problema, mudando o foco de julgar um texto inteiro para examinar palavras individuais. Em vez de pedir a um computador para simplesmente rotular um parágrafo inteiro como verdadeiro ou falso, o método deles atua como uma lupa, escaneando a saída gerada palavra por palavra para ver se ela pode ser rastreada até a fonte. A equipe opera sobre uma observação simples, mas poderosa: se uma palavra no resumo é fiel ao texto original, um computador deve ser capaz de prevê-la usando apenas o material de origem como guia. Por outroْ lado, se uma palavra é uma alucinação, será impossível prevê-la a partir da fonte porque a informação simplesmente não existe lá. Ao treinar um modelo para testar essa previsibilidade, os pesquisadores criaram um sistema que não apenas sinaliza as palavras inventadas, mas também destaca a evidência específica no input que sustenta a informação correta.

O processo começa dividindo o texto gerado em blocos significativos, como frases ou cláusulas, em vez de tratá-lo como um bloco único. O sistema então pega uma palavra de um desses blocos e a esconde temporariamente, pedindo ao modelo para adivinhar qual deveria ser essa palavra baseando-se exclusivamente no texto de origem. Se o modelo puder adivinhar a palavra escondida com confiança usando a fonte, o sistema a marca como fiel. Se o modelo tiver dificuldade em fazer um palpite, ou se o índice de confiança for baixo, o sistema a sinaliza como uma potencial alucinação. Crucialmente, como o modelo teve que olhar para o texto de origem para fazer seu palpite, ele naturalmente produz um vínculo entre a palavra de saída e a parte específica do input que o ajudou. Isso cria um mapa de evidências, mostrando ao usuário exatamente onde o modelo encontrou sua informação ou, no caso de um erro, onde ele falhou em encontrar qualquer suporte.

Para testar essa ideia, os pesquisadores utilizaram um conjunto de dados contendo milhares de exemplos onde humanos já haviam identificado quais partes de respostas geradas eram fatualmente incorretas. Eles compararam seu novo método com técnicas existentes, incluindo aquelas que dependem de modelos massivos e complexos para ler e julgar textos. Os resultados mostraram que sua abordagem mais leve e focada foi excepcionalmente boa em encontrar os erros. Enquanto outros métodos às vezes perdiam os erros completamente, este novo sistema identificou com sucesso a vasta maioria das palavras alucinadas, particularmente aquelas que foram totalmente inventadas. Também se mostrou eficaz ao vincular as palavras corretas no resumo de volta às frases certas na fonte, fornecendo um rastro claro de evidências para o usuário seguir.

No entanto, o estudo também revelou uma fraqueza específica na capacidade do sistema de detectar certos tipos de erros. O método teve dificuldades quando a alucinação era uma contradição direta, como alterar um número de "quatro" para "vinte" de uma forma que ainda soasse gramatical e contextualmente semelhante ao original. Nesses casos, o modelo achou o contexto circundante tão similar que permaneceu confiante em sua previsão, falhando em reconhecer a mudança sutil de significado. Os pesquisadores observaram que, embora o sistema se destaque em detectar informações que estão inteiramente ausentes da fonte, ele precisa de mais refinamento para capturar esses erros conflitantes e mais enganosos. Apesar dessa limitação, o trabalho demonstra um passo significativo para tornar a inteligência artificial mais transparente, oferecendo uma maneira prática de verificar a veracidade do conteúdo gerado por máquina ao conectar cada afirmação diretamente de volta à sua fonte.

Resumo Técnico: Detecção de Intervalos de Alucinação com Alinhamento de Evidência do Lado da Entrada

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) avançaram em tarefas de geração de texto condicional, como sumarização e resposta a perguntas, mas permanecem propensos a alucinações — gerando conteúdo não sustentado pelo texto de entrada ou contraditório a ele. Os métodos de detecção existentes tratam primariamente a alucinação como um problema de classificação binária ao nível de sentença ou documento. Embora eficazes para estimar a factualidade geral, essas abordagens falham em localizar intervalos (spans) alucinados específicos ou identificar a evidência correspondente na entrada. Essa limitação dificulta a interpretabilidade das previsões do modelo e complica a verificação do conteúdo gerado, particularmente em documentos longos onde o rastreamento manual é difícil. Além disso, obter pares de entrada-saída alinhados manualmente para treinamento é caro e impraticável dada a rápida evolução dos LLMs.

Metodologia

Os autores propõem uma nova tarefa: detecção de intervalo de alucinação com alinhamento de evidência do lado da entrada. Esta tarefa identifica conjuntamente intervalos alucinados no texto gerado e alinha os tokens de saída com sua evidência correspondente na entrada. A abordagem baseia-se na observação de que tokens de saída fiéis são geralmente previsíveis a partir de seu contexto de suporte na entrada, enquanto tokens alucinados não são.

Estrutura Central

O método formula a detecção de alucinação como um problema de previsão de token mascarado fundamentado na entrada, inspirado em Modelos de Linguagem Mascarados Não Paramétricos (NPM). Em vez de depender de grandes LLMs baseados em decodificadores, o sistema emprega um modelo leve baseado em codificador (encoder).

Estratégia de Treinamento (Supervisão Distante):
- Segmentação de Intervalos: Os textos de saída são segmentados em intervalos semanticamente significativos usando o Papel Semântico (SRL). Predicados e seus argumentos são extraídos para formar intervalos; palavras que não fazem parte de nenhum predicado ou argumento (ex: conjunções) são excluídas.
- Previsão Mascarada: Durante o treinamento, os intervalos são mascarados com tokens especiais (``). O modelo é treinado para prever esses intervalos mascarados usando apenas a representação do texto de entrada.
- Métrica de Confiança: A confiança da previsão para um intervalo mascarado $s$ contra um intervalo de entrada $(i, j)$ é definida como a soma das similaridades de cosseno entre os embeddings dos tokens mascarados e os embeddings dos tokens de entrada:
  $c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$
- Função de Perda: Uma função de perda personalizada incentiva alta confiança para intervalos fiéis e baixa confiança para intervalos alucinados. Ela penaliza intervalos alucinados que alcançam alta confiança e intervalos fiéis que alcançam baixa confiança, com peso adicional para exemplos "difíceis".
Inferência:
- Ao contrário do treinamento, a inferência opera ao nível de token. Cada token de saída é mascarado individualmente, e o modelo recupera o token de entrada mais relevante com base na pontuação de confiança.
- Classificação: Um token de saída é classificado como alucinado se sua pontuação de confiança máxima cair abaixo de um limiar $\lambda_h$ .
- Alinhamento: O token de entrada que produz a maior pontuação de confiança serve como o alinhamento de evidência.
- Agregação: As previsões de nível de token são agregadas ao nível de palavra; uma palavra é considerada alucinada apenas se todos os seus tokens de subpalavra forem classificados como tal.

Principais Contribuições

Definição de Tarefa: Introdução de uma nova tarefa que detecta conjuntamente intervalos alucinados e os alinha com a evidência do lado da entrada, indo além da classificação binária de nível de sentença.
Arquitetura Eficiente: Desenvolvimento de um método leve baseado em codificador que evita o custo computacional de grandes LLMs baseados em decodificadores e não requer dados de treinamento alinhados manualmente (utilizando supervisão distante).
Saída Dupla: O framework produz simultaneamente rótulos de detecção de alucinação e alinhamentos de evidência ao nível de token.

Resultados Experimentais

O método foi avaliado no conjunto de dados RAGTruth, cobrindo tarefas de Resposta a Perguntas (QA) e Sumarização de Notícias.

Avaliação Automática:
- O método proposto alcançou o maior recall em ambas as tarefas de QA e sumarização (82,7% e 38,0%, respectivamente), superando baselines como Llama-SFT e LettuceDetect em recall, o que é crítico para cenários onde perder alucinações é inaceitável.
- Embora a precisão tenha sido menor que a de alguns baselines (ex: Llama-SFT em sumarização), o alto recall indica que o método identifica efetivamente a maioria do conteúdo alucinado.
- O baseline OTAlign teve um desempenho ruim, provavelmente devido à dificuldade de alinhar sentenças de comprimentos significativamente diferentes.
Avaliação Humana:
- Anotadores humanos avaliaram a qualidade dos alinhamentos de evidência previstos do lado da entrada.
- Para palavras fiéis e de alucinação sem base, o método proposto alcançou uma pontuação média de alinhamento de cerca de 2,0 (em uma escala de 0 a 3), indicando que os tokens de entrada recuperados eram evidências relevantes.
- Alucinações de Conflito: O método teve dificuldades com alucinações de conflito (onde a saída contradiz a entrada), frequentemente atribuindo pontuações de confiança altas a esses tokens. Isso é atribuído à alta similaridade semântica entre o contexto conflitante de entrada e saída, o que confunde a estimativa de confiança baseada em similaridade.

Significância e Limitações

O artigo afirma que o método proposto detecta efetivamente intervalos alucinados enquanto identifica evidências significativas do lado da entrada, confirmado pela avaliação humana da qualidade do alinhamento. A abordagem oferece uma solução prática para verificar o conteúdo gerado sem o custo proibitivo de dados de alinhamento manual.

No entanto, os autores reconhecem limitações específicas:

Detecção de Conflito: O método é menos eficaz na detecção de alucinações de "conflito" em comparação com as "sem base", pois a alta similaridade entre o texto conflitante e a entrada leva a uma falsa confiança.
Eficiência de Inferência: O processo de mascaramento e re-codificação token por token resulta em custos de inferência lineares em relação ao comprimento da saída, o que pode ser computacionalmente caro para textos longos.
Escopo: Os experimentos foram limitados a QA e sumarização de notícias usando o benchmark RAGTruth; a generalização para outros domínios, idiomas ou famílias de LLMs permanece não investigada.

Os autores concluem que, embora o método seja eficaz para alucinações sem base, o trabalho futuro deve focar no desenvolvimento de métodos de estimativa de confiança mais sofisticados para lidar melhor com alucinações de conflito e melhorar a eficiência da inferência.