Resumo Técnico: HALT (Avaliação de Alucinação via Log-probs como Séries Temporais)

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente produzem alucinações — saídas que contêm informações verificavelmente falsas ou não suportadas. Isso representa uma barreira significativa para a implantação de LLMs em domínios críticos de segurança. Os métodos de detecção existentes enfrentam limitações distintas:

• Abordagens de caixa branca (white-box) exigem acesso aos estados internos do modelo (ativações ocultas, mapas de atenção), o que é impossível para APIs proprietárias e de código fechado.
• Abordagens de caixa preta (black-box) baseadas em texto frequentemente dependem de recuperação externa, chamadas de API adicionais ou LLMs auxiliares para julgar a consistência. Isso introduz latência, custo e o risco de que o próprio modelo "juiz" alucine ou introduza viés de domínio.
• Abordagens baseadas em incerteza frequentemente dependem de estatísticas agregadas (ex: média de confiança, entropia geral), que podem falhar em capturar a dinâmica temporal dos erros de calibração do modelo.

Os autores postulam que, embora as probabilidades brutas dos tokens sozinhas não sejam indicadores confiáveis de veracidade devido a vieses de calibração, a evolução temporal dessas probabilidades contém sinais estáveis de incerteza. A questão central de pesquisa é: É possível detectar alucinações modelando apenas a sequência de log-probabilidades dos tokens sem analisar o texto gerado ou consultar referências externas?

2. Metodologia

2.1. Paradigma Central: Log-probs como Séries Temporais

O HALT trata a sequência de log-probabilidades dos top-$k$ tokens como um problema de classificação de séries temporais. Em vez de colapsar as probabilidades em estatísticas resumidas, o método preserva a sequência ordenada da confiança do modelo em cada etapa de decodificação.

Representação de Entrada:
Para uma resposta de comprimento $T$, o modelo extrai as top-20 log-probabilidades ($\ell_t \in \mathbb{R}^{20}$) em cada passo de tempo $t$. Estas são concatenadas com cinco recursos de engenharia para formar um vetor de características enriquecido $\tilde{\ell}_t$:

1. Log-Probabilidade Média: Um substituto para a nitidez da distribuição.
2. Proxy de Rank: Um rank limitado do token selecionado dentro dos top-20, capturando escolhas não-gananciosas ou atípicas.
3. Entropia Geral ($H_{overall}$): Incerteza sobre o token selecionado e suas alternativas.
4. Entropia apenas das Alternativas ($H_{alts}$): Desacordo entre candidatos concorrentes.
5. Mudança Temporal na Entropia de Decisão ($\Delta H_{dec}$): Captura transições bruscas na certeza entre o token selecionado e a melhor alternativa.

A entrada final é uma série temporal $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$.

2.2. Arquitetura

O modelo utiliza uma Unidade Recorrente de Portão Bidirecional (GRU) leve com 5 milhões de parâmetros.

• Codificador (Encoder): Uma GRU bidirecional de múltiplas camadas processa a sequência para capturar padrões temporais tanto na direção direta quanto na reversa.
• Agrupamento (Pooling): Um mecanismo de Top-$q$ pooling (onde $q=0.15$) agrega os estados ocultos. Ele faz a média dos passos de tempo mais salientes (aqueles com as maiores normas de estado oculto), focando em momentos de mudanças bruscas de confiança em vez de diluir os sinais por todos os tokens.
• Saída: Uma camada linear produz um único logit para classificação binária (alucinado vs. fiel), treinada com perda de entropia cruzada binária.

2.3. Hipóteses Principais

Os autores propõem quatro hipóteses validadas no estudo:

1. Viés Específico do Modelo: Cada LLM possui uma função de viés de calibração determinística que governa suas probabilidades top-$k$.
2. Capacidade de Aprendizado (Learnability): Uma GRU pode aprender a aproximar essa dinâmica induzida pelo viés, associando padrões temporais específicos a alucinações.
3. Não Transferibilidade: Detectores treinados nas log-probs de um modelo não se transferem de forma confiável para a arquitetura de um modelo diferente devido aos diferentes vieses de calibração.
4. Generalização de Tarefa: Dentro de um mesmo modelo, um detector treinado em uma família de tarefas generaliza para outras porque o viés de calibração subjacente é consistente entre as tarefas.

3. Benchmark: HUB (Hallucination detection Unified Benchmark)

Para avaliar o método, os autores introduzem o HUB, um benchmark abrangente que abrange 10 capacidades de LLM:

• Orientadas ao Raciocínio: Algorítmica, Senso Comum, Matemática, Raciocínio Simbólico e Geração de Código.
• Propósito Geral: Chat, Dados-para-Texto, Question Answering (QA), Sumarização e Conhecimento de Mundo.

O HUB estende conjuntos de dados anteriores (FAVA, RAGTruth, HaluEval) e integra o CriticBench para incluir alucinações lógicas (passos de raciocínio falhos que levam a respostas incorretas ou "corretas por sorte") ao lado de alucinações factuais. O conjunto de dados é dividido em conjuntos de treino, validação e teste, com o treinamento restrito a Chat, Dados-para-Texto e QA para testar rigorosamente a generalização fora de distribuição (out-of-distribution) em tarefas de raciocínio.

4. Resultados

4.1. Desempenho no HUB

O HALT supera significativamente as linhas de base existentes:

• Eficiência: O HALT é 30$\times$ menor que o detector Lettuce (um codificador ModernBERT-base ajustado) e alcança um aceleramento de 60$\times$.
• Precisão: O HALT alcança os melhores escores de Macro-F1 em 7 de 10 clusters.
  • HALT-L (treinado no LLaMA 3.1-8B) atinge um Macro-F1 geral de 67.01, superando o Lettuce (64.00) e as linhas de base de estatísticas agregadas (ex: $H_{overall}$ em 32.86).
  • Ele se destaca particularmente em tarefas de raciocínio (Algorítmica, Senso Comum, Simbólica) onde pistas de calibração ao nível da sequência são mais preditivas do que heurísticas de nível de texto.

4.2. Transferibilidade e Generalização

• Entre Tarefas (Cross-Task): O HALT demonstra forte generalização entre diferentes famílias de tarefas dentro do mesmo modelo, apoiando a hipótese de que o viés de calibração é independente de tarefa.
• Entre Modelos (Cross-Model): Como previsto, o desempenho cai significativamente quando um detector treinado nas log-probs do LLaMA é aplicado às log-probs do Qwen (e vice-versa), confirmando que a dinâmica de calibração é específica do modelo e não é diretamente transferível entre arquiteturas.
• Robustez: O HALT permanece competitivo em benchmarks externos (FAVA, RAGTruth), apesar de não ter sido ajustado especificamente para eles.

5. Significância e Alegações

O artigo reivindica as seguintes contribuições e significâncias:

• Novo Paradigma de Caixa Preta: O HALT introduz um método de detecção que depende exclusivamente das log-probabilidades dos tokens, evitando a necessidade de análise de superfície de texto, validadores externos ou acesso interno ao modelo. Isso o torna unicamente aplicável a APIs proprietárias.
• Dinâmica Temporal sobre Métricas Estáticas: O trabalho demonstra que tratar as log-probabilidades como uma série temporal captura padrões de incerteza (ex: picos abruptos de entropia, inversões de rank) que estatísticas agregadas perdem.
• Estrutura Unificada: Ao integrar falhas de raciocínio lógico na definição de alucinação, o HUB fornece uma visão mais ampla de infidelidade semântica, indo além da simples verificação factual.
• Eficiência Prática: O método oferece uma alternativa altamente eficiente a grandes codificadores, permitindo a detecção de alucinação em tempo real com sobrecarga negligenciável, pois requer apenas o fluxo de log-probabilidade que já costuma estar disponível durante a geração.

Os autores concluem que, embora o HALT não esteja vinculado a um único modelo, ele aprende dinâmicas de incerteza transferíveis que se generalizam entre tarefas dentro de um modelo, estabeleando uma nova modalidade para analisar a incerteza do modelo sem exigir acesso aos pesos ou dados externos.