Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

Resumo Técnico: Previsão do Início de Alucinação

Formulação do Problema
Os atuais detectores de alucinação ao nível de token operam de forma reativa, sinalizando afirmações falsas apenas após terem sido geradas. Uma análise complementar dos autores estabeleceu um limite de atraso teórico de aproximadamente 1,3 tokens para qualquer detector que reaja a um ponto de mudança (change-point), o que significa que a detecção ocorre inerentemente após o início da alucinação. Este artigo aborda a questão de se o início de uma alucinação pode ser previsto antes de ocorrer. A tarefa é formulada como uma análise de sobrevivência de tempo discreto: tratando o início de um intervalo alucinado como um "evento de falha" sobre o conjunto de risco dos tokens que são atualmente fiéis. O objetivo é calcular um perigo (hazard) por token — a probabilidade de um início ocorrer nos próximos $k$ tokens — utilizando apenas recursos causais e seguros para fluxo (streaming-safe) disponíveis até o token atual $t$.

Metodologia
O framework proposto baseia-se em um pipeline causal, de caixa preta e ao nível de token, projetado para implantação durante a geração:

• Auditoria de Recursos Causais: Os autores utilizam um fluxo de 33 dimensões de recursos derivados de um trabalho anterior, mas realizam uma auditoria causal rigorosa para remover componentes com "vazamento de futuro" (future-leaking). Recursos normalizados pela extensão total da saída (ex: posição, contagem de sentenças) ou computados a partir de sentenças incompletas (ex: recursos de NLI) são descartados. Isso deixa 24 recursos seguros para fluxo: 18 recursos baseados em texto (janelas de novidade, sobreposição de n-gramas, flags de entidades) e 6 recursos de modelos de linguagem (log-probabilidade, entropia).
• Arquitetura do Modelo: O preditor utiliza uma rede recorrente de passagem direta (forward-only) (uma GRU de duas camadas com largura oculta de 64) para ler o histórico de recursos causais. Uma cabeça de perigo (hazard head) produz um logit para múltiplos horizontes ($k \in \{1, 3, 5, 10\}$), representando a probabilidade de um início ocorrer dentro dos próximos $k$ tokens.
• Treinamento: O modelo é treinado com uma perda de entropia cruzada binária multihorizonte mascarada sobre o conjunto de risco (apenas tokens fiéis), com pesos ajustados para a raridade de inícios em horizontes mais longos.
• Avaliação: O desempenho é medido via AUROC e PR-AUC. Crucialmente, os autores distinguem entre AUROC agrupado (que confunde o risco ao nível do documento com o tempo) e AUROC dentro do documento (que isola o sinal de tempo ao avaliar apenas documentos conhecidos por alucinar).

Resultos Principais

• Previsibilidade: O início é previsível em todos os horizontes. No corpus RAGTruth, o preditor recorrente alcança um AUROC de 0,777 ± 0,002 no horizonte $k=3$ (prevendo um início dentro dos próximos três tokens). Isso é 12 pontos superior a uma linha de base logística de perigo pontual, indicando o valor de ler a trajetória do recurso.
• Fonte do Sinal: O sinal de alerta precoce é identificado como deriva de novidade textual (text-novelty drift), não como surpresa do modelo de linguagem. Modelos que utilizam apenas os 18 recursos de texto igualam o desempenho do conjunto causal completo, enquanto recursos de modelos de linguagem sozinhos ficam abaixo. O sinal reflete o desvio do modelo em relação ao seu contexto de origem antes que a alucinação comece, em vez de um pico local de incerteza.
• Atraso Negativo: Quando comparado a um detector de ponto de mudança acompanhante com um orçamento de falso alarme correspondente ($\alpha=10^{-3}$), o preditor alcança um atraso negativo. O preditor alerta um tempo mediano de 11 tokens antes do início, enquanto o detector dispara um tempo mediano de 15 tokens após. Isso realiza um atraso negativo estruturalmente proibido para detectores.
• Modelos Nulos: O sinal não é meramente a autocorrelação de inícios passados (um modelo nulo de capacidade correspondente usando apenas histórico de inícios e relógios alcançou 0,65 AUROC, significativamente inferior ao preditor baseado em conteúdo) nem autoexcitação (um processo de Hawkes não adicionou valor sobre um modelo de covariáveis).
• Especificidade de Domínio: A capacidade de previsão é específica de domínio. O modelo falha em zero-shot quando transferido de RAGTruth (RAG de longo formato) para PsiloQA (QA de curto formato), invertendo para um desempenho abaixo do acaso. No entanto, quando retreinado no domínio de PsiloQA, ele recupera alto desempenho (0,74–0,79 AUROC), enquanto os sinais de detecção transferem parcialmente.

Significância e Alegações
O artigo alega que a previsão do início da alucinação é uma tarefa distinta e ortogonal à detecção. Enquanto preditores ao nível de prompt podem identificar quais gerações são arriscadas, e detectores podem identificar que uma alucinação começou, apenas este preditor identifica quando e onde, dentro de uma geração, o risco se torna um início.

Os autores enfatizam que o mecanismo que impulsiona a previsão é uma deriva gradual na novidade do texto em relação à fonte, e não uma mudança de estado abrupta. Consequentemente, o tempo de antecedência fornecido pelo preditor é valioso especificamente para intervenções que devem ocorrer antes da emissão do token falso (ex: regenerar um intervalo, restringir a decodificação ou direcionar o modelo). Para políticas de aborto simples (interromper a geração), os autores observam que um detector pós-início pode ser mais eficiente em termos de tokens, pois evita cortar tokens fiéis antes que o erro ocorra. O artigo conclui que, embora o alerta precoce exista e atinja atraso negativo, realizar uma redução nas taxas de alucinação requer acesso ao decodificador em tempo real e estratégias de intervenção específicas, que estão além do escopo deste estudo offline.