How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation

Resumo Técnico: Avaliação Sistemática de Detecção de Alucinação Leve

Declaração do Problema
A implantação de Modelos de Linguagem de Grande Escala (LLMs) em domínios de alto risco exige uma detecção de alucinação robusta. No entanto, os métodos de detecção mais precisos atualmente dependem de requisitos intensivos em recursos: inferência acelerada por GPU, chamadas de API proprietárias ou acesso de caixa-branca aos internos do modelo (por exemplo, probabilidades de tokens). Essas restrições excluem pesquisadores e profissionais com recursos limitados. Este artigo aborda a questão de quão eficazmente a detecção de alucinação pode ser realizada utilizando apenas métodos leves, viáveis em CPU, construídos sobre modelos publicamente disponíveis, sem chamadas de API ou acesso aos internos do modelo gerador.

Metodologia
Os autores realizaram um benchmark sistemático de cinco métodos distintos através das três tarefas do conjunto de dados HaluEval: Question Ansement (QA), Diálogo e Sumarização. O estudo utilizou um CPU de laptop padrão e modelos públicos.

1. Métodos Avaliados:

   • ROUGE-L: Uma métrica de sobreposição lexical que mede a subsequência comum mais longa entre a fonte e o candidato.
   • Similaridade Semântica: Similaridade de cosseno entre os embeddings da fonte e do candidato usando all-MiniLM-L6-v2 (~22M de parâmetros).
   • BERTScore: Uma medida F contextual ao nível de token usando um backbone DistilBERT.
   • Detector de NLI: Uma abordagem de Inferência de Linguagem Natural usando um modelo DeBERTa-v3-base (~184M de parâmetros) ajustado em MultiNLI, FEVER e Adversarial NLI. A fonte (truncada para 800 caracteres) mais o contexto servem como a premissa, e o candidato como a hipótese. O escore é derivado como $s = 1 - P(\text{entailment})$.
   • Ensemble: Uma combinação linear de escore ao nível de score dos componentes NLI e de Similaridade Semântica ($s = \alpha s_{NLI} + (1-\alpha)s_{sim}$), com pesos ($\alpha$) otimizados via busca em grade (grid search) em um conjunto de validação.

2. Configuração Experimental:

   • Dados: 3.000 amostras por tarefa foram extraídas do HaluEval (seed 42).
   • Divisão: 1.000 instâncias para validação (calibração de limiar e peso) e 2.000 instâncias para teste.
   • Calibração: Os limiares foram selecionados no conjunto de validação para maximizar o índice de Youden (TPR - FPR) e aplicados sem alterações ao conjunto de teste.
   • Métricas: Acurácia, Precisão, Recall, F1 (onde positivo = alucinado) e AUC-ROC.

Resultados Principais
Descobriu-se que o desempenho é altamente dependente da tarefa, não havendo um único método que domine em todos os cenários.

• Question Answering (QA): Esta foi a tarefa mais tratável. O método de Ensemble alcançou o melhor desempenho (F1 = 0,792, AUC-ROC = 0,873), superando o melhor método individual por aproximadamente 5 pontos. A sobreposição de tokens contextual (BERTScore) provou ser um sinal mais forte do que a similaridade de cosseno ao nível de frase.
• Diálogo: O desempenho degradou em comparação com QA. O detector de NLI emergiu como o método individual mais forte (AUC-ROC = 0,713, Recall = 0,781), indicando que o raciocínio de implicação (entailment) se transfere efetivamente para ambientes conversacionais. Métodos lexicais e de embedding agruparam-se em níveis inferiores (AUC-ROC 0,61–0,66).
• Sumarização: Todos os cinco métodos degradaram para um desempenho próximo ao aleatório (AUC-ROC entre 0,469 e 0,574). Embora alguns métodos tenham mostrado altos escores de F1 (ex: BERTScore F1 = 0,658), isso foi impulsionado por um recall extremo (>0,99) com precisão próxima ao acaso, rotulando quase tudo como alucinação. Os autores atribuem isso a uma falha estrutural: as alucinações de sumarização são frequentemente edições factuais sutis dentro de resumos longos, de outra forma fiéis. As métricas de sobreposição são dominadas pelo restante fiel, e o truncamento da premissa de 800 caracteres do modelo NLI impede o acesso ao contexto completo do documento.

Pegada Computacional
Todos os experimentos rodaram em um CPU de laptop padrão sem GPU.

• Throughput: Métodos lexicais e de embedding são altamente eficientes (ROUGE-L: ~1.300 candidatos/seg; Similaridade/BERTScore: ~66 candidatos/seg).
• Gargalo: O detector de NLI (~184M de parâmetros) é o mais lento, com ~4 candidatos/seg, pontuando um conjunto de teste de 2.000 instâncias em aproximadamente oito minutos. O ensemble não adiciona custo de modelo além dos componentes de NLI e similaridade.

Principais Contribuições

1. Benchmark Sistemático: Uma avaliação abrangente de cinco métodos viáveis em CPU através de três tarefas distintas de PLN, calibrados em dados de validação mantidos fora do treino.
2. Ranking Dependente de Tarefa: Demonstração de que a eficácia do método varia significativamente conforme a tarefa; o Ensemble é ideal para QA, NLI para Diálogo e nenhum método leve é viável para Sumarização.
3. Identificação de Falha Sistemática: O artigo mapeia a "fronteira prática" da detecção sem GPU, destacando um limite estrutural claro onde métodos leves falham na sumarização devido à natureza das alucinações e restrições de contexto.
4. Orientação Prática: Recomendações para seleção de métodos baseadas em restrições computacionais e tipo de tarefa (ex: usar NLI para ranking de diálogo, evitar métodos leves para sumarização).

Significância e Alegações
O artigo afirma fornecer uma linha de base de desempenho realista para a grande comunidade que trabalha sem hardware especializado. Argumenta-se que comparar um único método caro contra baselines fracos obscurece as forças específicas e os modos de falha de métodos acessíveis.

Os autores concluem que, embora a detecção sem GPU seja viável e eficaz para QA e Diálogo, ela enfrenta um limite estrutural na Sumarização. Esta falha não é um erro de um algoritmo específico, mas uma limitação do próprio regime leve, que carece de capacidade para decomposição de afirmações (claim-level decomposition) ou modelagem de contexto longo necessária para tarefas de sumarização. O trabalho oferece aos profissionais sem hardware especializado uma base clara para selecionar métodos e uma compreensão realista de onde a detecção acessível tem sucesso e onde ela falha.