Resumo Técnico: HallDetect – Decomposição de Implicação para Verificação de Factualidade

Definição do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em contextos profissionais e de decisão crítica é dificultada pelas alucinações: afirmações confiantes, porém factualmente não sustentadas. Os métodos de detecção existentes enfrentam limitações significativas:

• Métricas de superfície (ex: ROUGE, similaridade de embedding) falham em capturar inconsistências lógicas.
• Paradigmas de "LLM-como-juiz" sofrem com altos custos computacionais, latência, problemas de reprodutibilidade e viés de auto-preferência, particularmente quando implantados em hardware de consumo ou via APIs proprietárias de caixa-preta.
• Abordagens de caixa-branca que dependem de sinais internos (probabilidades de token) são inaplicáveis a modelos de código fechado.
• Verificadores existentes frequentemente exigem modelos de precisão total, bases de conhecimento externas (medindo factualidade extrínseca em vez de fidelidade intrínseca) ou carecem de granularidade para localizar erros específicos dentro de um texto gerado.

Há uma necessidade de um framework leve, livre de referência e de caixa-preta que possa detectar alucinações intrínsecas (inconsistências com uma fonte fornecida) sob orçamentos computacionais estritos, fornecendo simultaneamente uma trilha de auditoria para erros específicos.

Metodologia: O Framework HallDetect

O HallDetect é um pipeline de recursos eficientes e agnóstico ao domínio que decompõe o texto gerado em alegações atômicas e as verifica contra um documento de origem usando um modelo de Inferência de Linguagem Natural (NLI) discriminativo. O framework opera sob um orçamento rigoroso de quantização de 4 bits em hardware de nível de consumo.

Arquitetura do Pipeline

O processo consiste em quatro fases distintas:

1. Extração de Alegações Atômicas (Fase I):

   • Um LLM implantado localmente e quantizado em 4 bits (ex: Llama 3.1, Gemma 2 ou Mistral) decompõe a resposta gerada $R$ em um conjunto de alegações atômicas $\{c_1, \dots, c_n\}$.
   • A extração é "fiel à cópia" (copy-faithful), reproduzindo as alegações literalmente para garantir que a verificação foque nas afirmações reais do modelo.

2. Fragmentação de Contexto Multiescala (Fase II):

   • O documento de origem $D$ é particionado em uma biblioteca de contexto hierárquica $\mathcal{K}$ em cinco granularidades ($m \in \{1, 2, 4, 8, 16\}$ fragmentos).
   • Este escalonamento diádico garante que a evidência seja capturada em várias escalas (desde o nível da frase até o documento completo) sem incorrer em crescimento de custo linear. O tamanho total da biblioteca é limitado a 31 fragmentos por documento.

3. Verificação NLI Contrastiva (Fase III):

   • Um modelo NLI compacto baseado em codificador (DeBERTa-v3-Large, ajustado em MNLI, FEVER-NLI, etc.) verifica cada alegação $c_i$ contra cada fragmento $k \in \mathcal{K}$.
   • Pontuação Contrastiva: Para cada alegação, o sistema identifica independentemente o fragmento com a maior probabilidade de Implicação ($P(E)$) e o fragmento com a maior probabilidade de Contradição ($P(C)$).
   • A pontuação é calculada como: $Score(c_i) = \max_k P(E|k, c_i) - \max_k P(C|k, c_i)$.
   • A classe Neutro é tratada implicitamente; alegações onde todos os fragmentos são predominantemente neutros recebem pontuações baixas tanto para implicação quanto para contradição, resultando em uma pontuação próxima de zero (indicando conteúdo não sustentado).

4. Agregação Assimétrica (Fase IV):

   • A pontuação final de Decomposição de Implicação de Factualidade (FEDscore) agrega as pontuações por alegação usando uma média geométrica.
   • Assimetria: A agregação é projetada para auditoria. Se qualquer única alegação tiver uma pontuação $\le 0$ (indicando contradição confiante), toda a resposta é marcada como alucinada ($FEDscore = 1$). Isso prioriza o recall, garantindo que uma única afirmação não sustentada invalide a saída.

Principais Contribuições

Os autores apresentam quatro contribuições primárias:

1. Um Pipeline de Decomposição-e-Verificação Econômico: O HallDetect acopla a extração de alegações atômicas com uma formulação de NLI multiescala e contrastiva. Ele requer apenas o par fonte-geração e é compatível com geradores de caixa-preta arbitrários, evitando a necessidade de "juízes" generativos durante a fase de verificação.
2. Avaliação Controlada sob Orçamentos Fixos: O framework é avaliado sob paridade rigorosa de recursos (todos os componentes quantizados em 4 bits, rodando em hardware de consumo idêntico). Sob essas restrições, o HallDetect supera os baselines generativos (LLM CoT) e baseados em embeddings comparáveis em termos de recursos em três de quatro benchmarks, permanecendo competitivo no quarto.
3. Estabilidade entre Backbones e Domínios: Ao delegar a verificação a um codificador discriminativo, o HallDetect exibe uma variância marcadamente menor do que os juízes generativos de Cadeia de Pensamento (CoT) através de diferentes famílias de backbones (Mistral, Gemma, Llama) e domínios (notícias, diálogo, adversarial, biomédico).
4. Trilha de Auditoria ao Nível de Alegação: Diferente dos métodos de pontuação escalar, o HallDetect produz um mapeamento entre as alegações atômicas e os intervalos de evidência da fonte, permitindo a localização de contradições e adições não sustentadas.

Resultados Quantitativos

Avaliado em quatro benchmarks (QAGS-CNN/DM, TofuEval, FalseSum, PubMedQA) usando modelos quantizados em 4 bits:

• QAGS-CNN/DM (Sumarização de Notícias): O HallDetect alcançou um F1 score de 0.771 (Gemma-2), superando o baseline LLM CoT (0.589) e o baseline NLI monolítico (0.638). Demonstrou um recall superior (1.000) em comparação aos baselines, atribuído à estratégia de decomposição que evita a "diluição" de erros localizados.
• Estabilidade: Enquanto o desempenho do LLM CoT colapsou significativamente entre diferentes backbones (ex: queda do F1 de 0.589 para 0.321 no Llama-3.1), o HallDetect permaneceu estável (intervalo de F1 de 0.734–0.771).
• Estresse Adversarial (FalseSum): O HallDetect manteve um forte desempenho (F1 0.731), superando o baseline LLM CoT (0.375) e o baseline SelfCheck (0.649).
• Generalização de Domínio (PubMedQA): O HallDetect permaneceu competitivo, mas não superou o baseline SelfCheck (HallDetect F1 0.632 vs. SelfCheck F1 0.668). Embora pontuadores especializados ocasionalmente tenham igualado ou excedido o desempenho do HallDetect neste domínio, o HallDetect reteve a capacidade única de localizar alegações médicas específicas carentes de fundamentação, uma característica ausente em baselines escalares.

Significância e Alegações

O artigo posiciona o HallDetect não como um detector de estado da arte que supera sistemas de precisão total ou baseados em API, mas como uma solução robusta e eficiente em recursos para cenários onde os orçamentos computacionais são restritos (ex: implantação local, hardware de consumo).

• Robustez à Quantização: O estudo demonstra que a decomposição da extração de alegações da verificação (usando um codificador discriminativo) protege o julgamento dos vieses de decodificação e da instabilidade que assolam modelos generativos quantizados.
• Auditabilidade: O framework fornece uma trilha de auditoria "alegação-para-intervalo", localizando erros em vez de fornecer apenas um score escalar, o que é crítico para auditoria humana no ciclo (human-in-the-loop).
• Viabilidade Operacional: Ao operar inteiramente com modelos quantizados em 4 bits com requisitos de VRAM inferiores a 1GB, o HallDetect oferece uma alternativa prática aos caros paradigmas de "LLM-como-juiz" para verificação de factualidade intrínseca.

Os autores explicitamente mencionam limitações, incluindo a falta de comparação com verificadores discriminativos especializados como o MiniCheck, a incapacidade de verificar fatos extrínsecos (alegações não presentes na fonte) e o ponto de operação orientado ao recall, que pode reduzir a precisão em cenários com baixa taxa de alucinação.