Resumo Técnico: CORTEX

Declaração do Problema

A Geração Aumentada de Recuperação (RAG) é amplamente utilizada para fundamentar as saídas de Grandes Modelos de Linguagem (LLMs) em referências externas, mas os modelos frequentemente geram conteúdo alucinado mesmo quando as referências são fornecidas. Os métodos existentes de detecção de alucinação enfrentam duas limitações primárias:

1. Granularidade: A maioria das abordagens opera no "nível da resposta", avaliando toda a resposta como uma única unidade. Isso é insuficiente para saídas de RAG de formato longo, onde conteúdo fiel e alucinado frequentemente coexistem.
2. Metodologia: Muitos métodos existentes dependem de autoconsistência (exigindo múltiplas gerações) ou verificação de fatos baseada em prompts (exigindo inferência adicional e engenharia de prompt), o que acarreta altos custos computacionais. Além disso, muitos detectores baseados em representação analisam um único estado interno isoladamente, em vez de comparar como o estado do modelo muda quando as referências estão presentes versus ausentes.

O artigo propõe a necessidade de um método de detecção de nível de token que possa localizar conteúdo não fundamentado em saídas mistas e opere como um framework prático, post-hoc, tanto para LLMs de pesos abertos quanto de pesos fechados (baseados em API).

Metodologia: CORTEX

CORTEX (Comparative Observed Reference-based Token-level EXpressions) é um framework de detecção de alucinação post-hoc projetado especificamente para RAG. Ele utiliza um LLM de pesos abertos ($M_{open}$) como um modelo de análise para inspecionar as representações internas de uma resposta gerada, que pode ter sido produzida por um LLM de pesos fechados ($M_{close}$).

O framework opera através de três componentes principais:

1. Representação Delta Induzida por Referência

O CORTEX constrói uma visão contrafactual pareada da mesma resposta sob duas condições:

• Entrada condicionada à referência: $x_{ref} = \text{pergunta} \parallel \text{referências} \parallel \text{resposta}$
• Entrada sem referência: $x_{no-ref} = \text{pergunta} \parallel \text{resposta}$

Ao processar ambas as entradas através de $M_{open}$, o método extrai representações internas de nível de token ($h_i$) para cada token da resposta $t_i$. Ele calcula uma representação delta ($\Delta h_i$) que representa a mudança no estado do token quando as referências são fornecidas:
$$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$$
A intuição é que tokens fiéis exibem mudanças representacionais coerentes quando fundamentados em referências, enquanto tokens alucinados mostram mudanças mais fracas ou incoerentes.

2. Resíduo Contextual Baseado em Atenção

Na geração de formato longo, a influência da referência pode se propagar indiretamente. Um token $t_i$ pode ser fundamentado não por um link direto com a referência, mas pelos tokens precedentes ($t_{<i}$) que foram fundamentados. Depender apenas de $\Delta h_i$ pode classificar incorretamente esses tokens indiretamente fundamentados como alucinações.

Para resolver isso, o CORTEX calcula um resíduo contextual ($c_i$). Ele estima a influência da referência mediada através de tokens precedentes usando pesos de atenção ($\alpha_{ij}^{ref}$) da entrada condicionada à referência:
$$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$$
$$c_i = \Delta h_i - \bar{\Delta h}_i$$
O resíduo $c_i$ isola a mudança específica do token que permanece após considerar a influência propagada pelo contexto, reduzindo falsos positivos para tokens indiretamente fundamentados na referência.

3. Classificação de Nível de Token e Suavização

As características $[\Delta h_i; c_i]$ são alimentadas em um classificador MLP (Perceptron Multicamadas) para produzir um score de alucinação bruto $s_i$.

Para alinhar-se com padrões de anotação humana (onde alucinações costumam aparecer como extensões contíguas em vez de tokens isolados), o CORTEX aplica a Suavização de Persistência de Rótulo como uma etapa de pós-processamento. Isso modela a tendência de rótulos de alucinação persistirem através de tokens vizinhos usando um termo de persistência pareado ($\rho$) e um nível de confiança do token derivado de $s_i$. O score suavizado final é computado via algoritmo forward-backward, reduzindo o ruído local enquanto preserva a granularidade de nível de token.

Principais Contribuições

1. Primeiro Detector de RAG de Nível de Token: Até onde os autores sabem, o CORTEX é o primeiro método de detecção de alucinação de nível de token projetado especificamente para RAG, permitindo a localização fina de conteúdo não fundamentado.
2. Framework Post-Hoc Prático: O método não requer a modificação dos parâmetros do gerador. Ele pode analisar saídas de quaisquer LLMs, incluindo modelos de pesos fechados baseados em API, utilizando um modelo de pesos abertos separado para extração de características.
3. Abordagem de Representação Comparativa: Ao contrário de trabalhos anteriores que analisam estados internos únicos, o CORTEX aproveita o contraste entre as representações internas condicionadas e não condicionadas à referência para isolar sinais induzidos pela referência.
4. Design Contextual e Sensível a Extensões (Span-Aware): A introdução do resíduo contextual aborda a fundamentação indireta, enquanto a suavização de persistência de rótulo alinha as previsões com estruturas de anotação baseadas em extensões (spans).

Resultados Experimentais

Os autores avaliaram o CORTEX em dois benchmarks (RAGTruth e HalluRAG) usando três LLMs (Llama-3.1-8B, Qwen3-8B e Mistral-7B).

• Desempenho de Nível de Token: O CORTEX superou substancialmente cinco baselines (incluindo NLL, SAPLMA, LLM-Check, ICR Probe e RAGLens) em termos de Precisão Média (AP) e AUROC. No RAGTruth, o CORTX alcançou um AP de 0.5940 (Qwen) comparado ao segundo melhor (RAGLens) com 0.4575.
• Desempenho de Nível de Resposta: Embora treinado para detecção de nível de token, o CORTEX alcançou um desempenho competitivo de nível de resposta (usando o valor máximo do score do token como o score da resposta), demonstrando que sinais de nível de token são eficazes para avaliação de confiabilidade global.
• Estudos de Ablação: Remover o resíduo contextual ($c$) ou a etapa de suavização resultou em quedas de desempenho, confirmando que ambos os componentes são necessários para uma detecção robusta. A etapa de suavização mostrou-se amplamente benéfica mesmo quando aplicada a métodos baselines.

Significância e Alegações

O artigo afirma que o CORTEX demonstra a eficácia de comparar representações internas sob diferentes condicionamentos (com vs. sem referências) como um sinal para detecção de alucinação.

• Praticidade: Ao desacoplar o gerador do analisador, o CORTEX oferece uma solução viável para avaliação de confiabilidade em sistemas implantados onde o gerador é uma API de caixa preta.
• Granularidade: Ele aborda a limitação da detecção de nível de resposta ao fornecer um mecanismo para localizar alucinações em tokens específicos, que podem então ser agregados para qualquer granularidade necessária (palavras, sentenças, parágrafos).
• Escopo: Os autores observam explicitamente que o CORTEX é projetado para geração fundamentada em referência. Ele detecta conteúdo não suportado pelas referências fornecidas, o que é crucial para aplicações controladas (ex: suporte empresarial), mas pode sinalizar conhecimento paramétrico útil em cenários de abertura. O artigo não afirma detectar incorreção factual geral independente do contexto fornecido.

Os autores concluem que esses sinais comparativos de representação interna também poderiam servir como base para futuras estratégias de mitigação de alucinação, como modelagem de recompensa para ajuste (tuning) de geradores.