Resumo Técnico: Reasoning Denoiser (REDE)

Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs), como a série o da OpenAI e o DeepSeek-R1, geram extensas trajetórias de raciocínio antes de produzir as respostas finais. Embora essas trajetórias tenham o intuito de aprimorar as capacidades de raciocínio, elas frequentemente introduzem um problema crítico de confiabilidade: a alucinação. Estudos existentes tentaram aproveitar essas trajetórias para a detecção de alucinações, mas essa abordagem é dificultada pela presença de passos de raciocínio ruidosos.

O artigo identifica duas formas prevalentes de ruído nas trajetórias de LRMs:

1. Passos irrelevantes: Passos que não contribuem com informações significativas e específicas do problema.
2. Passos repetitivos: Passos cuja informação é semanticamente redundante porque já foi coberta por passos posteriores na trajetória.

Os autores demonstram que incorporar ingenuamente a trajetória de raciocínio completa em detectores de alucinação degrada o desempenho. Métodos de filtragem padrão, como pontuação baseada em confiança ou filtragem baseada em embeddings ingênua (por exemplo, $k$-NN em embeddings brutos), falham em distinguir de forma confiável entre passos informativos e ruidosos. Os escores de confiança sobrepõem-se fortemente entre os tipos de passos, e os passos repetitivos permanecem semanticamente próximos dos informativos nos espaços de representação bruta.

Metodologia: Estrutura REDE

Os autores propõem o REDE (Reasoning Denoiser), uma estrutura de aprendizado projetada para remover o ruído das trajetórias de raciocínio ao moldar o espaço de representação dos passos. A estrutura opera em três estágios:

1. Sinal de Supervisão: Atenção à Resposta Final

O REDE utiliza o mecanismo de atenção interna do LRM como um sinal de supervisão automático e livre de anotações. A observação central é que o escore de atenção do token da resposta final para cada passo de raciocínio correlaciona-se com a utilidade do passo:

• Passos informativos recebem alta atenção, pois suportam diretamente a resposta final.
• Passos irrelevantes recebem baixa atenção devido à conexão fraca com a resposta.
• Passos repetitivos recebem baixa atenção porque seu conteúdo é subsumido por passos posteriores mais decisivos.

O escore do passo $s_i$ é calculado como a massa total de atenção atribuída pelo token da resposta final aos tokens dentro do passo $c_i$.

2. Aprendizado de um Espaço de Representação Denoised (Sem Ruído)

Em vez de usar os escores de atenção diretamente como um filtro (o que incorre em overhead de inferência e carece de robustez), o REDE aprende uma rede de projeção leve $f_\phi$ para remodelar os embeddings dos passos.

• Extração de Embedding: Os embeddings dos passos são construídos usando a agregação ponderada pela perplexidade dos estados ocultos dos tokens para enfatizar tokens portadores de conteúdo.
• Seleção de Proxy: Durante o treinamento, os passos são classificados por escores de atenção. Os $\rho\%$ superiores formam um conjunto proxy de passos informativos ($\mathcal{T}$), e os $\rho\%$ inferiores formam um conjunto proxy de passos ruidosos ($\mathcal{B}$).
• Função Objetivo: A rede de projeção é treinada para induzir uma estrutura geométrica específica no espaço de embedding usando uma função de perda composta $\mathcal{L}$:
  • $\mathcal{L}_{compact}$: Atrai os passos informativos para formar um cluster compacto.
  • $\mathcal{L}_{disperse}$: Impede que os passos ruidosos se agrupem, mantendo-os como outliers identificáveis.
  • $\mathcal{L}_{separate}$: Afasta os clusters informativos e ruidosos para maximizar a separabilidade global.

3. Filtragem em Tempo de Inferência

Durante a inferência, a rede de projeção mapeia os embeddings dos passos para o espaço aprendido. Um filtro baseado em distância (usando distância de cosseno $k$-NN) identifica passos ruidosos como aqueles com grandes distâncias do cluster informativo denso. Os $\zeta\%$ superiores de passos com os maiores escores de distância são removidos, e a trajetória filtrada é passada para um detector de alucinação subsequente.

Principais Contribuições

1. Identificação de Ruído: O artigo estabelece que passos irrelevantes e repetitivos são um obstáculo significativo e negligenciado para a detecção de alucinação em LRMs, mostrando que a remoção deles gera ganhos substanciais de desempenho.
2. Estrutura REDE: Um novo framework de aprendizado leve que aproveita a atenção da resposta final para moldar o espaço de representação, permitendo a filtragem confiável de passos ruidosos sem necessidade de anotação humana.
3. Generalização e Desempenho: Experimentos extensos demonstram que o REDE é agnóstico ao detector (compatível com métodos de sondagem, baseados em incerteza e verbalizados) e melhora consistentemente o desempenho de detecção em diversos datasets e famílias de modelos.

Resultados Experimentais

Os autores avaliaram o REDE em quatro benchmarks de raciocínio: TruthfulQA, MATH (combinando MATH500, AIME 2024/2025), CodeElo e MULTIHOPQA, utilizando modelos como Qwen3-8B/32B e DeepSeek-R1-Distill-Llama-8B.

• Ganhos de Desempenho: O REDE supera consistentemente as linhas de base competitivas. No benchmark TruthfulQA com Qwen3-8B, o REDE (usando CCS como detector) alcançou um AUROC de 87,32%, uma melhoria significativa em relação à trajetória não filtrada (68,63%) e ao estado da arte como o ARS (81,92%).
• Robustez: O método generaliza bem através de diferentes famílias de LRM e datasets. Testes de transferibilidade entre datasets mostraram que uma projeção aprendida em um dataset (ex: MULTIHOPQA) pode efetivamente remover o ruído de trajetórias de outro (ex: CodeElo).
• Escalabilidade: O REDE permanece eficaz em modelos maiores (Qwen3-32B e DeepSeek-R1-Distill-Qwen-32B), superando as linhas de base por margens de até 13,11% no TruthfulQA.
• Estudos de Ablação:
  • A filtragem direta baseada em atenção tem desempenho inferior ao REDE, confirmando a necessidade de aprender um espaço de representação moldado.
  • A remoção de qualquer componente da função de perda ($\mathcal{L}_{compact}$, $\mathcal{L}_{disperse}$ ou $\mathcal{L}_{separate}$) degrada o desempenho, validando a estratégia de moldagem geométrica.
  • O método é robusto à escolha de métricas de distância e camadas de extração de embedding.

Significância e Alegações

O artigo afirma que a remoção de ruído dos passos de raciocínio é uma estratégia eficaz e geral para melhorar a detecção de alucinação em LRMs. Ao filtrar os passos que obscurecem pistas de veracidade, o REDE permite que os detectores subsequentes operem em um sinal mais limpo e informativo.

Os autores posicionam o REDE como um módulo leve e "plug-and-play" que não requer anotação humana e pode ser integrado em diversos pipelines de detecção. Eles enfatizam que, embora o REDE aumente a confiabilidade, ele é um auxílio de detecção e não uma garantia de veracidade, e não intervém no processo de geração em si. O trabalho sugere que pesquisas futuras devem explorar a integração desses sinais de denoising diretamente no treinamento do modelo para suprimir o ruído na fonte.