Resumo Técnico: Drop the Act: RL com Filtro de Sonda para Raciocínio de Cadeia de Pensamento Fiel

Declaração do Problema

Modelos de raciocínio atuais treinados com Aprendizado por Reforço (RL), particularmente a Otimização de Política Relativa em Grupo (GRPO), exibem uma lacuna sistemática entre sua tomada de decisão interna e sua saída gerada. Esses modelos frequentemente "comprometem-se" com uma resposta internamente no início do processo de raciocínio, mas continuam gerando etapas que parecem deliberativas, embora não contribuam para a correção. Os autores denominam esse fenômeno teatro de raciocínio.

Esse comportamento incorre em três custos principais:

1. Ineficiência: Desperdiça tokens de inferência, inflando custos em implantações de agentes.
2. Poluição da Interpretabilidade: Introduz sinais espúrios no treinamento com recompensa de processo e obscurece o cálculo real realizado pelo modelo.
3. Déficit de Fidelidade: A cadeia de pensamento (CoT) deixa de refletir fielmente o caminho de raciocínio que levou à resposta.

Trabalhos diagnósticos existentes identificaram essa lacuna, mas o ajuste padrão de recompensas em RL não consegue abordá-la, pois os verificadores (por exemplo, correspondentes de strings, executores de código) veem apenas a resposta final, e não o ponto de compromisso interno ou a fidelidade das etapas intermediárias.

Metodologia: ProFIL (Aprendizado por Reforço com Filtro de Sonda)

Os autores introduzem o ProFIL, uma extensão plug-and-play para o GRPO projetada para suprimir o teatro de raciocínio sem anotação humana. A ideia central é que o "verificador" necessário para detectar etapas pós-compromisso já existe dentro das ativações internas do modelo.

1. Geração de Rótulos (Resposta Forçada)

Para treinar um detector de teatro, os autores geram rótulos em nível de etapa sem intervenção humana:

• Em cada limite de etapa de uma cadeia de raciocínio, insere-se um prompt de resposta forçada, pedindo ao modelo que forneça uma resposta final baseada apenas no raciocínio gerado até aquele momento.
• A primeira etapa em que essa resposta forçada corresponde à verdade fundamental (verificada pelo verificador padrão da tarefa) é definida como o ponto de compromisso ($c$).
• Todas as etapas ocorrendo após $c$ são rotuladas como performativas (teatro).

2. A Sonda de Base Congelada

Uma sonda de atenção multi-cabeça é treinada uma única vez no modelo base congelado ($\pi_{base}$) usando os rótulos de resposta forçada.

• Arquitetura: Um mecanismo de atenção multi-cabeça com portão (semelhante ao RLFR) que recebe ativações do fluxo residual projetadas por LayerNorm de camadas específicas ($\ell_1, \ell_2$) da base congelada.
• Treinamento: A sonda é treinada para prever o rótulo de performatividade (0 para fiel, 1 para performativo) usando Entropia Cruzada Binária (BCE).
• Estabilidade: Crucialmente, a sonda é treinada na base congelada e depois congelada. Ela não é atualizada durante o treinamento por RL da política ($\pi_\theta$). Isso previne o modo de falha de "obscurecimento por RL", onde uma política aprende a esconder seu comportamento de um monitor dinâmico.

3. O Filtro de Sonda no GRPO

Durante o treinamento do GRPO, para cada prompt, $K$ trajetórias (rollouts) são amostradas. Antes do cálculo da vantagem:

1. A sonda congelada calcula uma pontuação de performatividade por etapa para cada trajetória usando as ativações da base congelada.
2. A pontuação média de performatividade ($\bar{p}$) para a trajetória é calculada.
3. Se $\bar{p} \geq \tau$ (um hiperparâmetro de limite), a recompensa e a vantagem da trajetória são zeradas.
4. Essas trajetórias filtradas contribuem zero para a atualização do gradiente, ensinando efetivamente à política a parar de gerar etapas assim que o compromisso interno for detectado.

Contribuições Principais

• Método Alinhado ao Objetivo: O ProFIL é uma única extensão ao GRPO que simultaneamente suprime a elaboração pós-compromisso, aumenta a fração fiel das cadeias e reduz o comprimento da cadeia, tudo enquanto preserva ou melhora a precisão da tarefa.
• Generalidade: O método demonstra ganhos consistentes em quatro domínios diversos de raciocínio (GSM8K, LiveCodeBench, ToolUse, MMLU-Redux) e duas arquiteturas de modelo (Llama-8B, Qwen-7B).
• Mecanismo Anti-Gaming: Ao treinar a sonda em uma base congelada, o sistema resiste ao modo de falha de obscurecimento por RL. O modelo aprende a suprimir o próprio teatro, em vez de aprender a deslocar suas ativações para evadir a sonda. A sonda mantém um AUROC de 1,000 no LiveCodeBench durante todo o treinamento.
• Compressão Semântica vs. Comprimento: O artigo isola o mecanismo como detecção de compromisso semântico. Uma linha de base de penalidade de comprimento correspondida na verdade aumentou a performatividade, provando que a simples redução de tokens não é o mecanismo operante.
• Artefatos: Os autores liberam pesos da sonda, configurações de treinamento e caches de trajetórias para todos os quatro domínios.

Resultados Experimentais

Em quatro domínios, o ProFIL alcançou o seguinte:

• Supressão de Teatro: Reduziu a razão de performatividade (fração de etapas pós-compromisso) em 11% a 100%.
  • GSM8K: ~100% de redução (0,006 $\to$ 0,000).
  • LiveCodeBench: 72% de redução (0,267 $\to$ 0,076).
  • ToolUse: 11% de redução (0,527 $\to$ 0,468).
  • MMLU-Redux: 50% de redução (0,016 $\to$ 0,008).
• Fidelidade: Aumentou a "fração fiel" (cadeias com baixa performatividade). Notavelmente, no ToolUse, a fração fiel subiu de 0,029 para 0,147 (um ganho de 5x).
• Precisão: A precisão da tarefa foi preservada ou melhorada em todos os casos.
  • GSM8K: +5,2 pontos percentuais (pp).
  • LiveCodeBench: +7pp (pico em amostragem@1).
  • MMLU-Redux: Paridade exata.
• Verificação Independente: Um juiz independente Claude 3.7 Sonnet, usando uma rubrica de fidelidade em linguagem natural sem acesso às pontuações da sonda, confirmou um aumento de +24pp na fração fiel no LiveCodeBench.
• Comprimento da Cadeia: As cadeias foram encurtadas em 4–19% sem perda de precisão.

Significado e Alegações

O artigo afirma que o ProFIL demonstra uma receita geral para otimizar objetivos não verificáveis (como fidelidade) no pós-treinamento. Ao aproveitar as próprias representações internas do modelo (lidas uma vez em uma base congelada), cria-se um sinal de treinamento estável e sem anotação que o verificador externo não pode ver.

Os autores argumentam que o teatro de raciocínio é um "ritual aprendido de confiança"—uma performance post-hoc que o modelo anexa a problemas que já sabe como resolver. O ProFIL não suprime incerteza ou autocorreção (que ocorrem pré-compromisso); em vez disso, ele colapsa o modo de alto teatro, forçando o modelo a parar de gerar assim que a resposta é internamente comprometida. Isso resulta em cadeias de raciocínio que refletem mais de perto o cálculo real, aprimorando a auditabilidade e a interpretabilidade, ao mesmo tempo que reduz os custos de inferência.