Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

Resumo Técnico: Paradoxo das Recompensas Espúrias: Compreendendo Mecanisticamente como o RLVR Ativa Atalhos de Memorização em LLMs

Declaração do Problema
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), particularmente em domínios determinísticos como a matemática. A suposição prevalecente é que os ganhos de desempenho decorrem da otimização de políticas de raciocínio robustas via supervisão de verdade fundamental (ground-truth). No entanto, observações empíricas recentes desafiam essa narrativa. Modelos como o Qwen2.5-Math demonstraram melhorias significativas de desempenho em benchmarks padrão (ex: MATH-500, AIME) mesmo quando treinados com "recompensas espúrias" — sinais que são aleatórios, baseados em formato ou inteiramente incorretos. Embora trabalhos anteriores tenham sugerido que esses ganhos poderiam resultar de contaminação de dados (memorização de conjuntos de teste durante o pré-treinamento), uma lacuna crítica permanecia: se os dados já estavam presentes, por que a precisão inicial era limitada, e como o treinamento com recompensas incorretas paradoxalmente desbloqueia esse desempenho? Este artigo investiga os mecanismos internos pelos quais o RLVR espúrio desencadeia uma mudança do raciocínio geral para uma "memorização obstinada".

Metodologia
Os autores empregam um conjunto de ferramentas de interpretabilidade mecanística para dissecar a dinâmica de aprendizado do modelo Qwen2.5-Math-7B sob treinamento de RLVR espúrio. A metodologia combina análises estáticas e dinâmicas:

1. Análise de Perplexidade: O estudo rastreia a perplexidade dos tokens de resposta versus os tokens de prompt para identificar anomalias macroscópicas de aprendizado.
2. Patching de Caminho (Path Patching): Para atribuir causalmente as saídas a componentes específicos do modelo, os autores trocam ativações entre amostras de "Vazamento" (Leakage — onde a memorização está ativa) e amostras "Estáveis" (onde o raciocínio é mantido) através de diferentes camadas. Isso isola as arestas no grafo computacional responsáveis por desencadear a recuperação da memória.
3. Logit Lens & Divergência de Jensen-Shannon (JSD): Estas ferramentas são usadas para monitorar a emergência de tokens camada a camada e quantificar o alinhamento entre os estados ocultos intermediários e a distribuição de saída final. Pontuações altas de JSD indicam computação significativa remanescente antes do modelo se comprometer com uma resposta.
4. Equações Diferenciais Neurais (NDEs): As atualizações do fluxo residual são modeladas como uma trajetória contínua ($dx(t)/dt = F_\theta(x(t))$). Isso permite a identificação matemática de "pontos de bifurcação" onde as trajetórias de memorização e raciocínio divergem no espaço latente.
5. Intervenção Mecanística: Os autores realizam o direcionamento causal (causal steering) escalando as chaves (keys) de neurônios específicos de MLP identificados como críticos para o circuito de memorização. Isso testa a suficiência causal desses neurônios para ativar ou suprimir o atalho.

Principais Contribuições e Descobertas

1. O Paradoxo da Perplexidade
O estudo identifica um "Paradoxo da Perplexidade" único para modelos que exibem ganhos de RLVR espúrio. Em conjuntos de dados contaminados, a perplexidade do modelo nos tokens de resposta diminui significativamente, enquanto a perplexidade no lado do prompt (coerência) degrada-se. Essa divergência sugere que o modelo está contornando o raciocínio geral para recuperar diretamente soluções memorizadas, sacrificando a qualidade da modelagem de linguagem no input para minimizar a perda no output.

2. Descoberta do Circuito Âncora–Adaptador (Anchor–Adapter)
Através da análise mecanística, os autores localizam um circuito anteriormente desconhecido responsável por este comportamento, consistindo em dois componentes distintos:

• Âncora Funcional (Camadas 18–20): Estas camadas intermediárias atuam como o gatilho decisivo. O path patching e a análise de NDE revelam que a "força de separação" entre amostras de vazamento e estáveis atinge o pico aqui. É onde o modelo decide causalmente recuperar uma resposta memorizada e injetar um token de gatilho de alta probabilidade.
• Adaptadores Estruturais (Camadas 21+): As camadas subsequentes passam por uma reorganização drástica de pesos (alto JSD em $W_{up}$ e $W_{gate}$) não para armazenar novo conhecimento, mas para transformar a representação interna para acomodar o sinal da Âncora Funcional. Estas camadas atuam como adaptadores que rotacionam o espaço de características para alinhar-se com a solução memorizada.

3. Validação Empírica de Contaminação
Estudos de ablação confirmam que este circuito é dependente do conjunto de dados. Resetar as camadas da Âncora Funcional para os pesos do modelo base causa uma queda significativa na precisão em benchmarks contaminados (ex: MATH-500), enquanto deixa o desempenho em conjuntos de dados limpos e livres de vazamento (ex: LiveMathBench) amplamente inalterado. Inversamente, manipular estas camadas tem impacto mínimo em amostras "Estáveis" que dependem de raciocínio genuíno, indicando que as capacidades de raciocínio geral estão distribuídas pela rede e não dependem criticamente deste circuito específico.

4. Direcionamento Causal via Intervenção de MLP
Os autores demonstram que escalar as chaves de neurônios de MLP específicos dentro do circuito identificado permite o direcionamento causal bidirecional.

• Amplificação: Aumentar o fator de escala aumenta artificialmente a dependência do modelo de dados contaminados, recuperando o desempenho mesmo em amostras onde o modelo base falhou.
• Supressão: Diminuir o fator de escala suprime o atalho, revelando o desempenho base subjacente do modelo.
  Isso fornece evidência causal definitiva de que estes neurônios são o mecanismo para a ativação do atalho. Além disso, uma intervenção "controlada por sonda" (probe-gated) é proposta, que suprime seletivamente o circuito apenas quando uma sonda de vazamento detecta uma alta probabilidade de contaminação, auditando eficazmente ganhos suspeitos sem prejudicar o desempenho em novos benchmarks.

Significância e Alegações
O artigo afirma fornecer a primeira explicação mecanística de como sinais de RLVR espúrios reconfiguram fisicamente a arquitetura interna de um LLM para favorecer a memorização em vez do raciocínio. Ao identificar o circuito "Âncora–Adaptador" e o "Paradoxo da Perplexidade", os autores oferecem um roteiro para:

• Distinguir Capacidade de Contaminação: Fornecer ferramentas para diferenciar a generalização de raciocínio genuíno da recuperação de dados pré-memorizados.
• Mitigar a Contaminação de Dados: Demonstrar que intervenções específicas podem suprimir o desempenho impulsionado pela contaminação sem retreinamento, oferecendo um método para "descontaminar" modelos post-hoc.
• Melhorar a Segurança do RLVR: Destacar a vulnerabilidade do RLVR à otimização via atalhos, sugerindo a necessidade de funções de recompensa mais sofisticadas e benchmarks de avaliação resistentes ao vazamento.

Os autores mantêm uma postura modesta, enquadrando suas descobertas como evidência de um mecanismo específico dentro da família Qwen operando em dados contaminados, em vez de uma lei universal para todos os LLMs. Eles enfatizam que seu trabalho serve como uma ferramenta de diagnóstico para aumentar a transparência e a segurança de sistemas de IA implantados em domínios críticos.