🤖 AI

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

Este artigo apresenta o DiRL, um framework de aprendizado por reforço orientado por direção que distingue entre raciocínio e memorização em grandes modelos de linguagem para guiar a exploração em direção a melhorias genuínas de raciocínio em vez de atalhos memorizados, demonstrando ganhos de desempenho significativos em benchmarks de raciocínio matemático e geral.

Autores originais: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

Publicado 2026-06-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um estudante brilhante, mas ligeiramente confuso (a IA), como resolver problemas matemáticos complexos. Você quer que ele aprenda tentando diferentes abordagens, cometendo erros e descobrindo o que funciona. Isso é chamado de Aprendizagem por Reforço (Reinforcement Learning).

No entanto, há uma armadilha. O estudante tem duas maneiras de aprender:

Raciocínio Verdadeiro: Realmente pensar através dos passos, como "Se eu fizer X, então Y acontece".
Memorização: Apenas lembrar a resposta a uma pergunta específica que já viu antes, ou usar um atalho de sorte que funciona apenas para aquele problema específico.

O Problema: A Armadilha do "Palpite Aleatório"

Os métodos anteriores de ensinar a IA eram como um professor que dizia: "Ótimo trabalho tentando algo diferente!", independentemente do que o aluno fez.

Se o aluno tentasse uma nova maneira inteligente de resolver um problema, o professor o elogiava.
Se o aluno apenas trocasse um número em uma resposta memorizada (por exemplo, mudar "5" para "6" sem entender o porquê), o professor também o elogiava porque parecia "diferente".

O artigo argumenta que isso é ruim. Ao recompensar qualquer diferença, a IA fica preguiçosa e começa a memorizar padrões e atalhos em vez de aprender a realmente pensar. É como um aluno que memoriza o gabarito de um teste prático, mas falha no exame real porque os números são ligeiramente diferentes.

A Solução: DiRL (Aprendizagem por Reforço Sensível à Direção)

Os autores propõem um novo método chamado DiRL. Pense no DiRL como uma bússola inteligente que ajuda o professor a distinguir entre "boas" diferenças e "más" diferenças.

Veja como funciona, usando uma analogia simples:

1. Desenhando o Mapa (A Direção)

Antes do treinamento começar, os pesquisadores observam o cérebro da IA e desenham uma linha em um mapa.

De um lado da linha está o "Raciocínio" (pensar profundamente).
Do outro lado da linha está a "Memorização" (recordar fatos).
Eles descobrem exatamente como o cérebro da IA se parece quando está pensando versus quando está apenas lembrando. Esta linha permanece fixa durante todo o treinamento.

2. A Verificação de "Sensibilidade à Direção"

Cada vez que a IA tenta resolver um problema, o DiRL verifica: "Esta nova tentativa nos moveu para mais perto do lado do 'Raciocínio' no mapa, ou apenas oscilou ao redor do lado da 'Memorização'?"

Cenário A (Bom): A IA tenta um novo caminho lógico. A bússola aponta para o "Raciocínio".
- Resultado: O professor dá um grande bônus. "Excelente! Você está pensando mais profundamente!"
Cenário B (Ruim): A IA tenta um atalho novo que é apenas uma variação de uma resposta memorizada. A bússola aponta para a "Memorização".
- Resultado: O professor a penaliza ou dá uma recompensa menor. "Pare de adivinhar; tente pensar através disso."

3. O Sistema de Recompensa

Nos métodos antigos, a IA recebia uma recompensa apenas por ser "novidade" (diferente). No DiRL, a IA só recebe uma recompensa por ser "novidade na direção certa".

Se a IA cometer um erro, mas usar um processo de raciocínio, ela ainda recebe uma pequena recompensa porque está aprendendo a maneira certa de pensar.
Se a IA obtiver a resposta correta, mas usou memorização, ela recebe uma recompensa menor porque não aprendeu a lógica subjacente.

Por Que Isso Importa

Os pesquisadores testaram isso em problemas matemáticos difíceis (como os encontrados em competições de ensino médio).

O Resultado: A IA treinada com DiRL tornou-se significativamente melhor em resolver problemas que nunca tinha visto antes.
A Prova: Quando os pesquisadores mudaram os números ou o formato dos problemas (tornando a memorização inútil), a IA treinada com DiRL ainda teve um bom desempenho. Isso prova que ela realmente aprendeu a raciocinar, não apenas a memorizar.

A Conclusão

Imagine que você está treinando um cachorro.

Método Antigo: Você dá um petisco ao cachorro toda vez que ele faz algo diferente, mesmo que seja apenas girar em círculos. Eventualmente, o cachorro apenas gira em círculos para ganhar petiscos.
Método DiRL: Você dá um petisco ao cachorro apenas quando ele faz algo diferente que o ajuda a pegar a bola. Você ignora (ou gentilmente corrige) o ato de girar.

O artigo mostra que, ao ser criterioso sobre que tipo de diversidade recompensamos, podemos ensinar a IA a pensar mais como um raciocinador humano e menos como um papagaio.

Resumo Técnico: DiRL – Exploração de Diversidade Sensível à Direção em Aprendizado por Reforço para LLMs

Declaração do Problema
O aprendizado por reforço (RL) tornou-se um paradigma primário para extrair raciocínio complexo de Grandes Modelos de Linguagem (LLMs). No entanto, um desafio central no RL é a exploração: a política deve amostrar trajetórias diversas para evitar o colapso em modos estreitos e subótimos. Métodos de exploração existentes tipicamente incentivam a diversidade em espaços semânticos ou de gradiente sem distinguir a fonte dessa diversidade. Uma trajetória pode parecer nova porque segue um caminho de raciocínio genuinamente novo, ou simplesmente porque varia padrões memorizados e atalhos. As abordagens atuais recompensam ambos os comportamentos igualmente, o que corre o risco de direcionar a exploração para a memorização em vez do aprimoramento do raciocínio genuíno. Mesmo quando as métricas mudam de embeddings semânticos para espaços de gradiente para refletir melhor a dinâmica de otimização, uma atualização nova ainda pode reforçar a memorização em vez de aumentar as capacidades de raciocínio.

Metodologia: Estrutura DiRL
O artigo propõe o DiRL (Direction-Aware Reinforcement Learning), uma estrutura que ancora a exploração a uma "direção de raciocínio-memorização" interna derivada das próprias representações da política. O DiRL integra-se perfeitamente ao algoritmo padrão Group Relative Policy Optimization (GRPO). A metodologia procede através de quatro estágios principais:

Extração da Direção de Raciocínio-Memorização:
Antes do treinamento de RL, o método constrói um vetor de direção fixo $k$ no fluxo residual da política. Isso é alcançado computando a diferença média de ativação entre dois conjuntos de tarefas disjuntos: $D^+$ (tarefas intensivas em raciocínio, ex: matemática de múltiplos passos) e $D^-$ (tarefas intensivas em memória, ex: recuperação factual). Esta direção serve como uma âncora geométrica para distinguir se uma resposta se alinha mais com comportamentos de raciocínio ou de memorização.
Características de Gradiente Ponderadas pela Direção:
Para cada resposta, o DiRL constrói uma característica de gradiente $\Phi^{(i)}$ que resume como a resposta atualizaria a política. Diferente das características de gradiente padrão, estas são ponderadas pelo alinhamento do estado oculto de cada token com a direção de raciocínio $k$ . Tokens que se alinham com o lado do raciocínio recebem pesos maiores, enquanto aqueles que se alinham com a memorização recebem pesos menores. Isso garante que o vetor de característica resultante reflita primordialmente a diversidade no raciocínio, e não na memorização.
Pontuação de Exploração Ancorada no Raciocínio:
A estrutura particiona o grupo de rollouts em dois subgrupos: um subgrupo alinhado ao raciocínio ( $G_R$ ) e um subgrupo alinhado à memorização ( $G_M$ ), baseando-se na projeção dos estados ocultos médios sobre $k$ .
- Para respostas em $G_R$ , a pontuação de exploração mede a novidade em relação a outros pares alinhados ao raciocínio.
- Para respostas em $G_M$ , a pontuação mede a distância das direções de atualização alinhadas ao raciocínio.
  Este design garante que a diversidade seja recompensada apenas quando expande o espaço de caminhos de raciocínio válidos, enquanto variações na memorização são tratadas como menos valiosas ou prejudiciais.
Modelagem de Recompensa Sensível à Direção:
A pontuação de exploração é usada para moldar as recompensas binárias originais. Respostas de raciocínio corretas e alinhadas recebem recompensas amplificadas, enquanto tentativas de raciocínio incorretas recebem penalidades suavizadas (pois ainda contribuem com atualizações direcionais úteis). Inversamente, respostas de memorização corretas e alinhadas recebem recompensas reduzidas para desencorajar atalhos, e respostas de memorização incorretas são penalizadas mais severamente. Essas recompensas moldadas são então alimentadas no cálculo de vantagem padrão do GRPO.

Principais Contribuições

Estrutura DiRL: Introdução de uma estrutura de RL sensível à direção que ancora explicitamente a exploração na distinção raciocínio-memorização, direcionando as políticas para o raciocínio em vez de padrões memorizados.
Mecanismo de Exploração Inovador: Desenvolvimento de um mecanismo que mede a novidade em um espaço de característica de gradiente ponderado pela direção, amplificando seletivamente a exploração alinhada ao raciocínio enquanto suprime variações alinhadas à memorização.
Validação Empírica: Experimentos extensos demonstrando que o DiRL melhora o desempenho em benchmarks de raciocínio matemático e geral comparado ao GRPO padrão e outros métodos de exploração baseados em diversidade.

Resultos Experimentais
Os autores avaliaram o DiRL em backbones Qwen3-1.7B e Qwen3-4B através de múltiplos benchmarks:

Raciocínio Matemático: Em benchmarks incluindo MATH500, AMC, AIME24 e AIME25, o DiRL superou consistentemente os baselines (GRPO, Entropy Bonus, EVOL-RL e G2RL). Por exemplo, no Qwen3-4B, o DiRL alcançou um pass@1 de 83.0 no MATH500 (uma melhoria de +5.6 sobre o GRPO) e 19.6 no AIME24 (uma melhoria de +7.3).
Raciocínio Geral: No GPQA e MMLU-Pro, o DiRL mostrou melhorias consistentes, indicando que os benefícios se estendem além da resolução de problemas matemáticos para capacidades de raciocínio geral.
Generalização e Robustez: Modelos treinados com DiRL demonstraram desempenho superior no GSM-Symbolic e suas variantes perturbadas, sugerindo que os modelos aprenderam procedimentos de raciocínio subjacentes em vez de sofrer overfitting a padrões específicos de benchmarks.
Análise de Rollouts: O DiRL aumentou a proporção de respostas alinhadas ao raciocínio nos rollouts (ex: de 45.8% para 60.0% no Qwen3-4B para AIME25).
Eficiência: O método introduz um overhead computacional mínimo (aumento de aproximadamente 13-18% no tempo de treinamento por passo), pois depende de ativações de passagem direta (forward-pass) e um vetor de direção estático pré-extraído.

Significância e Alegações
O artigo afirma que a exploração eficaz no aprendizado por reforço de LLMs não deve focar meramente em gerar trajetórias diversas, mas em encorajar trajetórias que genuinamente expandam o raciocínio. Ao aproveitar a geometria interna dos LLMs para distinguir entre raciocínio e memorização, o DiRL fornece um mecanismo para guiar o RL em direção a comportamentos de raciocínio mais robustos. Os autores postulam que este trabalho motiva pesquisas futuras em exploração sensível à representação, onde assinaturas internas de modelos são usadas para otimizar a dinâmica de aprendizado. O artigo reconhece limitações, observando que a abordagem atual depende de uma única direção global extraída de dados representativos e que trabalhos futuros poderiam explorar a descoberta de múltiplas dimensões latentes de comportamento de raciocínio.