Resumo Técnico: Profundidade de Raciocínio e Complexidade do Ambiente em RLVR

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma central para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs), particularmente em matemática, geração de código e tarefas de STEM. No entanto, estudos existentes frequentemente tratam o "espaço de raciocínio" através de uma lente estreita, definindo a dificuldade exclusivamente pela profundidade de raciocínio (o comprimento da cadeia de raciocínio) e focando os sinais de recompensa principalmente no rastreamento de estado dedutivo para frente.

Este artigo identifica duas lacunas críticas na pesquisa atual de RLVR:

1. Dificuldade Simplificada em Excesso: A dificuldade não é meramente uma função do comprimento da cadeia. Um modelo pode falhar porque o caminho de raciocínio é longo (profundidade) ou porque o caminho correto está obscurecido por distratores e estruturas interagentes (complexidade do ambiente).
2. Formas de Raciocínio Limitadas: A maioria dos pós-treinamentos visa tarefas dedutivas para frente, negligenciando outras formas lógicas centrais, como raciocínio abdutivo (recuperação de causas ocultas), indutivo (extração de regras) e analógico (transferência de padrões).

As perguntas de pesquisa centrais são:

• PQ1: Como os exemplos de treinamento de RL devem ser alocados entre a profundidade de raciocínio e a complexidade do ambiente?
• PQ2: Diferentes famílias de raciocínio lógico comportam-se uniformemente sob pós-treinamento de RLVR?

Metodologia

Para isolar os efeitos da distribuição de dados de confusões do pré-treinamento, os autores construíram um ambiente de raciocínio controlado sintético de Grafo de Conhecimento (GC).

1. Mundo de GC Controlado

O ambiente é definido por um grafo $G = (P, O, E_{dyn}, E_{stat}, s_0)$, compreendendo:

• Componente Dinâmico: Uma sequência temporal de eventos que afetam os estados dos objetos (propriedade, posse, integridade).
• Componente Estático: Relações de parentesco fixas entre pessoas.
• Eixos de Dificuldade:
  • Profundidade de Raciocínio ($D$): O número de eventos de operação dinâmica na cadeia causal do objeto-alvo ($D \in \{1, \dots, 10\}$).
  • Complexidade do Ambiente ($T$): Um parâmetro estrutural que controla distratores, incluindo o número de cadeias paralelas, cruzamento de entidades e frequência de troca ($T \in \{1, \dots, 6\}$).

2. Famílias de Tarefas

Quatro tarefas de raciocínio distintas são instanciadas a partir do mesmo grafo:

• Dedutivo: Rastreamento para frente de eventos observados até um estado consultado.
• Abdutivo: Inferência para trás para recuperar um evento ausente ou fato inicial consistente com os estados observados.
• Indutivo: Inferência de uma regra de relação compartilhada a partir de exemplos de suporte (componente estático).
• Analogia: Transferência de um padrão relacional de um par de entidades para outro (componente estático).

3. Protocolo de Treinamento e Avaliação

• Modelo: Um modelo decodificador-only estilo Qwen2.5 com 107M de parâmetros treinado do zero.
• Pré-treinamento: Realizado em profundidade rasa ($D \in \{1..4\}$) e baixa complexidade ($T \in \{1, 2\}$) para estabelecer uma linha de base de raciocínio sem exposição a regiões mais difíceis.
• Pós-treinamento (RL): Otimização de Política Relativa em Grupo (GRPO) é aplicada usando 15 "receitas" de dados distintas que variam a cobertura sobre a grade $D \times T$.
  • Orçamento: Fixado em 220k tarefas por receita.
  • Mistura de Tarefas: 140k Dedutivas, 60k Abdutivas, 10k Indutivas, 10k Analógicas.
• Avaliação: Correção estritamente verificada por processo ($m_P \land m_A$) em uma grade de 60 células (4.800 grafos). As métricas incluem Ganho Único (SG) (melhoria em pass@1) e Ganho de Teto (CG) (melhoria em pass@128).

Principais Descobertas

1. Cobertura Conjunta Profundidade–Complexidade Supera Receitas de Eixo Único

• Descoberta: Distribuições de dados que cobrem conjuntamente tanto a profundidade de raciocínio quanto a complexidade do ambiente (ex: Mistura-Rasa, Cobertura-Completa) produzem ganhos mais robustos e amplos do que receitas focadas em apenas um eixo (ex: Profundidade-Uniforme ou Cmplx-Uniforme).
• Mecanismo: Receitas de eixo único recompensam apenas uma demanda (ou cadeias longas ou seleção de distratores). A cobertura conjunta recompensa ambas, impedindo que o modelo se sobreajuste a um tipo de dificuldade enquanto falha no outro.
• Observação: O raciocínio dedutivo beneficia-se mais da cobertura de profundidade, enquanto o raciocínio abdutivo não mostra preferência clara por eixo, mas requer cobertura de ambos para generalizar.

2. Famílias de Raciocínio Exibem Comportamento Não Uniforme

• Descoberta: Tarefas de raciocínio não são alvos intercambiáveis. Elas se agrupam em dois pares de correlação distintos: (Dedutivo, Abdutivo) e (Indutivo, Analogia).
• Fragilidade Abdutiva: O raciocínio abdutivo é altamente sensível à distribuição. Ele generaliza mal fora da região de treinamento específica e pode até mesmo degradar (CG negativo) quando treinado em dados que não cobrem a distribuição relevante de raciocínio inverso.
• Colapso de Modo na Analogia: Tarefas de analogia exibem um fenômeno de "colapso de modo" onde o RL afina um padrão de mapeamento dominante, melhorando significativamente o pass@1 (SG), mas falhando em expandir o teto de raciocínio amostrado (baixo CG).
• Validação no Mundo Real: A avaliação de modelos de fronteira prontos (ex: Kimi-K2.6, GPT-5.4, DeepSeek-R1) reproduz a assimetria dedutivo-sobre-abdutivo, confirmando que a fragilidade do raciocínio abdutivo não é um artefato da configuração controlada, mas uma limitação geral nos LLMs atuais.

3. Mistura Uniforme Supera Currículos em Etapas

• Descoberta: Sob um orçamento fixo de pós-treinamento, a mistura uniforme de dados através da grade-alvo supera currículos em etapas (ex: Fácil para Difícil).
• Mecanismo: Transições de currículo introduzem custos de "esquecimento" e adaptação. Atualizações em novos blocos mais difíceis podem sobrescrever o suporte para blocos anteriores. Sem um orçamento grande o suficiente para re-estabilizar o conhecimento anterior, o viés de recência do SGD leva a quedas de desempenho global em comparação com a mistura uniforme.

Significado e Alegações

O artigo argumenta que a alocação de dados de RLVR é um problema de otimização multidimensional, não meramente uma questão de escalonamento escalar de dificuldade.

• Implicação de Design: O pós-treinamento eficaz requer cobertura estruturada do espaço de raciocínio. Simplesmente aumentar o comprimento da cadeia (profundidade) é insuficiente; os modelos também devem ser expostos a ambientes complexos com distratores para aprender a seleção de estrutura relevante.
• Especificidade da Tarefa: Diferentes formas de raciocínio exigem estratégias de dados distintas. O raciocínio abdutivo, em particular, exige cobertura direta da distribuição-alvo em vez de depender de transferência de tarefas dedutivas.
• Cautela com Currículos: Embora currículos sejam teoricamente atraentes, o artigo sugere que, sob orçamentos fixos de computação, a mistura uniforme é um padrão mais confiável do que o agendamento em etapas, pois os custos de esquecimento frequentemente superam os benefícios do andaime.

O estudo conclui que a lacuna "dedutivo-sobre-abdutivo" observada em modelos de última geração é uma característica fundamental das dinâmicas atuais de treinamento de RLVR, sugerindo que futuros modelos de raciocínio devem priorizar a cobertura de dados estruturada e multidimensional para alcançar capacidades lógicas robustas.