Resumo Técnico: De Traços de Raciocínio a Módulos Reutilizáveis

Declaração do Problema

Pipelines de pós-treinamento que combinam Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL) têm impulsionado recentemente melhorias significativas nas capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). Empiricamente, o SFT isoladamente frequentemente leva a modelos que memorizam traços de raciocínio canônicos "padrão" (golden), mas falham quando solicitados a recombinar etapas familiares de formas não familiares (composições Fora de Distribuição ou OOD). Por outro meio, o SFT seguido de RL lida com tais composições OOD de forma mais confiável. No entanto, o mecanismo subjacente que impulsiona esse sucesso combinado permanece obscuro: especificamente, quais contribuições distintas o SFT e o RL oferecem, e quais configurações de dados são ideais para cada etapa?

Metodologia

Estrutura Teórica: Modelo de Seleção Latente Hierárquica

Os autores formalizam o raciocínio como um Modelo de Seleção Latente Hierárquica. Neste framework:

• Descritor do Problema ($P$): O prompt de entrada induz uma hierarquia de variáveis de seleção latentes discretas.
• Variáveis Latentes ($S$): Estas variáveis selecionam de uma biblioteca de módulos atômicos reutilizáveis:
  • Habilidades (Skills): Operações locais (ex: passos aritméticos, regras de reescrita).
  • Mecanismos de Roteamento (Routing): Decisões sobre como a informação intermediária é selecionada, reutilizada e composta (ex: encaminhamento de saídas anteriores, ramificação).
• Traço Observável ($D$): O traço de raciocínio final é gerado pela cascata dessas seleções.

A hipótese central é que os traços de raciocínio são gerados pela composição desses módulos atômicos. O SFT fornece a matéria-prima (traços contendo esses módulos), enquanto o RL é responsável por decompor esses traços compostos para identificar os módulos latentes e permitir sua recombinação flexível.

Contribuições Teóricas

O artigo estabelece dois resultados teóricos fundamentais:

1. Identificabilidade (Teorema 3.1): Sob condições moderadas (fidelidade, fidelidade de rank, conjuntos de escolha restritos e cobertura de vizinhança), a hierarquia de seleção latente (habilidades e roteamento) é identificável a partir da distribuição observável de traços.
2. Generalização Composicional (Teorema 3.4): Uma vez identificados os módulos, eles podem ser recombinados em novas composições se cada configuração local no novo prompt possuir uma "testemunha local" nos dados de treinamento (ou seja, a interface entre os módulos foi observada durante o treinamento).

Os autores caracterizam ainda os papéis do SFT e do RL através da análise de suporte:

• Limitações do SFT (Proposição 3.2): O SFT em traços canônicos frequentemente deixa os módulos atômicos "emaranhados" com seus contextos específicos porque revela apenas um subconjunto de traços válidos. Eventos locais críticos que desemaranhariam os módulos podem estar fora do suporte do SFT.
• Mecanismo de RL (Proposição 3.3): O RL enriquece a distribuição ao reamostrar rollouts baseados na recompensa. Se um evento local "oculto" (ex: uma escolha de roteamento específica) leva a recompensas mais altas, o RL aumenta sua probabilidade, efetivamente decompondo o traço emaranhado e tornando o módulo atômico identificável.

Configuração Empírica

Para validar essas teorias, os autores conduziram experimentos controlados em tarefas sintéticas de transformação de strings (baseadas em Yuan et al., 2025).

• Habilidades Atômicas: 24 funções determinísticas de transformação de string.
• Mecanismos de Roteamento: 10 definições distintas de estrutura de entrada (determinando qual saída intermediária alimenta o próximo passo).
• Protocolo: Modelos foram treinados em traços de profundidades ($L$) variadas. O estudo interveio sistematicamente na estrutura dos dados para testar:
  • Decomposição de traços compostos em átomos.
  • A necessidade de exposição composicional vs. exposição atômica isolada.
  • A relação de distribuição ideal entre os dados de SFT e RL (sobreposição vs. disjuntos).
• Evidência Suplementar: Análise de modelos de código aberto (Qwen3-4B) em benchmarks matemáticos do mundo real (MATH, AIME) para observar a tokenização de habilidades e a diversidade de n-gramas.

Principais Resultados

1. RL Decompõe e Recombina: Modelos treinados com RL em traços compostos ($L=3$) superaram significativamente os modelos de apenas SFT em composições não vistas ($L=4$ a $L=8$). O RL permitiu que o modelo recuperasse habilidades atômicas e mecanismos de roteamento a partir de traços compostos e os recombinasse para generalização.
2. Traços Compostos são Superiores para RL: Quando o RL foi treinado em módulos atômicos isolados ($L=1$) versus traços compostos ($L=3$), este último rendeu uma precisão OOD significativamente maior (+37,8% de ganho vs. +10,0% de ganho). Isso confirma que a exposição às interfaces de módulos (composições) é crítica para aprender como recombiná-los.
3. A Reinjeção Requer Composição: Quando habilidades atômicas ou roteadores específicos foram retidos do treinamento de RL, o desempenho caiu. Simplesmente reinjetar habilidades atômicas isoladas ($L=1$) não restaurou o desempenho. O desempenho só foi recuperado quando traços composicionais contendo os átomos retidos foram reinjetados, provando que os átomos devem ser aprendidos dentro de um contexto composicional para serem reutilizáveis.
4. Pareamento de Dados Ótimo SFT-RL: A generalização OOD mais forte ocorreu quando as distribuições de dados de SFT e RL eram disjuntas ($C_{SFT} \cap C_{RL} = \emptyset$).
   • Papel do SFT: Deve cobrir todo o inventário de módulos atômicos através de traços composicionais.
   • Papel do RL: Deve focar em novas composições fora do suporte do SFT para impulsionar a exploração e identificar novas interfaces.
   • Dados sobrepostos ($C_{SFT} \supset C_{RL}$) resultaram na mais fraca generalização.
5. Evidência de Modelos Reais: A análise dos modelos Qwen3 mostrou que modelos ajustados por RL exibiram maior diversidade em n-gramas curtos de habilidades (n=2, 3), indicando uma recombinação local mais flexível de passos abstraídos, consistente com o modelo teórico de reutilização modular.

Significância e Alegações

O artigo afirma fornecer uma explicação de variável latente para o sucesso dos pipelines SFT+RL na razão composicional. Sua principal significância reside em:

• Formalizar o Mecanismo: Ir além da observação empírica para um framework teórico onde o SFT fornece "materiais" (traços emaranhados) e o RL realiza a "decomposição" (identificação de módulos latentes via expansão de suporte impulsionada por recompensa).
• Design de Currículo: Oferecer um protocolo concreto para pós-treinamento: o SFT deve garantir a cobertura de todos os módulos atômicos via composições, enquanto o RL deve visar novas composições para explorar novas interfaces.
• Condições de Identificabilidade: Fornecer condições suficientes sob as quais estruturas de raciocínio latentes podem ser recuperadas de dados observados, ligando o sucesso do RL ao enriquecimento de "testemunhas locais" necessárias para a generalização composicional.

Os autores posicionam este trabalho como um passo em direção à compreensão de como os LLMs aprendem a raciocinar de forma composicional, sugerindo que a "caixa preta" do RL é, efetivamente, um mecanismo para descobrir e recombinar unidades atômicas de raciocínio reutilizáveis.