Resumo Técnico: Otimização de Política Guiada por Estratégia (SGPO) para Raciocínio de LLM

1. Definição do Problema

Os métodos atuais para destilar capacidades de raciocínio de modelos de linguagem grandes (LLMs) fortes para fracos dependem predominantemente de imitação ao nível de trajetória. Seja através de Ajuste Fino Supervisionado (SFT) em trajetórias de especialistas ou otimização de política híbrida, essas abordagens treinam modelos estudantes para reproduzir sequências de soluções específicas geradas por especialistas. O artigo argumenta que esta unidade de transferência de conhecimento é falha: ela incentiva a memorização de padrões específicos de instâncias em vez da aquisição de habilidades de resolução de problemas transferíveis. Consequentemente, modelos treinados desta forma têm dificuldade em generalizar para problemas novos porque aprendem o que responder, em vez de como raciocinar.

O desafio central abordado é como mudar o alvo da destilação de trajetórias de solução concretas para estratégias de resolução de problemas reutilizáveis que expliquem por que passos específicos foram escolhidos, sem exigir que o modelo dependa de dicas externas durante a inferência.

2. Metodologia: Otimização de Política Guiada por Estratégia (SGPO)

Os autores propõem o SGPO, um framework que substitui a imitação de trajetória ao nível da instância pela destilação de estratégia reutilizável. O framework opera extraindo descrições estruturadas de estratégias das respostas de modelos fortes e usando-as para remodelar a distribuição de raciocínio do modelo estudante.

2.1 Componentes Principais

Para cada problema de treinamento $q$, o SGPO constrói dois grupos de trajetórias:

1. Grupo Autônomo: Amostrado da política atual $\pi_\theta(\cdot | q)$.
2. Grupo Guiado por Estratégia: Amostrado de $\pi_\theta(\cdot | q, s)$, onde $s$ é uma descrição concisa de estratégia em linguagem natural (especificando o tipo de problema, abordagem e passos procedimentais) extraída de um modelo forte, mas que não contém computações ou respostas finais.

O framework aborda duas questões fundamentais: Como destilar e Quando destilar.

2.2 Como Destilar: Objetivo Forward-KL ao Nível de Token

Em vez de imitar diretamente a trajetória guiada (o que colapsaria de volta para SFT), o SGPO destila o deslocamento de distribuição induzido pelo condicionamento da estratégia.

• Divergência Forward-KL: O método minimiza a divergência de Kullback-Leibler onde a distribuição guiada pela estratégia é a referência e a distribuição não guiada é o alvo ($D_{KL}(\pi_{guided} || \pi_{unguided})$).
• Seletividade: Ao contrário da Reverse KL, que colapsaria a política em um único modo guiado, a Forward KL incentiva a política não guiada a cobrir o modo guiado enquanto preserva alternativas existentes descobertas através da exploração autônoma.
• Mecanismo: O objetivo concentra naturalmente a pressão de otimização nos tokens onde a distribuição do próximo token muda significamente sob o condicionamento da estratégia (por exemplo, escolhendo um método matemático específico). Estes correspondem a pontos de decisão críticos da estratégia, enquanto tokens linguísticos rotineiros exibem baixa divergência KL. Isso fornece um sinal de destilação seletivo sem exigir anotações explícitas ao nível de token.

2.3 Estabilidade e Eficiência: Restrições Proximais

Para garantir a estabilidade e eficiência do treinamento, o SGPO emprega três níveis de restrições proximais:

1. Nível de Trajetória (Seleção de Alvo Alcançável): Em vez de tirar a média sobre todas as trajetórias guiadas corretas, o método seleciona a única trajetória guiada mais alcançável pela política não guiada atual. Isso minimiza o hiato de distribuição que o modelo deve transpor.
2. Nível de Token (Clipping de KL): Posições de token onde a divergência entre as distribuições guiada e não guiada excede um limiar $\delta$ são mascaradas. Isso evita que posições discrepantes dominem a otimização e causem colapso de entropia.
3. Nível de Instância (Ponderação Adaptativa): Um peso dinâmico $\alpha(q)$ modula a força da destilação com base no benefício marginal do guia estratégico.
   • Se a taxa de acerto autônoma for baixa e a taxa de acerto guiada for alta, $\alpha(q)$ é grande, fortalecendo a orientação.
   • À medida que a competência autônoma do modelo cresce, $\alpha(q)$ diminui, transitando naturalmente o treinamento de melhoria impulsionada por estratégia para otimização autônoma sem necessidade de agendamento manual.

2.4 Objetivo Geral

O loss total combina a Otimização de Política Relativa de Grupo (GRPO) autônoma com o termo de destilação de estratégia proximal:
$$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$$

3. Principais Contribuições

• Mudança de Paradigma: Move a destilação de raciocínio da imitação de trajetórias de solução específicas para a internalização de estratégias de resolução de problemas reutilizáveis.
• Destilação Forward-KL: Introduz um objetivo Forward-KL ao nível de token que transfere seletivamente o conhecimento estratégico ao focar em deslocamentos de probabilidade em pontos de decisão, superando a imitação direta de trajetórias.
• Framework Adaptativo: Propõe uma dinâmica de treinamento onde a força da destilação escala automaticamente com a competência do modelo, eliminando a necessidade de agendamento de currículo manual.
• Escalabilidade Complementar: Demonstra que os benefícios da destilação de estratégia escalam com a capacidade do modelo base, sugerindo que uma competência mínima de raciocínio é necessária para internalizar efetivamente a orientação estratégica.

4. Resultados Experimentais

Experimentos foram conduzidos em quatro benchmarks de raciocínio matemático (MATH500, AMC 23, OlympiadBench, AIME 24) utilizando duas famílias de modelos: Qwen2.5 (1.5B e 7B) e Llama-3.2 (8B).

• Desempenho: O SGPO superou consistentemente as bases fortes, incluindo SFT, RL on-policy (SFT+GRPO) e métodos de política híbrida (HPT, LUFFY).
  • No Qwen2.5-7B-Instruct, o SGPO melhorou a pontuação média em 2.2 pontos sobre a base mais forte (LUFFY) e em 9.9 pontos sobre o modelo base.
  • No Qwen2.5-1.5B-Instruct, a pontuação média melhorou em 6.7 pontos sobre o modelo base.
• Estudos de Ablação:
  • Remover a destilação de estratégia reduziu o desempenho, confirmando o valor da transferência ao nível de estratégia sobre o RL puro.
  • Remover o GRPO autônomo levou ao colapso de entropia e estagnação de desempenho, destacando a necessidade de manter a diversidade de exploração.
  • Remover as restrições proximais causou a maior queda de desempenho (6.8 pontos), indicando seu papel crítico na estabilidade.
• Análise:
  • Seletividade: O sinal Forward-KL atingiu o pico em passos críticos da estratégia (ex: determinar o mínimo múltiplo comum) enquanto permaneceu baixo para tokens rotineiros, ao contrário do declínio monotônico do loss do SFT direto.
  • Escalabilidade: Os ganhos do SGPO foram maiores para modelos base mais fortes, sugerindo que a destilação de estratégia é complementar à competência fundamental de raciocínio.

5. Significância e Alegações

O artigo afirma que transferir conhecimento ao nível da estratégia é uma direção mais eficaz para a destilação de raciocínio do que a imitação ao nível de trajetória.

• Generalização: Ao internalizar como raciocinar (estratégias) em vez de o que responder (trajetórias), os modelos adquirem habilidades transferíveis que generalizam melhor para novos problemas.
• Seletividade Inerente: O objetivo Forward-KL proposto atua como um mecanismo automático para identificar e amplificar tokens críticos da estratégia, removendo a necessidade de anotação manual de passos de raciocínio.
• Eficiência: O mecanismo de ponderação adaptativa garante que os recursos computacionais sejam focados em instâncias onde a orientação estratégica fornece o maior benefício marginal, levando a uma convergência mais rápida e tetos de desempenho mais altos.

Os autores concluem que, embora a melhoria das capacidades de raciocínio possa trazer riscos potenciais, o foco específico no raciocínio matemático apresenta risco direto mínimo, e o framework oferece um caminho robusto para aumentar o raciocínio de LLMs através da destilação de estratégia.