Resumo Técnico: Geometria do Espaço de Pesos no Treinamento de Raciocínio Offline

Declaração do Problema

As perdas de aprendizado por reforço (RL) offline — como RFT, RIFT, DFT, Offline GRPO e DPO — são cada vez mais utilizadas para destilar capacidades de raciocínio de grandes modelos professores para modelos estudantes menores. Embora esses métodos sejam rotineiramente comparados com base na acurácia em benchmarks de downstream, sua distinção mecanística permanece desconhecida. Especificamente, não está claro se diferentes formulações de perda produzem atualizações de pesos qualitativamente distintas ou se elas apenas convergem para direções semelhantes no espaço de pesos. Essa distinção é crítica para profissionais que selecionam funções de perda e para pesquisadores que interpretam se o "RL offline" representa um único mecanismo ou uma família diversificada de abordagens.

Metodologia

Os autores conduziram uma comparação controlada do espaço de pesos de seis métodos de treinamento de raciocínio offline: SFT (Supervised Fine-Tuning), RFT (Reward Fine-Tuning), DFT (Down-weighted Fine-Tuning), RIFT (Reward-Weighted In-Context Fine-Tuning), Offline GRPO e DPO (Direct Preference Optimization).

Configuração Experimental:

• Modelo Base: Qwen3-4B-Instruct.
• Dados: Rollouts matemáticos idênticos gerados por um modelo professor (DeepSeek-V4-Flash) em prompts DeepScaleR (~40k problemas matemáticos verificados). Todos os métodos usaram os mesmos dados, exceto o DPO, que consumiu ~1.8K amostras pareadas (escolhida, rejeitada) derivadas dos mesmos rollouts, enquanto outros usaram ~75K linhas.
• Arquitetura: LoRA aplicado apenas às projeções de atenção (q, k, v, o) com rank 32 e $\alpha=64$ em 144 módulos.
• Protocolo de Treinamento: Hiperparâmetros idênticos (tamanho de lote 32, cronograma de cosseno, 5% de warmup), exceto pelas taxas de aprendizado. Todos os métodos usaram uma taxa de aprendizado de pico (LR) de $5 \times 10^{-6}$, exceto o DPO, que usou $5 \times 10^{-7}$ (uma LR 10$\times$ menor conforme a convenção padrão). O treinamento rodou por 1.500 passos, com resultados reportados no passo 1.000.
• Métricas de Análise: O estudo analisou os deltas de peso LoRA ($\Delta W$) resultantes usando:
  1. Similaridade de cosseno (global e por camada).
  2. Análise de subespaço de ângulo principal (SVD dos 10 vetores singulares superiores).
  3. Conectividade de modo linear (interpolação de deltas e medição de entropia cruzada no GSM8K).
  4. Alinhamento de Kernel Centrado (CKA) de estados ocultos.

Contribuições Principais e Resultados

1. Convergência de Métodos de MLE Ponderados por Recompensa

Os autores descobriram que SFT, RFT e RIFT convergem para deltas de peso quase colineares.

• Geometria: As similaridades de cosseno entre esses métodos são $\ge 0.97$, com ângulos principais de topo em torno de $7^\circ$ (mediana).
• Desempenho: Eles alcançam acurácia no GSM8K estatisticamente indistinguíveis (87–88%, $p \ge 0.15$ via teste de McNemar).
• Implicação: Filtrar amostras negativas (RFT) ou ponderá-las por recompensa (RIFT) não altera a direção da atualização em relação ao SFT puro; isso altera primariamente o tamanho do passo (norma de Frobenius).

2. Divergência do DFT

Apesar de ser uma modificação mínima do SFT (redução de peso de tokens confiantes via um único fator multiplicativo), o DFT produz uma atualização significativamente mais distinta do que qualquer método explicitamente ponderado por recompensa.

• Geometria: O DFT mostra um cosseno de $\sim 0.57$ em relação ao SFT, divergindo mais do que os métodos ponderados por recompensa.
• Desempenho: A acurácia permanece comparável ao SFT/RFT/RIFT, sugerindo que o basin de perda é compartilhado, apesar da mudança direcional.

3. Offline GRPO: Componentes Ortogonais dentro de um Basin

O Offline GRPO introduz um componente substancial ortogonal à direção do SFT, permanecendo dentro do mesmo basin de perda.

• Geometria: Ele adiciona um componente globalmente ortogonal de $\sim 67\%$, subindo para $\sim 86\%$ nas camadas tardias. O cosseno em relação ao cluster SFT é $\sim 0.74$.
• Conectividade: A interpolação linear entre Offline GRPO e SFT/RIFT não mostra barreiras, indicando que eles compartilham o mesmo basin de otimização.
• Desempenho: A acurácia é comparável à de SFT/RFT/RIFT (87.3%).

4. DPO: Um Subespaço Distinto e Pico de Acurácia

O DPO ocupa um subespaço quase ortogonal e atinge a maior acurácia no protocolo do estudo.

• Geometria: O DPO é quase ortogonal a todos os outros métodos (cosseno $\le 0.065$ para SFT/RFT/RIFT). Ele opera em um subespaço de rank efetivo maior (rank $\sim 24.5$ vs. $\sim 16$ para os outros), mas com uma norma de Frobenius muito menor.
• Conectividade: A interpolação linear entre DPO e outros métodos revela uma barreira nítida (aumento não monotônico da perda), indicando basins de solução distintos.
• Similaridade Representacional: O CKA colapsa para $\sim 0.46$ nas camadas tardias, confirmando representações internas distintas.
• Desempenho: O DPO atinge 93.5% no GSM8K e 30.0% no AIME26, superando significativamente todos os outros métodos ($p < 10^{-9}$ no GSM8K).
• Ressalva: Os autores observam que o desempenho superior do DPO está emaranhado com sua LR 10$\times$ menor e o uso de ~40$\times$ menos linhas de treinamento. A lacuna de acurácia não pode ser atribuída puramente à função de perda sem uma comparação com a taxa de aprendizado equalizada.

5. O Papel da Amostragem On-Policy

Uma descoberta crítica envolve a comparação entre Offline GRPO e Online GRPO.

• Offline GRPO (treinado em rollouts fixos) permanece parcialmente alinhado com o SFT (fração ortogonal 0.67).
• Online GRPO (treinado em rollouts on-policy) torna-se quase inteiramente ortogonal ao SFT (fração ortogonal 0.998).
• Conclusão: A convergência direcional observada entre SFT e Offline GRPO é parcialmente um artefato de treinar nos mesmos rollouts fixos. Substituí-los por amostras on-policy quebra essa convergência, empurrando a atualização para um subespaço completamente diferente.

Significância e Alegações

O artigo argumenta que o cenário de "raciocínio offline" não é monolítico, mas consiste em regimes geométricos distintos:

1. Cluster de MLE Ponderado por Recompensa: SFT, RFT e RIFT são mecanisticamente semelhantes, diferindo apenas na magnitude do passo.
2. Desviadores Intermediários: DFT e Offline GRPO deslocam a direção, mas permanecem dentro do mesmo basin de perda do SFT.
3. Regimes Ortogonais: DPO e métodos On-Policy (como Online GRPO) operam em subespaços quase ortogonais com geometrias representacionais distintas.

Os autores enfatizam que, embora o DPO atinja a maior acurácia, este resultado é confundido pelo ajuste do otimizador (especificamente a taxa de aprendizado). Portanto, o artigo não afirma que o DPO é causalmente superior devido à sua função de perda isoladamente, mas sim que ele ocupa um espaço geométrico único que, sob o protocolo específico utilizado, produz melhores resultados. O estudo destaca que o "RL offline" não nomeia um único mecanismo; em vez disso, a escolha dos dados (fixos vs. on-policy) e da função de perda determinam conjuntamente a trajetória no espaço de pesos.

Limitações: O estudo é limitado a um único domínio (matemática), um único checkpoint de modelo base e LoRA apenas para atenção. A comparação com o DPO é reconhecida como imperfeita devido à discrepância da taxa de aprendimento, e uma varredura completa da família contrastiva (IPO, KTO, SimPO) é deixada para trabalhos futuros.