Resumo Técnico: ISO: Uma Pilha de Otimização Nativa de RLVR

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards) tornou-se um mecanismo primário para escalar as capacidades de raciocínio de grandes modelos de linguagem (LLMs). No entanto, a camada de otimização responsável por converter o feedback de recompensa em atualizações no espaço de pesos permanece pouco compreendida. As implementações atuais de RLVR herdam amplamente estratégias de otimização (ex: AdamW, Muon) e parametrizações do pré-treinamento, apesar das diferenças estruturais fundamentais entre os dois regimes. O pré-treinamento baseia-se em supervisão densa ao nível do token, enquanto o RLVR adapta políticas capazes usando recompensas esparsas ao nível do resultado.

Análises recentes sugerem que as atualizações de RLVR são esparsas e fora do principal (off-principal), mas os frameworks existentes não separam explicitamente o que é reutilizado do que é reescrito durante a adaptação. Este artigo investiga a "camada ausente" da otimização de RLVR ao analisar a estrutura singular dos pesos do modelo para determinar se as propriedades espectrais do modelo base são funcionalmente necessárias ou meramente incidentais.

Metodologia: Herança Espectral e Otimização Isospectral (ISO)

O artigo introduz a Otimização Isospectral (ISO), um framework construído sobre o princípio da herança espectral. Este princípio postula que o RLVR pode adquirir novos comportamentos modificando os quadros singulares de entrada e saída ($U, V$) das matrizes de peso, enquanto reutiliza o espectro de valores singulares do modelo base ($\Sigma$).

1. Análise de Herança Espectral

Os autores formalizam a observação de que os checkpoints de RLVR não restringidos permanecem próximos à "família de espectro fixo" de seus pesos base.

• Near-Isospectralidade: A análise empírica mostra que a distância entre os pesos aprendidos por RLVR e a família de espectro fixo do modelo base é mínima (aprox. 3% do deslocamento total do checkpoint), significativamente menor do que no Ajuste Fino Supervisionado (SFT).
• Reutilização Funcional: Através de intervenções, os autores demonstram que as pequenas mudanças espectrais observadas no RLVR não restringido não são funcionalmente necessárias.
  • Restauração: Restaurar o espectro base ($\Sigma_0$) após o treinamento enquanto se retêm os quadros aprendidos preserva a maior parte do desempenho adquirido.
  • Treinamento de Espectro Fixo: Manter $\Sigma_0$ fixo durante todo o treinamento e otimizar apenas os quadros ($U, V$) produz ganhos fortes, muitas vezes superando otimizadores padrão de espaço de pesos.
  • Controle Apenas de Espectro: Inversamente, atualizar apenas o espectro mantendo os quadros congelados gera melhorias limitadas.
• Adaptabilidade de Quadros: A análise estrutural revela que, embora o espectro possa permanecer fixo, tanto o quadro de entrada ($V$) quanto o de saída ($U$) devem permanecer adaptáveis. Restringir a adaptação a apenas um subespaço ou remixar apenas dentro dos spans existentes deixa uma parte substancial da mudança do checkpoint inexplicada.

2. O Framework ISO

O ISO operacionaliza essas descobertas como uma pilha de otimização com duas instâncias complementares:

A. ISO-Merger (Offline)

Um método livre de dados para compor especialistas de base compartilhada.

• Mecanismo: Em vez de usar vetores de tarefa euclidianos ou destilação on-policy, o ISO-Merger alinha os quadros singulares de múltiplos especialistas a um espectro base compartilhado. Ele projeta as mudanças de quadro dos especialistas no espaço tangente de Stiefel da base, mascara modos residuais instáveis e os agrega usando uma combinação linear estabilizada por ridge para visar a autoretenção unitária.
• Processo: Projetar $\to$ Mascarar $\to$ Mesclar $\to$ Retrair. O modelo final é reconstruído como $W^* = U^* \Sigma_0 (V^*)^\top$, garantindo que ele pertença à família de espectro fixo.
• Requisito: Não requer dados pós-fusão, rollouts, atualizações de gradiente ou destilação.

B. ISO-Optimizer (Online)

Um método para treinamento de RLVR online que aplica otimizadores padrão às variáveis de quadro.

• Mecanismo: Dado um otimizador base (ex: AdamW, Muon), o ISO-Optimizer aplica a regra de atualização às variáveis de quadro singular ($U, V$) enquanto mantém o espectro base $\Sigma_0$ fixo.
• Fluxo de Gradiente: Os gradientes são computados em relação à matriz de peso reconstruída $W = U \Sigma_0 V^\top$ e retropropagados para $U$ e $V$ via regra da cadeia.
• Viabilidade: Após cada atualização, os fatores são projetados de volta para a variedade de Stiefel usando retração polar (baseada em SVD) para garantir a ortonormalidade.
• Sobrecarga: A retração polar adiciona aproximadamente 7% ao tempo de passo fim-a-fim, o que é não-dominante em sistemas de RLVR onde a geração de rollouts é o gargalo.

Principais Resultados

1. Composição de Especialistas Offline (ISO-Merger)

Experimentos em Qwen2.5-7B e DeepSeek-R1-Distill-Qwen-1.5B fundindo especialistas de codificação, uso de ferramentas e memória mostram:

• O ISO-Merger alcança o melhor desempenho agregado entre os métodos de fusão livres de dados (ex: Task Arithmetic, TIES, OrthoMerge).
• No Qwen2.5-7B, atinge uma pontuação média de 63.80, superando o melhor baseline (62.88).
• No DeepSeek-R1-Distill-Qwen-1.5B, atinge 44.38, superando o melhor baseline (43.52).
• Ele recupera capacidades complementares sem exigir dados de treinamento ou rollouts adicionais.

2. Treinamento de RLVR Online (ISO-Optimizer)

Experimentos em raciocínio matemático (AIME, AMC, Olympiad) e codificação (LiveCodeBench) através de escalas de modelo (1.5B a 8B) mostram:

• Ganhos de Acurácia: O ISO-AdamW alcança consistentemente uma acurácia agregada superior aos baselines padrão de AdamW e Muon.
• Eficiência de Treinamento: O ISO-Optimizer atinge pontuações equivalentes com significativamente menos passos de treinamento.
  • No Qwen3-4B-Base, o ISO-AdamW iguala a acurácia final da melhor execução de AdamW com 2.2$\times$ menos passos.
  • No Qwen3-8B-Base, o ISO-AdamW atinge uma acurácia de 0.495 em 100 passos, enquanto o AdamW padrão requer 270 passos para atingir o mesmo nível (uma redução de 2.7$\times$).
• Generalização: Os benefícios persistem através de diferentes otimizadores (ISO-Muon) e tarefas (codificação vs. matemática), confirmando que a restrição de espectro fixo é um viés indutivo robusto para RLVR.

Significância e Alegações

O artigo afirma fornecer uma resposta concreta para a "camada de otimização ausente" no RLVR. Em vez de herdar o treinamento prévio integralmente, os autores argumentam pela concepção do pós-treinamento em torno da estrutura da adaptação impulsionada por recompensa: herdar o espectro, otimizar os quadros.

As principais contribuições incluem:

1. Formalização da Herança Espectral: Demonstrar que o RLVR funcionalmente reutiliza os espectros de peso do modelo base, uma propriedade distinta do SFT.
2. Pilha Nativa de RLVR: Introduzir o ISO como um framework que unifica a composição de especialistas offline e o treinamento online sob um único princípio de espectro fixo.
3. Eficiência Prática: Mostrar que restringir a otimização à família de espectro fixo melhora a velocidade de convergência e a acurácia final sem expandir a classe de modelo viável, atuando efetivamente como um forte viés indutivo para RLVR.

Os autores enfatizam que o ISO não é meramente um novo otimizador, mas uma reparametrização estrutural que alinha a trajetória de otimização com a geometria intrínseca da adaptação de RLVR, oferecendo um caminho para um pós-treinamento mais eficiente e estável para modelos de raciocínio.