Consolidating Rewarded Perturbations for LLM Post-Training

Resumo Técnico: Consolidando Perturbações Recompensadas para Pós-treinamento de LLMs

Declaração do Problema
O pós-treinamento de grandes modelos de linguagem (LLMs) é tipicamente formulado como um loop de amostragem-pontuação-atualização implementado via gradiente descendente (ex: PPO, GRPO). Uma alternativa recente, RandOpt (Gan e Isola, 2026), desloca esse processo para o espaço de pesos. Em vez de atualizar os pesos via gradientes, o RandOpt amostra perturbações gaussianas em torno de um modelo pré-treinado, pontua-as em um conjunto de suporte e faz o ensemble dos $K$ especialistas mais recompensados durante a inferência. Embora seja competitivo com métodos baseados em gradiente sob computação equivalente, essa abordagem incorre em custos significos de inferência ($K$ passagens para frente por exemplo) e tem dificuldade em se estender para tarefas de geração de texto livre, onde a votação categórica é inaplicável. A questão central abordada por este artigo é se a "população recompensada" de perturbações pode ser incorporada em uma única atualização de modelo implantável, substituindo assim o ensemble em tempo de inferência por uma única atualização de peso consolidada.

Metodologia: CoRP (Consolidating Rewarded Perturbations)
Os autores propõem o CoRP, um operador livre de gradiente que consolida uma população de perturbações recompensadas em uma única atualização de peso. O método é construído sobre duas percepções primárias derivadas de uma análise de divisão de metades (split-half) de 25 pares modelo-tarefa:

1. Estrutura de Baixo Posto (Low-Rank): A busca aleatória impulsionada por recompensa em torno de um modelo base concentra a variância útil em um subespaço de baixo posto reproduzível em todos os casos examinados, embora uma direção média única nem sempre seja reproduzível.
2. Compatibilidade vs. Utilidade: Perturbações de alta recompensa frequentemente atuam como "especialistas quase ortogonais". A média ingênua ponderada pela recompensa falha porque combina direções incompatíveis, fazendo com que o modelo cancele sinais úteis.

O CoRP aborda esses desafios através de um processo de três estágios, livre de gradiente:

1. Geração de Candidatos Ponderada pela Recompensa:
   O método primeiro seleciona o quantil superior de $q$ das perturbações com base nos scores de recompensa. Ele computa uma direção provisória ($m^{(1)}$) como a média ponderada pela recompensa dessas perturbações de elite. Este passo identifica direções úteis, mas ainda não garante que elas sejam compatíveis entre si.

2. Reponderação Consciente de Compatibilidade:
   Para evitar que sinais incompatíveis se cancelem, o CoRP repondera as perturbações de elite com base em seu alinhamento com a direção provisória e sua dispersão ortogonal.

   • Alinhamento ($a_i$): Mede o quão fortemente uma perturbação suporta a direção proposta.
   • Dispersão ($d_i$): Mede o quanto da perturbação reside ortogonal à proposta.
     Os pesos finais ($w^{(2)}_i$) combinam a recompensa original com penalidades para alta dispersão e bônus para alto alinhamento. Isso garante que a atualização consolidada preserve a estrutura compartilhada enquanto suprime variações incompatíveis.

3. Validação e Iteração:

   • Portão de Retenção (Held-Out Gate): Para evitar o overfitting ao conjunto de suporte, o CoRP utiliza uma estratégia de validação de dobra dividida (split-fold). Uma atualização candidata só é aceita se demonstrar um ganho de acurácia positivo em uma dobra de validação retida (Fold B) com um limite inferior de confiança estatisticamente significativo.
   • Calibragem de Sonda (Probe Calibration): Um conjunto de sonda separado (Fold P) é usado para calibrar o tamanho do passo ($\eta$) da atualização.
   • Iteração: Se uma atualização for aceita, o processo pode iterar. Novas perturbações são amostradas em torno do novo centro usando uma distribuição adaptativa de covariância que concentra a exploração em direções onde as populações recompensadas anteriores variaram, mantendo um piso isotrópico para cobertura.

Principais Contribuições

• Descoberta de Estrutura de Baixo Posto Reproduzível: O artigo demonstra que, através de 25 pares modelo-tarefa diversos (abrangendo de 0.5B a 8B parâmetros e tarefas de matemática, código e escrita), as perturbações recompensadas compartilham consistentemente uma estrutura de baixo posto, mesmo quando uma única direção média não existe.
• Operador CoRP: A introdução de um operador de consolidação livre de gradiente que consolida com sucesso uma população de perturbações recompensadas em um único modelo. Ele separa explicitamente a identificação de direções "úteis" da avaliação de "compatibilidade", uma distinção frequentemente negligenciada no model merging ingênuo.
• Eficiência: O CoRP alcança desempenho comparável a grandes ensembles com uma única passagem para frente na inferência, eliminando o custo de inferência de $K$ passagens de métodos como o RandOpt.

Resultados Experimentais
Os autores avaliaram o CoRP em cinco modelos ajustados por instrução (variantes Qwen2.5, OLMo3, Llama3.1) em cinco tarefas (Countdown, GSM8K, OlympiadBench, ROCStories, MBPP).

• Desempenho: O CoRP melhora o modelo base em uma média de 8.1 pontos em todas as tarefas.
• Comparação com RandOpt: Usando apenas 1/10 do orçamento de perturbação do RandOpt (500 vs. 5000 amostras), o CoRP supera o RandOpt de inferência única (K=1) em 6.5 pontos. Além disso, recupera mais da metade do ganho alcançado pelo ensemble de votação majoritária de 50 passagens (RandOpt K=50) enquanto requer apenas uma passagem para frente por exemplo de teste.
• Comparação com Métodos Baseados em Gradiente: O CoRP é competitivo com PPO e GRPO quando a computação de treinamento é equiparada, muitas vezes superando-os em tarefas específicas (ex: ROCStories) enquanto evita o overhead computacional de backpropagation através do modelo de linguagem.
• Análise de Erro: A decomposição dos resultados mostra que os ganhos do CoRP vêm de correções genuínas de raciocínio (corrigindo o conteúdo da resposta) e não apenas de correções de formato, e ele reduz significativamente as "regressões" (casos em que o modelo base estava correto, mas a atualização o tornou incorreto) em comparação com a seleção de uma única melhor perturbação.

Significância e Alegações
O artigo afirma que o "vizinhança recompensada" de um modelo bem pré-treinado contém estrutura compartilhada suficiente para ser incorporada em um único modelo, mesmo quando não existe uma única direção que resuma toda a população. Ao fechar o loop no espaço de pesos — movendo-se de amostragem de perturbações para a consolidação em uma atualização implantável — o CoRP oferece uma alternativa prática ao pós-treinamento baseado em gradiente. Ele demonstra que é possível alcançar melhorias substanciais de alinhamento e raciocínio sem backpropagation, utilizando um único modelo que é eficiente para implantação.

Os autores mantêm a modéstia quanto às limitações, observando que o CoRP atualmente requer recompensas verificáveis (limitando-o a tarefas com saídas categóricas ou facilmente verificáveis) e que a lacuna para ensembles completos é maior em modelos menores, onde os especialistas podem ser mais disjuntos. Eles sugerem que trabalhos futuros poderiam combinar amostragem no espaço de pesos com amostragem no espaço de trajetória (como usado em RLVR) para expor diferentes facetas das capacidades pré-treinadas.