Resumo Técnico: SALT – Subspace-Adaptive Geometry Plug-in para Otimização de Política Baseada em Grupos

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se uma abordagem padrão para aumentar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), particularmente através da Otimização de Política Relativa ao Grupo (GRPO). O GRPO melhora a escalabilidade ao substituir a rede crítica por normalização relativa ao grupo, amostrando múltiplos rollouts ($G$) por prompt para construir sinais de aprendizado.

No entanto, o artigo identifica uma ineficiência estrutural crítica: simplesmente aumentar o número de rollouts não fortalece o aprendizado de forma confiável. Os autores diagnosticam que, sob a normalização de grupo do estilo GRPO, as características do gradiente da política por rollout tendem a se concentrar em uma geometria de sinal de baixo posto (low-rank).

• Cancelamento de Sinal: Quando as vantagens são normalizadas dentro de um grupo, elas somam zero. Se as características do gradiente dos rollouts forem altamente correlacionadas (redundantes) e compartilharem uma direção dominante, as vantagens de sinal positivo e negativo se cancelam durante a agregação.
• Dimensionalidade Efetiva Baixa: Essa redundância resulta em uma "Dimensionalidade Efetiva" baixa (medida pela Razão de Participação, $PR$) e um "Tamanho de Amostra Efetivo" ($n_{eff}$) baixo.
• O Gargalo: Consequentemente, aumentar o tamanho do grupo de rollout ($G$) frequentemente gera retornos decrescentes porque o sinal de atualização agregado depende apenas de um pequeno componente residual, enquanto os componentes compartilhados e redundantes são cancelados pelo mecanismo de centralização do grupo.

2. Metodologia: SALT

Para resolver isso, os autores propõem o SALT (Subspace-Adaptive geometry pLug-in componenT). O SALT é um módulo plug-in que repondera os coeficientes relativos ao grupo usando a geometria do gradiente por amostra para mitigar o cancelamento de sinal sem modificar o modelo de recompensa ou o procedimento de amostragem de rollout.

Mecanismo Central

O SALT opera analisando a geometria dos mini-batches de gradientes e decompondo os sinais de atualização em dois canais:

1. Estimativa do Subespaço Dominante:

   • O SALT computa uma matriz de Gram normalizada das características do gradiente (usando um proxy de gradiente do LM-head leve para evitar os custos de gradiente de todo o modelo).
   • Ele realiza uma decomposição em autovalores para identificar um subespaço compartilhado dominante ($V_k$) baseado na Razão de Participação ($PR$).
   • Este subespaço representa os "sinais comuns" compartilhados entre os rollouts que estão sujeitos ao cancelamento.

2. Decomposição de Canal Duplo:

   • Canal Principal ($a_{main}$): As vantagens normalizadas pelo grupo são projetadas no subespaço dominante ($P_k a$). Isso preserva o feedback central relativo ao grupo.
   • Canal de Exploração ($a_{exp}$): As vantagens são projetadas no complemento ortogonal ($P_k^\perp$) e filtradas para manter apenas os componentes positivos ($[a]_+$). Isso isola as direções "residuais" ou não redundantes.

3. Reponderação Adaptativa:

   • O SALT introduz um coeficiente de mistura adaptativo, $\alpha_t$, que é inversamente relacionado ao tamanho de amostra efetivo ($n_{eff}$) do batch atual.
   • A vantagem reponderada final é: $a' = a_{main} + \alpha_t a_{exp}$.
   • Lógica: Quando o $n_{eff}$ é baixo (indicando cancelamento severo), $\alpha_t$ aumenta, amplificando adaptativamente o canal de exploração (residual) para recuperar sinais de atualização úteis que seriam perdidos de outra forma.

Eficiência Computacional

• Proxy de Característica: Em vez de computar gradientes de todo o modelo, o SALT usa o gradiente da projeção de saída (LM-head) como um proxy. Isso preserva a geometria por amostra necessária enquanto escala com o tamanho do mini-batch $m=BG$, em vez do total de parâmetros.
• Custo: O método adiciona aproximadamente 7,7% de overhead ao tempo de treinamento (wall-clock time) devido à computação da matriz de Gram e aos passos do solver de autovalores, o que é considerado uma troca custo-benefício favorável dados os ganhos de desempenho.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Diagnóstico do Fenômeno: Os autores demonstram empiricamente que o RLVR de grupo relativo sofre de redundância de sinal de baixo posto. Eles mostram que as características do gradiente por amostra se concentram em subespaços de baixa dimensão, levando a um $PR$e$n_{eff}$ baixos, o que explica por que aumentar os rollouts muitas vezes falha em melhorar o aprendizado.
2. Proposta de Método (SALT): Eles introduzem um plug-in de subespaço adaptativo que estima um subespaço compartilhado dominante e repondera os coeficientes relativos ao grupo. Ele separa explicitamente os sinais compartilhados dos sinais residuais e amplifica estes últimos de forma adaptativa para combater o cancelamento.
3. Validação Empírica: Experimentos extensos em benchmarks de raciocínio (AIME, GSM8K, MATH, GPQA) e escalas de modelos (1.5B, 7B) validam que o SALT consistentemente melhora o desempenho e a geometria de atualização efetiva em comparação com as baselines de GRPO e DAPO.

4. Resultados Experimentais

Os autores avaliaram o SALT em diversos benchmarks de RLVR orientados ao raciocínio usando modelos DeepSeek-Distill-Qwen (1.5B e 7B).

• Ganhos de Desempenho: O SALT superou consistentemente o vanilla GRPO e o DAPO. Em média, melhorou a acurácia em aproximadamente +2,54 pontos percentuais em todas as configurações. Ganhos notáveis foram observados no AIME24 e GPQA.
• Melhorias na Geometria: Ao contrário dos métodos de regularização baseados em entropia (que aumentam a diversidade de amostragem, mas falham em melhorar a geometria de atualização), o SALT aumentou significativamente tanto a Razão de Participação ($PR$) quanto o Tamanho de Amostra Efetivo ($n_{eff}$). Isso indica que o SALT converte com sucesso os rollouts em sinais de atualização diversos e não canceláveis.
• Escalabilidade de Rollout: Em experimentos com um orçamento fixo de rollout, o SALT demonstrou que tamanhos de grupo maiores ($G$) podem ser efetivamente utilizados. Enquanto as baselines mostraram retornos decrescentes conforme $G$ aumentava, o SALT manteve um $n_{eff}$ alto e continuou a melhorar o desempenho, provando que ele torna os grupos de rollout maiores "úteis" em vez de apenas computacionalmente caros.
• Estudos de Ablação: Remover a estrutura de canal duplo ou o mecanismo de mistura adaptativa degradou o desempenho, confirmando que tanto a separação de sinais compartilhados/residuais quanto o ajuste dinâmico da força de mistura são necessários.

5. Significância e Alegações

O artigo afirma que a ineficiência de rollout no GRPO não é meramente um problema de amostragem, mas uma falha em agregar sinais residuais e não redundantes.

• Mudança de Perspectiva: O trabalho desloca o foco de "manter a diversidade de resposta" (via regularização de entropia) para "otimizar a geometria de atualização". Argumenta-se que, mesmo com sequências diversas, as características do gradiente podem ser redundantes, e a solução reside na reponderação geométrica.
• Impacto Prático: O SALT oferece uma maneira de escalar os grupos de rollout sem a degradação proporcional de desempenho, fazendo melhor uso dos recursos computacionais.
• Alegações Modestas: Os autores reconhecem que o SALT é um substituto de geometria reponderada por viés (biased geometry-reweighted surrogate) e não uma reformulação não enviesada do GRPO. Seu sucesso depende do equilíbrio onde a redução no cancelamento de sinal supera a distorção introduzida pela reponderação de coeficientes. Eles também observam limitações quanto ao uso de proxies de LM-head e a potencial variação de eficiência entre diferentes arquiteturas.

Em resumo, o SALT fornece um mecanismo para "fazer mais rollouts importarem", ao suprimir adaptativamente sinais comuns redundantes e amplificar direções residuais diversas, fortalecendo assim o sinal de aprendizado efetivo na otimização de política baseada em grupos.