🤖 machine learning

LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts

Este artigo introduz o LoRA Scaffolded Policy Optimization (LSPO), um mecanismo de tempo de amostragem que recupera gradientes de aprendizagem por reforço em prompts de "penhasco" onde todas as trajetórias amostradas falham ao ajustar temporariamente um adaptador de baixo posto para gerar soluções bem-sucedidas, melhorando significativamente o desempenho de raciocínio matemático em benchmarks como AIME e MATH em comparação com os baselines padrão.

Autores originais: Ken Ding

Publicado 2026-07-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ken Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a resolver problemas de matemática. Você não fica sentado ali corrigindo cada erro individual; em vez disso, você deixa o robô tentar resolver um problema, verifica se a resposta está certa e dá um "polegar para cima" ou "polegar para baixo". Isso é chamado de Aprendizado por Reforço. Para tornar o aprendizado ainda mais rápido, o robô tenta resolver o mesmo problema dez vezes seguidas. Se ele acertar algumas e errar outras, o robô aprende: "Ei, as que receberam o polegar para cima foram melhores que a média!" Ele usa essa diferença para descobrir como melhorar. Esta é a maneira padrão pela qual esses sistemas aprendem.

Mas há uma situação complicada onde esse método encontra um muro. Imagine que o robô tenta resolver um problema dez vezes e falha em todas elas. Todas as dez tentativas recebem um "polegar para baixo". Como todas as tentativas são igualmente ruins, o robô não consegue dizer qual delas foi "menos ruim" ou "mais próxima da resposta". A matemática diz que a diferença entre elas é zero, então o robô não recebe instrução alguma. É como estar na beira de um precipício onde o chão simplesmente desaparece; o robô fica preso nos problemas mais difíceis que ainda não consegue resolver, e o método de aprendizado usual simplesmente para de funcionar. Este é o "problema do precipício", e ele deixa os desafios mais inteligentes e difíceis completamente intocados pelo processo de aprendizado.

Apresentamos uma nova ideia chamada Otimização de Política com Andaime LoRA (LSPO - LoRA Scaffolded Policy Optimization). Pense no LSPO como uma rede de segurança inteligente que captura o robô logo antes de ele cair nesse precipédio. Quando o robô tenta um problema difícil e falha todas as vezes, o sistema pausa o aprendizado usual e retira uma pequena e temporária "rodinha de treinamento" chamada de adaptador LoRA. Isso não é uma mudança permanente no cérebro do robô; é um pequeno dispositivo destacável.

Aqui está o truque de mágica: o sistema pega a resposta correta para aquele problema impossível (que ele possui em seu banco de dados) e rapidamente ensina este pequeno dispositivo a resolvê-lo. É como entregar ao robô uma folha de cola apenas para este momento específico. Então, o robô tenta o problema novamente, mas desta vez com a folha de cola acoplada. De repente, ele resolve o problema! O sistema pega essa nova tentativa bem-sucedida e a troca no grupo de dez tentativas. Agora, em vez de dez falhas, o grupo tem nove falhas e um sucesso. A matemática volta a funcionar! O robô pode finalmente ver a diferença entre as tentativas ruins e a boa, e aprende como melhorar.

O melhor de tudo? Assim que o robô aprende com essa única tentativa bem- sucedida, o sistema imediatamente arranca a folha de cola (o adaptador LoRA) e a joga fora. O cérebro permanente do robô aprende apenas com a experiência, mas não mantém o dispositivo temporário. Isso garante que o robô permaneça "limpo" e não se confunda com a folha de cola mais tarde.

Os pesquisadores testaram isso em um modelo treinado com 103.000 problemas de matemática. Eles descobriram que este método funciona incrivelmente bem. Em um conjunto de 16 testes diferentes (misturando várias competições de matemática e níveis de dificuldade), o novo método superou o padrão antigo em 15 de 16 casos, com um caso sendo um empate perfeito. Em alguns dos testes mais difíceis, o novo método melhorou a taxa de sucesso em até 10,7 pontos. Eles também mediram exatamente com que frequência essa "rede de segurança" funcionou: ela transformou com sucesso cerca de 43% daqueles grupos de falhas "travadas" em grupos que podiam realmente aprender.

Este artigo não afirma ter resolvido todos os problemas de matemática ou ter encontrado uma solução perfeita para todas as situações. Ele sugere que, ao usar um adaptador de baixo posto temporário para corrigir esses momentos específicos de "precipício", podemos recuperar sinais de aprendizado que antes eram perdidos. Os resultados baseiam-se em experimentos específicos com um modelo e conjunto de dados particulares, mostrando que esta abordagem de "encaixar e descartar" é uma forma promissora de ajudar modelos de IA a enfrentar os problemas mais difíceis que eles enfrentam atualmente.

Resumo Técnico: Otimização de Política com Andaime LoRA (LSPO)

1. Declaração do Problema: O Ponto Cego do "Penhasco" em RLVR

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR), particularmente utilizando o Otimização de Política Relativa de Grupo (GRPO) e seu sucessor DAPO, tornou-se o padrão para estimular o raciocínio matemático em Grandes Modelos de Linguagem (LLMs). No entanto, esses métodos sofrem de um ponto cego estrutural conhecido como o problema do "penhasco" (cliff).

No GRPO, um grupo de $K$ rollouts é amostrado por prompt. A vantagem para cada rollout é calculada normalizando sua recompensa em relação à média do grupo.

Regime Padrão: Se um grupo contém sucessos e falhas mistos, a vantagem é não nula e a política aprende.
O Regime do Penhasco: Em "prompts de penhasco" — problemas na fronteira da capacidade do modelo onde todos os rollouts amostrados no grupo falham — a soma total da recompensa do grupo é zero. Consequentemente, a média do grupo é zero, o desvio padrão é zero e a vantagem dentro do grupo é identicamente zero para todos os rollouts.

Consequência: O gradiente da política para esses prompts desaparece exatamente. O modelo não recebe sinal de aprendizado justamente nos problemas que ele está tentando resolver. À medida que o treinamento progride e prompts mais fáceis são dominados, a "cauda não resolvida" se acumula nesta fronteira, e uma fração crescente do lote de treinamento produz nenhum gradiente.

2. Metodologia: Otimização de Política com Andaime LoRA (LSPO)

O LSPO é um mecanismo de tempo de amostragem projetado para recuperar o gradiente perdido nos prompts de penhasco sem modificar a função de perda de RL subjacente. Ele envolve um loop GRPO/DAPO existente e introduz um andaime (scaffold) transiente de baixo posto (low-rank).

Mecanismo Central

O processo opera em quatro estágios por passo de RL:

Detecção: O sistema identifica "prompts de penhasco" onde a soma da recompensa do grupo é zero.
Andaime (Ajuste Supervisionado): Um adaptador de baixo posto (LoRA) é anexado ao modelo base congelado. Este adaptador é brevemente ajustado via aprendizado supervisionado (SFT) apenas nas soluções de verdade fundamental (ground-truth) dos prompts de penhasco detectados.
Reamostragem: Os prompts de penhasco são reamostrados usando a política composta (Base + Adaptador). Como o adaptador foi guiado pela verdade fundamental, é provável que ele gere pelo menos um rollout bem-sucedido, restaurando assim a variância não nula dentro do grupo.
Splicing e Roteamento de Gradiente:
- Os rollouts bem-sucedidos são inseridos (spliced) de volta no lote de RL, substituindo os rollouts originais que falharam.
- Roteamento Estrito de Gradiente: Dois otimizadores separados são usados.
  - O otimizador SFT atualiza apenas o adaptador LoRA.
  - O otimizador de RL atualiza apenas o modelo base.
- Amostragem de Importância: As linhas inseridas são off-policy (geradas por Base+Adaptador). Para corrigir isso, a razão de amostragem de importância usa os log-probabilidades do Base+Adaptador como denominador e o Base sozinho como numerador.
- Descarte: O adaptador é descartado (ou resetado) no checkpoint. O produto final é um modelo apenas de base; o adaptador nunca é enviado.

Escolhas de Design Chave

Andaime Transiente: O adaptador não é uma atualização de peso permanente, mas uma distribuição de proposta temporária usada exclusivamente para gerar amostras bem-sucedidas para o lote de RL.
Gradientes Disjuntos: O modelo base nunca recebe gradientes supervisionados diretos; ele aprende as soluções do penhasco apenas indiretamente através do gradiente de RL derivado dos rollouts bem-sucedidos elicitados pelo adaptador.
Sem Meta-Objetivos: Ao contrário de métodos que utilizam otimização de nível duplo ou ganhos cooperativos, o LSPO baseia-se em uma divisão simples de dois otimizadores.

3. Configuração Experimental

Modelo Base: DeepSeek-R1-Distill-Qwen-1.5B.
Dataset: DeepMath-103K (problemas matemáticos de estilo competição com respostas verificáveis).
Baselines: DAPO (GRPO com receita DAPO) com o andaime desativado.
Avaliação: 5 sementes pareadas por braço, avaliadas ao longo de um horizonte de relatório de 1000 passos correspondentes.
Métricas: Pass@k ( $k \in \{1, 4, 8, 16\}$ ) no MATH500 e AIME 2024, 2025 e 2026.

4. Resultados Principais

O LSPO demonstra melhorias consistentes sobre o baseline DAPO em todos os benchmarks e métricas testados.

Desempenho Geral: Em uma matriz de 16 células (4 benchmarks $\times$ 4 valores de pass@k), a média de 5 sementes do LSPO iguala ou supera o DAPO em todas as 16 células (15 vitórias estritas, 1 empate exato).
Ganho Médio: A melhoria média sobre as 16 células é de +3,82 pontos.
Ganhos Específicos:
- AIME24/pass@4: +10,66 pontos.
- AIME24/pass@16: +6,67 pontos.
- AIME26/pass@16: +6,67 pontos.
- MATH500/pass@1: +2,40 pontos.
Melhoria no Pass@1: O LSPO melhora o pass@1 em cada benchmark (variando de +1,33 a +4,67 pontos), indicando que o ganho não é meramente um alargamento da distribuição de amostragem, mas uma melhoria na precisão de amostra única.
Eficácia de Conversão de Penhasco: O mecanismo converte com sucesso aproximadamente 43% dos grupos de penhasco que, de outra forma, teriam gradiente zero, em grupos que carregam sinal de gradiente de política utilizável. A taxa de conversão por semente é estreita (41,3%–45,5%).

5. Significância e Alegações

O artigo posiciona o LSPO como uma solução para um modo de falha estrutural nos atuais processos de RLVR. Suas principais alegações são:

Recuperação de Gradiente: O LSPO recupera o gradiente da política em prompts onde o GRPO padrão produz sinal zero, permitindo que o modelo aprenda diretamente de suas falhas na fronteira.
Produto Entregável Limpo: Ao contrário de outros métodos de RL baseados em adaptadores (ex: Tina, BRIDGE) que entregam pesos adaptados ou fundem gradientes no base, o LSPO gera um modelo apenas de base. A supervisão é localizada em parâmetros transientes que são descartados, garantindo que o modelo final não carregue pesos do adaptador.
Intervenção no Tempo de Amostragem: O método aborda o problema do penhasco na fase de amostragem, em vez de alterar o panorama de perda ou os pesos do modelo base diretamente.
Controle de Variância: Ao manter o adaptador de baixo posto e de curta duração, a correção de amostragem de importância permanece bem condicionada, evitando o regime de alta variância associado a propostas off-policy de grande escala.

Os autores observam limitações, incluindo a necessidade de soluções de verdade fundamental (não apenas respostas finais) para os prompts de penhasco e o fato de o método ter sido avaliado em uma configuração específica de modelo e dataset. No entanto, os resultados sugerem que o problema do "penhasClass" pode ser mitigado efetivamente localizando a supervisão em parâmetros de baixo posto transientes.