Resumo Técnico: Além dos Ganhos de Raciocínio: Mitigando o Esquecimento de Capacidades Gerais em Grandes Modelos de Raciocínio

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma de pós-treinamento padrão para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs). No entanto, os autores identificam um modo de falha crítico: o esquecimento de capacidades gerais. Embora o RLVR melhore efetivamente o desempenho em tarefas de raciocínio específicas (ex: matemática, dedução lógica), ele frequentemente leva a uma regressão significativa nas habilidades fundamentais adquiridas durante o pré-treinamento, como percepção visual, fundamentação factual e robustez.

Observações empíricas no artigo confirmam que modelos de raciocínio de código aberto frequentemente apresentam desempenho inferior aos seus modelos base em benchmarks não relacionados ao raciocínio (ex: estética de imagem, raciocínio espaço-temporal, OCR e robustez a mudanças de distribuição). Os autores observam que as estratégias de mitigação existentes, como a regularização de divergência KL, são insuficientes porque são computadas na tarefa atual e não garantem a preservação de conhecimentos heterogêneos mais amplos. Além disso, o replay de experiência padrão em domínios heterogêneos enfrenta o desafio do desequilíbrio de objetivos: não é trivial determinar a ponderação ideal entre recompensas de raciocínio e perdas de capacidade geral, pois diferentes objetivos convergem em taxas vastamente distintas.

Metodologia: RECAP

Para abordar essas questões, os autores propõem o RECAP (Replay-Enhanced CApability Preservation), uma estratégia de treinamento end-to-end que integra dados de capacidades gerais no pipeline de RLVR com um mecanismo de reponderação dinâmica de objetivos.

Componentes Principais

1. Estratégia de Replay: O RECAP intercala dados de domínios gerais (ex: detecção de objetos, segmentação, OCR) com dados de raciocínio alvo durante o ajuste fino. Isso garante que o modelo seja continuamente exposto a tarefas de não-raciocínio para evitar o esquecimento catastrófico.
2. Mecanismo de Reponderação Dinâmica: Em vez de usar pesos estáticos ou ajustados manualmente, o RECAP adapta os coeficientes de perda online com base no comportamento de convergência e instabilidade de objetivos individuais.
   • Taxa de Convergência ($c_k$): Medida comparando a perda média da janela deslizante atual contra a janela anterior. Uma razão próxima de 1 indica saturação (o objetivo foi aprendido), enquanto uma razão $>1$ indica melhoria recente.
   • Instabilidade ($i_k$): Medida como o coeficiente de variação (desvio padrão relativo à média) dentro da janela deslizante. Alta instabilidade sugere que o objetivo é volátil e requer mais foco.
   • Pontuação de Prioridade: A pontuação de prioridade para o objetivo $k$ é definida como $s_k = c_k + i_k$.
   • Reponderação Softmax: Os pesos $\lambda_k$ são computados usando um softmax controlado por temperatura sobre as pontuações de prioridade:
     $$\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$$
     Esta formulação, derivada de um problema de alocação de prioridade com regularização de entropia, despondera naturalmente objetivos saturados e de baixa variância (como conformidade de formato, que converge rapidamente) e desloca a capacidade para objetivos de baixo desempenho ou alta variância (como precisão de raciocínio ou percepção).

Fundamentação Teórica

O artigo estabelece que a regra de reponderação do RECAP é a solução de forma fechada para um problema de alocação de prioridade com regularização de entropia. Isso fornece uma justificativa teórica para a ponderação baseada em softmax, garantindo que a alocação evite soluções degeneradas (focar em um único objetivo) enquanto prioriza objetivos com altas pontuações de prioridade.

Principais Contribuições

1. Reavaliação Sistemática: Os autores demonstram sistematicamente que o ajuste fino focado em raciocínio causa consistentemente regressão em capacidades gerais (percepção, robustez) em múltiplas famílias de modelos de código aberto (famílias Qwen2.5-VL).
2. Algoritmo RECAP: Eles introduzem um agendador plug-in que repondera dinamicamente os objetivos com base em sinais de convergência e instabilidade. Este método não requer modelos auxiliares, é agnóstico à magnitude e integra-se perfeitamente em pipelines de RLVR existentes (especificamente GRPO) com sobrecarga negligenciável.
3. Ganhos de Desempenho: O método não apenas preserva capacidades gerais, mas também melhora o desempenho de raciocínio ao permitir trocas mais flexíveis entre recompensas de tarefa (in-task rewards), evitando a sobre-otimização de sinais fáceis (como formato) em detrimento de sinais mais difíceis (como precisão).

Resultados Experimentais

Os autores avaliaram o RECAP no Qwen2.5-VL-3B e Qwen2.5-VL-7B em dois cenários: um cenário "apenas-RLVR" e um cenário "Híbrido" (combinando RLVR com treinamento do tipo SFT).

• Preservação de Capacidades Gerais: No cenário apenas-RLVR, o RECAP preservou ou melhorou o desempenho em benchmarks de percepção e robustez (ex: A-OKVQA, VisOnly, OCRBench) onde as linhas de base focadas apenas em raciocínio mostraram degradação significativa. Por exemplo, no benchmark de segmentação LISA, o ajuste fino focado apenas em raciocínio derrubou o desempenho de 65.13 para 57.58, enquanto o RECAP manteve uma pontuação de 67.24 (superando o modelo base).
• Desempenho de Raciocínio: O RECAP igualou ou excedeu o desempenho de raciocínio do ajuste fino focado apenas em raciocínio. No benchmark ScienceQA, o RE අප alcançou uma pontuação de 71.59, superando o modelo base (6.20) e várias linhas de base de raciocínio de código aberto.
• Eficiência e Concisão: A reponderação dinâmica levou a um raciocínio mais eficiente. Modelos treinados com RECAP geraram racionales significativamente mais curtos (reduzindo o comprimento médio do pensamento de ~67 palavras para ~27 palavras em tarefas de raciocínio) sem comprometer a precisão, reduzindo assim a latência de inferência e os custos de computação.
• Comparação com Linhas de Base: O RECAP superou consistentemente fortes linhas de base, incluindo:
  • Apenas-Raciocínio: Que sofreu esquecimento severo.
  • Uniform/PropMix: Que utilizou ponderação estática e falhou em se adaptar às taxas de convergência.
  • LwF (Learning without Forgetting): Que usou regularização KL, mas alcançou pontuações de raciocínio inferiores ao RECAP.
  • MoDoMoDo: Uma linha de base complexa e computacionalmente cara que requer modelos de proxy e ajuste manual.

Significância e Alegações

O artigo afirma que o RECAP oferece uma solução principista e de baixa sobrecarga para o trade-off "raciocínio vs. capacidade geral". Ao deslocar o foco do pós-treinamento de objetivos saturados (como conformidade de formato) para objetivos voláteis ou de baixo desempenho (como precisão e percepção), o RECAP permite que os modelos "aprendam a raciocinar" sem "desaprender" a perceber.

Os autores enfatizam que seu método é end-to-end e não requer o treinamento de modelos de recompensa adicionais ou ajuste pesado de hiperparâmetros. Eles posicionam o RECAP como uma evolução necessária nos pipelines de pós-treinamento, argumentando que otimizar para recompensas de raciocínio estreitas sem regularização dinâmica leva a modelos frágeis que falham em cenários reais e heterogêneos. O trabalho sugere que o "esquecimento" observado nos atuais modelos de raciocínio não é um efeito colateral inevitável do RLVR, mas um problema de otimização solucionável através do gerenciamento dinâmico de objetivos.