Resumo Técnico: S-GRPO para Modelos de Visão e Linguagem (LVLMs)

1. O Problema: O Dilema entre SFT e RL

O artigo identifica uma lacuna fundamental nos métodos atuais de pós-treinamento para adaptar Modelos Grandes de Visão e Linguagem (LVLMs) a domínios especializados (como diagnóstico médico ou resolução de problemas geométricos). Existem dois paradigmas dominantes, ambos com falhas estruturais graves quando usados isoladamente:

• Ajuste Fino Supervisionado (SFT): Força o modelo a seguir uma única trajetória determinística (a resposta "correta"). Embora eficiente para injetar conhecimento, isso causa uma deslocamento de distribuição severo, levando ao "Imposto de Alinhamento" (Alignment Tax) e ao esquecimento catastrófico das capacidades multimodais gerais do modelo base.
• Aprendizado por Reforço (RL) Puro (ex: GRPO): Explora múltiplas trajetórias para otimizar uma função de recompensa. No entanto, em tarefas visuais com verificadores binários estritos (onde a resposta é apenas "correta" ou "incorreta"), o modelo base não alinhado enfrenta o problema de "cold-start". Se o modelo não consegue gerar nenhuma trajetória válida inicialmente, todas as amostras falham, a variância da recompensa colapsa para zero, os gradientes desaparecem e o aprendizado estagna (colapso de otimização).

A questão central é: como unir a precisão do SFT com a exploração do RL sem perder as capacidades gerais ou travar o treinamento inicial?

2. Metodologia: S-GRPO e Injeção Condicional

Os autores propõem o S-GRPO (Supervised Group Relative Policy Optimization), um framework unificado de pós-treinamento em estágio único que integra a orientação supervisionada diretamente no processo de exploração por RL.

O Mecanismo Chave: Injeção Condicional de Trajetória de Verdade Terrena (CGI)

A inovação central é a estratégia Conditional Ground-Truth Trajectory Injection (CGI). O processo funciona da seguinte maneira durante a amostragem online:

1. Exploração Inicial: O modelo atual gera um grupo de $G$ trajetórias candidatas.
2. Verificação: Um verificador binário (ex: um LLM ou regra) avalia essas trajetórias.
3. Detecção de Falha: Se todas as trajetórias geradas falharem (recompensa = 0), o sistema detecta um estado de "cold-start" ou falha exploratória completa.
4. Injeção Condicional:
   • Uma trajetória gerada (geralmente a menos provável) é descartada.
   • A trajetória de verdade terrena (resposta correta conhecida, $y_{gt}$) é injetada no grupo de candidatos.
   • A trajetória injetada recebe uma recompensa máxima garantida ($R_{max} = 1.0$), enquanto as outras recebem 0.
5. Cálculo de Vantagem: Isso garante que a média e o desvio padrão do grupo não sejam zero. A trajetória injetada atua como uma "âncora" de alta vantagem positiva, fornecendo um sinal de gradiente forte e direcional para o modelo aprender a imitar a resposta correta.
6. Transição Suave: À medida que o modelo melhora e começa a gerar trajetórias válidas autonomamente, a condição de falha total deixa de ser atendida. A injeção para, e o treinamento transita naturalmente para o RL puro de exploração, sem viés de "forçamento do professor" (teacher-forcing).

Formulação Matemática

O objetivo do S-GRPO modifica a estimativa de vantagem relativa do GRPO padrão. Em cenários de falha total, a vantagem da trajetória injetada ($\hat{A}_{gt}$) torna-se fortemente positiva, enquanto as trajetórias erradas geradas pelo modelo recebem penalidades negativas. Isso reformula o objetivo de aprendizado supervisionado como um componente de alta vantagem dentro do gradiente da política, equilibrando a exploração e a exploração de forma dinâmica.

3. Contribuições Principais

1. Framework Unificado de Pós-Treinamento: O S-GRPO elimina a necessidade de pipelines de duas etapas (SFT seguido de RL), integrando a imitação de especialistas e a auto-exploração em um único estágio de otimização.
2. Mecanismo CGI: Resolve o problema de "cold-start" em tarefas visuais com recompensas esparsas, garantindo sinais de aprendizado positivos mesmo quando o modelo falha completamente na geração inicial.
3. Preservação de Capacidades Gerais: Ao contrário do SFT puro, o S-GRPO evita o esquecimento catastrófico, mantendo a integridade estrutural e as capacidades multimodais de propósito geral do modelo base.

4. Resultados Experimentais

Os autores avaliaram o S-GRPO em três conjuntos de dados distintos: COCO Caption (descrição de imagens), Geo170K (problemas geométricos) e OpenI (diagnóstico de raios-X). O modelo base utilizado foi o Qwen2.5-VL-7B.

• Desempenho em Domínio Específico: O S-GRPO alcançou desempenho comparável ou superior ao Ajuste Fino Completo (FFT) e ao pipeline de duas etapas (SFT $\to$ GRPO). Por exemplo, no COCO, atingiu um CIDEr de 1.0106, superando o pipeline de duas etapas (0.9921).
• Preservação de Habilidades Gerais: Enquanto o FFT causou uma degradação severa nas capacidades gerais (queda de ~36% em IFEval-I e colapso no MME), o S-GRPO manteve pontuações altas em benchmarks de raciocínio e seguimento de instruções (MMMU, MME, IFEval), demonstrando que não houve esquecimento catastrófico.
• Falha de Métodos Puros: O GRPO padrão falhou completamente no "cold-start" (pontuação BLEU-1 de 0.22 no COCO), confirmando a necessidade do mecanismo de injeção.
• Ablação do CGI: A versão sem injeção condicional (apenas injeção constante) melhorou o desempenho de domínio, mas degradou as capacidades gerais, provando que a condicionalidade (injetar apenas quando necessário) é crucial para o equilíbrio entre exploração e exploração.

5. Significado e Conclusão

O S-GRPO representa um avanço significativo na adaptação de LVLMs para domínios especializados. Ao tratar o aprendizado supervisionado e o aprendizado por reforço como um espectro contínuo em vez de etapas desconectadas, o método oferece:

• Eficiência Computacional: Elimina a necessidade de treinar um modelo SFT intermediário antes do RL.
• Robustez: Resolve o colapso de otimização em tarefas com verificadores binários estritos.
• Escalabilidade: Proporciona um caminho elegante para alinhar modelos multimodais massivos sem sacrificar sua versatilidade original.

Em resumo, o S-GRPO demonstra que é possível acelerar a convergência e alcançar adaptação de domínio de alta qualidade preservando a inteligência geral do modelo, superando as limitações estruturais dos paradigmas de treinamento atuais.