Stage-1 Controls the Entropy Regime, Not the Outcome

Resumo Técnico: O Estágio-1 Controla o Regime de Entropia, Não o Resultado

Declaração do Problema
Pipelines de pós-treinamento de dois estágios para Modelos de Linguagem-Visão (VLMs) — consistindo em um aquecimento de Estágio-1 (Ajuste Fino Supervisionado, SFT, ou Destilação On-Policy, OPD) seguido por Aprendizado por Reforço (RL) de Estágio-2 — são cada vez mais padronizados. Uma suposição prevalecente na comunidade é que a escolha do aquecimento determina significativamente o resultado final do RL. Proponentes argumentam que o SFT pode induzir o esquecimento catastrófico de capacidades da base, enquanto o OPD (treinar um aluno sobre seus próprios rollouts sob a distribuição de tokens de um professor) fornece uma inicialização superior para o RL. Este artigo interroga essas afirmações dentro de um regime de dados pequenos (≈1–2k exemplos) usando o modelo Qwen2.5-VL-7B, visando determinar o que o Estágio-1 realmente controla e se ele altera significativamente o ponto final subsequente.

Metodologia
O estudo emprega uma configuração experimental controlada comparando três estratégias distintas de aquecimento seguidas por receitas de GRPO (Otimização de Política de Grupo Relativa) de Estágio-2 intimamente correspondentes:

1. OPD: Destilação on-policy de um professor Qwen2.5-VL 72B de mesma modalidade sobre todos os 2.101 prompts de treinamento do Geometry3K.
2. SFTID: SFT otimizado in-domain usando os traços corretos do professor (via amostragem de rejeição) com um prompt de sistema.
3. SFTOOD: SFT otimizado out-of-domain (OOD) usando os mesmos traços do professor, mas sem um prompt de sistema e interrompido precocemente em 100 passos.

Distinções Chave na Configuração:

• Consistência do Professor: Todos os aquecimentos derivam do mesmo professor 72B, eliminando confusões de identidade do professor.
• Confundimento de Cobertura de Dados: Existe uma diferença deliberada na cobertura de dados. Os traços de SFT são derivados de amostragem de rejeição, retendo apenas os 807 problemas que o professor resolve dentro de 4 amostras. O OPD treina em todos os 2.101 prompts, incluindo 1.294 problemas que o professor nunca resolve. Os autores tratam isso como uma diferença de configuração conhecida e analisam seu impacto na entropia.
• Avaliação: Os modelos são avaliados in-domain (validação interna Geometry3K) e out-of-domain (MathVista testmini). As métricas incluem entropia da política, pass@k (com $k \in \{1, 4, 8, 16\}$) e diversidade de respostas.

Principais Descobertas

1. O Esquecimento Depende da Receita (F1)
O estudo desafia a noção de que o SFT de pequenos dados causa inerentemente o esquecimento catastrófico.

• Uma variante de SFT sobre-treinada (200 passos, sem prompt de sistema) mostrou uma queda significativa no desempenho OOD no MathVista (−9,5 pontos).
• No entanto, um SFT de receita correspondente e interrompido precocemente (100 passos) de fato melhorou o desempenho OOD em +2,1 pontos em relação ao modelo base.
• Conclusão: O esquecimento observado não é uma propriedade intrínseca do SFT, mas uma consequência de escolhas específicas de receita (ex: duração do treinamento, engenharia de prompt).

2. Pontos Finais In-Domain Ocupam uma Banda Estreita (F2)
Apesar de diferentes aquecimentos, o desempenho final in-domain no Geometry3K converge para uma faixa estreita.

• Todos os três aquecimentos, após o GRPO, atingiram um melhor score de validação interna entre 53% e 54%.
• Isso se alinha com métodos especializados recentes, sugerindo um "headroom" limitado para separar os aquecimentos neste benchmark específico, em vez de uma saturação universal da tarefa.

3. O Estágio-1 Controla o Regime de Entropia, Não o Resultado (F3)
A diferença mais distinta e confiável entre os métodos é o regime de entropia levado para o RL.

• Gap de Entropia: O OPD entra na fase de RL com uma entropia de política substancialmente maior (0,10–0,16 inicialmente) comparado às variantes de SFT (0,015–0,04). Esse gap persiste através das trajetórias disponíveis, com o OPD permanecendo mais alto mesmo no final do treinamento.
• Vantagem de Inicialização In-Domain: Na fase de inicialização (antes do RL), o modelo OPD de alta entropia demonstra maior potencial de exploração. Embora a precisão greedy (pass@1) seja comparável ou ligeiramente inferior, o OPD alcança uma vantagem significativa em pass@16 (+2,0 a +5,2 pontos sobre as bases de SFT) e maior diversidade de respostas.
• Retorno Desvanecido: Essa vantagem é estritamente limitada:
  • Pós-RL: Após o GRPO de Estágio-2, a vantagem do pass@16 desaparece. Os pontos finais finais para todos os modelos estão dentro de 1,1 pontos uns dos outros, com intervalos de confiança cruzando o zero.
  • Transferência OOD: No MathVista, a ordenação de entropia desaparece inteiramente. Todos os seis modelos (três inicializações × dois estágios) caem dentro de uma faixa de 1,2 pontos no pass@16.

Significância e Alegações
O artigo enquadra explicitamente sua contribuição como uma caracterização empírica limitada em vez de um novo método ou um recorde de leaderboard.

• O que o Estágio-1 Controla: A principal descoberta é que o Estágio-1 está fortemente associado ao regime de entropia da política que entra no RL. O OPD mantém um estado de alta entropia, enquanto o SFT colapsa para um estado determinístico de baixa entropia.
• O que o Estágio-1 Não Controla: O estudo não encontra evidências de que a escolha do aquecimento (OPD vs. SFT) determine o ponto final do RL ou a generalização OOD neste setup de dados pequenos. O "retorno downstream" da vantagem de entropia é pequeno, localizado na inicialização in-domain, e não sobrevive ao processo de otimização do RL.
• Ressalvas: Os autores reconhecem um confundimento: o gap de entropia pode ser parcialmente impulsionado pelo OPD vendo a "cauda difícil" de problemas (1.294 não resolvidos pelo professor) que o SFT nunca vê. Embora a intuição de nível de objetivo (reverse-KL vs. cross-entropy) suporte o mecanismo de entropia, o artigo não reivindica causalidade sem um controle alinhado aos dados (treinar o OPD nos mesmos 807 problemas que o SFT).

Conclusão
Neste estudo de VLMs de dados pequenos, a escolha do aquecimento de Estágio-1 é um determinante forte do regime de entropia, mas não do resultado final. Embora o OPD ofereça uma inicialização de alta entropia com melhor exploração in-domain (pass@16), isso não se traduz em um ponto final de RL superior ou desempenho OOD. O artigo conclui que a entropia é a diferença mais clara observada, mas não é evidência de que o OPD seja um aquecimento de RL universalmente melhor.