Resumo Técnico: Uni-OPD

Declaração do Problema

A destilação on-policy (OPD) emergiu como um paradigma pós-treinamento promissor para consolidar as capacidades de modelos especialistas especializados em um único modelo estudante, combinando amostragem on-policy com supervisão ao nível de token. No entanto, apesar dos sucessos empíricos, as condições para uma melhoria confiável da OPD permanecem pouco compreendidas. Os autores identificam dois gargalos fundamentais que limitam a OPD eficaz:

1. Exploração Insuficiente: Os estudantes frequentemente falham em explorar estados informativos, especificamente trajetórias auto-geradas diversas e com dificuldade apropriada.
2. Supervisão do Professor Não Confiável: A orientação ao nível de token proveniente dos professores pode ser não confiável para as execuções (rollouts) dos estudantes. Especificamente, a orientação agregada ao nível de token pode falhar em manter consistência de ordem com a recompensa de resultado (isto é, trajetórias corretas não necessariamente recebem pontuações agregadas mais altas do que as incorretas). Esse desalinhamento pode ocorrer devido à degradação fora da distribuição (OOD), superestimação de trajetórias incorretas ou subestimação de trajetórias corretas.

A pesquisa existente em OPD está amplamente confinada a Modelos de Linguagem de Grande Escala (LLMs) ou subconjuntos limitados de Modelos de Linguagem de Grande Escala Multimodais (MLLMs), carecendo de um framework unificado que generalize entre modalidades e aborde essas questões de confiabilidade.

Metodologia: Uni-OPD

Os autores propõem o Uni-OPD, um framework unificado de OPD projetado tanto para LLMs quanto para MLLMs. O framework emprega uma estratégia de otimização de dupla perspectiva visando a exploração do estudante e a confiabilidade da supervisão do professor.

1. Perspectiva do Estudante: Balanceamento de Dados para Exploração

Para abordar a exploração insuficiente, o Uni-OPD introduz duas estratégias complementares de balanceamento de dados:

• Balanceamento de Dados Consciente da Dificuldade Offline: Em vez de filtrar agressivamente amostras "fáceis" (sempre corretas) ou "difíceis" (sempre incorretas) — uma prática comum em RL que reduz a diversidade —, os autores observam que os dados de treinamento frequentemente seguem distribuições de dificuldade em forma de J espelhado ou U. O Uni-OPD sobreamostragem seletiva de amostras de dificuldade média (aqueles corretos em apenas algumas de múltiplas execuções). Isso remodela a distribuição para ser mais uniforme, preservando um espectro equilibrado de dificuldade e garantindo que o estudante seja exposto a caminhos de solução diversos.
• Balanceamento de Dados Consciente da Corretude Online: Para evitar que o modelo colapse em ótimos locais quando grupos de execução carecem de diversidade de resultados (por exemplo, todas as trajetórias estão incorretas), o método impõe uma composição equilibrada de trajetórias corretas e incorretas dentro de cada grupo de execução durante o treinamento. Isso garante que o estudante receba consistentemente sinais contrastivos significativos.

2. Perspectiva do Professor: Calibração de Margem Guiada por Resultado

Para abordar a supervisão não confiável, o Uni-OPD introduz um mecanismo para restaurar a consistência de ordem entre a orientação ao nível de token e as recompensas de resultado.

• Retorno de Destilação ao Nível de Trajetória: O método define um retorno ao nível de trajetória ($G_{OPD}$) como a diferença média de log-probabilidade entre o professor e o estudante.
• Critério de Consistência de Ordem: Um professor confiável deve atribuir retornos mais altos a trajetórias corretas ($S^+$) do que a trajetórias incorretas ($S^-$). Os autores definem uma margem ao nível de prompt $m(q)$ como a diferença entre o retorno mínimo das trajetórias corretas e o retorno máximo das trajetórias incorretas.
• Mecanismos de Calibração: Se a margem $m(q)$ cair abaixo de um limite de segurança $\delta$, o sistema aplica uma de duas estratégias:
  • Máscara de Margem: Descarta grupos de prompt onde a ordenação é violada (ou remove greedy as trajetórias mais adversárias) para garantir que o treinamento ocorra apenas em sinais confiáveis.
  • Deslocamento de Margem: Aplica uma correção aditiva mínima aos retornos da trajetória para restaurar a margem para $\delta$. Especificamente, desloca os retornos das trajetórias corretas para cima (ou das incorretas para baixo) para impor a restrição de ordenação sem descartar dados.

Contribuições Principais

1. Identificação de Gargalos: O artigo identifica a exploração insuficiente de estados informativos e a supervisão do professor não confiável (especificamente a falta de consistência de ordem com as recompensas de resultado) como as limitações centrais da OPD atual.
2. Receita de Otimização de Dupla Perspectiva: Os autores propõem um framework unificado que melhora conjuntamente a exploração do estudante via balanceamento de dados offline/online e a supervisão do professor via calibração de margem guiada por resultado.
3. Validação Abrangente: O método é validado em 5 domínios e 16 benchmarks, cobrindo:
   • Destilação de professor único e múltiplos professores.
   • Destilação entre LLMs e MLLMs.
   • Destilação de forte para fraco (transferência de capacidades de modelos maiores para menores).
   • Destilação cross-modal (unificação de capacidades textuais e multimodais).

Resultados Experimentais

Extensos experimentos em modelos da família Qwen3 (LLMs e MLLMs) demonstram a eficácia do Uni-OPD:

• Ganhos de Desempenho: O Uni-OPD supera consistentemente a OPD padrão e outras bases (SFT, ExPO, ExOPD) em raciocínio matemático, geração de código, raciocínio lógico e compreensão de documentos. Por exemplo, na destilação de múltiplos professores em LLMs, o Uni-OPD melhorou as pontuações de raciocínio matemático em 1,5% e a geração de código em 3,4% sobre a OPD padrão.
• Destilação de Forte para Fraco: O Uni-OPD efetivamente preenche a lacuna de capacidade, permitindo que estudantes menores (por exemplo, 1,7B e 4B) absorvam comportamentos complexos de raciocínio de professores maiores (por exemplo, 30B), superando a OPD padrão por margens significativas.
• Capacidades Cross-Modal: Em configurações cross-modal, o Uni-OPD unifica com sucesso capacidades de professores apenas de texto e multimodais em um único estudante MLLM, melhorando simultaneamente a geração de código textual e o raciocínio matemático multimodal.
• Eficiência: O Uni-OPD alcança desempenho superior com substancialmente menos etapas de otimização em comparação com bases de Aprendizado por Reforço (RL), convergindo mais rápido enquanto mantém altas capacidades de raciocínio.
• Estudos de Ablação: A remoção de qualquer uma das estratégias de balanceamento de dados ou do mecanismo de calibração de margem resulta em degradação de desempenho, confirmando que tanto a exploração do estudante quanto a confiabilidade do professor são impulsionadores críticos do sucesso.

Significado e Alegações

O artigo alega que o Uni-OPD fornece uma base prática para destilação confiável e escalável. Seu significado reside em:

• Generalizabilidade: Oferece uma receita unificada que funciona entre diferentes tamanhos de modelo (de forte para fraco), modalidades (texto e visão) e configurações de professores (único e múltiplos professores).
• Confiabilidade: Ao abordar explicitamente a questão da consistência de ordem entre sinais ao nível de token e recompensas de resultado, o método estabiliza o treinamento e previne a degradação frequentemente observada na OPD ingênua.
• Raciocínio Agnóstico à Modalidade: Os resultados sugerem que as capacidades de raciocínio destiladas via OPD são amplamente independentes da modalidade, permitindo a fusão eficiente de especialistas especializados em um único raciocinador versátil.

Os autores concluem que seu trabalho fornece insights práticos sobre os mecanismos da OPD confiável e abre caminhos para pesquisas futuras em fusão escalável de capacidades e planejamento de agentes.