🤖 machine learning

Co-Evolving Policy Distillation

Este artigo propõe a Distilação de Políticas Coevolutiva (CoPD), um paradigma de treinamento inovador que integra o treinamento paralelo de especialistas com a distilação de políticas online bidirecional para superar a perda de capacidade e as lacunas comportamentais, alcançando desempenho superior em raciocínio unificado de texto, imagem e vídeo em comparação com os métodos existentes de RLVR e distilação.

Autores originais: Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando treinar um único aluno superinteligente para se tornar um especialista em três áreas muito diferentes: Matemática, Arte e Análise de Vídeo.

No passado, os pesquisadores tentaram duas maneiras principais de fazer isso, mas ambas tinham uma falha grave. Este artigo apresenta um novo método chamado Destilação de Política Coevolutiva (CoPD) que corrige essas falhas fazendo com que o aluno aprenda em uma parceria única, "semelhante a uma dança".

Veja como o artigo explica o problema e a solução, usando analogias simples:

O Problema: O "Tira-Teima" e a Lacuna "Demais-Afastada"

1. O "Tira-Teima" (RLVR Misto)
Imagine tentar ensinar ao seu aluno Matemática e Arte exatamente ao mesmo tempo, na mesma sala de aula, com o mesmo professor.

O Problema: Matemática exige lógica e regras estritas, enquanto Arte exige criatividade e quebrar regras. Quando você as mistura, o aluno fica confuso. O artigo chama isso de "divergência de capacidade". É como um tira-teima onde a lição de Matemática puxa o aluno para um lado, e a lição de Arte puxa-o para o outro. O aluno acaba ficando medíocre em ambas, porque as lições se anulam mutuamente.

2. A Lacuna "Demais-Afastada" (OPD Estática)
Então, os pesquisadores tentaram uma abordagem diferente: "Vamos treinar um especialista em Matemática primeiro, depois treinar um especialista em Arte separadamente, e então fazer com que eles ensinem um novo aluno."

O Problema: Na hora em que o especialista em Matemática termina o treinamento, ele mudou tanto que já não está mais falando a mesma "língua" que o novo aluno. O aluno é um iniciante; o especialista é um grande mestre.
A Analogia: Imagine um grande mestre de xadrez tentando ensinar uma criança pequena. O grande mestre faz movimentos complexos demais para a criança entender. A criança (o aluno) olha para os movimentos do grande mestre (o professor) e pensa: "Não faço ideia do que você está fazendo." O conhecimento se perde porque eles estão muito distantes em seus padrões de pensamento. O artigo chama isso de "lacuna de padrão comportamental".

A Solução: A "Dança Coevolutiva" (CoPD)

Os autores propõem o CoPD, que muda completamente o cronograma de treinamento. Em vez de treinar um especialista primeiro e ensinar depois, eles treinam dois alunos simultaneamente que ensinam e aprendem constantemente um com o outro.

Veja como a dança funciona:

Passo 1: O Treino Solo (Fase RLVR)

O "Aluno de Matemática" pratica apenas problemas de Matemática.
O "Aluno de Arte" pratica apenas problemas de Arte.
Por quê? Isso permite que eles se tornem muito bons em suas habilidades específicas e descubram novas técnicas avançadas. Eles começam a se afastar em seus pensamentos, o que é bom porque significa que eles têm novas coisas para ensinar um ao outro.

Passo 2: A Troca de Parceiros de Dança (Fase OPD Mútua)

Antes que se afastem demais, eles param e trocam de papéis.
O Aluno de Matemática tenta resolver problemas de Arte, e o Aluno de Arte observa e dá feedback.
O Aluno de Arte tenta resolver problemas de Matemática, e o Aluno de Matemática observa e dá feedback.
Por quê? Porque eles acabaram de praticar juntos, ainda estão próximos o suficiente em seus padrões de pensamento para se entenderem. O Aluno de Matemática pode dizer: "Vejo que você está tentando fazer X, mas aqui há uma maneira melhor", e o Aluno de Arte realmente entende, porque ainda estão na mesma página.

Passo 3: Repetir

Eles voltam ao Passo 1 para aprender truques ainda mais avançados, depois trocam novamente no Passo 2.
Esse ciclo se repete constantemente.

Por Que Isso Funciona Melhor

O artigo afirma que este método é superior por três razões principais:

Sem Tira-Teima: Como eles praticam suas habilidades específicas separadamente por um tempo, não ficam confusos ao misturar regras de Matemática e Arte.
Sem Lacuna "Demais-Afastada": Como eles trocam de papéis durante o treinamento (e não depois), nunca se afastam tanto a ponto de não conseguirem se entender. Eles permanecem em um "ponto ideal" onde o professor é avançado o suficiente para ensinar, mas próximo o suficiente para ser entendido.
Crescimento Mútuo: Eles não são apenas um professor e um aluno; eles estão coevoluindo. Eles crescem juntos. O artigo descobriu que o resultado final é um único modelo que é, na verdade, melhor tanto em Matemática quanto em Arte do que os "especialistas" individuais eram sozinhos.

Os Resultados

Os pesquisadores testaram isso em um modelo que precisava lidar com texto (Matemática), imagens (Arte) e vídeos.

Métodos Antigos: O modelo ficava confuso (treinamento misto) ou perdia conhecimento (ensino estático).
CoPD: O modelo dominou as três áreas. Na verdade, o modelo final "tudo-em-um" teve desempenho melhor do que os especialistas especializados dos quais foi construído.

Resumo

Pense no CoPD não como uma escola onde você se gradua em uma matéria antes de começar a próxima, mas como uma academia onde dois atletas treinam juntos. Eles fazem seus próprios exercícios para ficar mais fortes, depois imediatamente se auxiliam para compartilhar dicas enquanto ainda estão aquecidos e sincronizados. Quando terminam, ambos estão mais fortes do que estariam se tivessem treinado sozinhos ou em isolamento.

1. Declaração do Problema

O artigo aborda o desafio de consolidar múltiplas capacidades especializadas (por exemplo, raciocínio em texto, raciocínio em imagem, compreensão de vídeo) em um único modelo unificado. Os paradigmas atuais de pós-treinamento enfrentam duas limitações primárias:

RLVR com Dados Mistos (Aprendizado por Reforço com Recompensas Verificáveis): Treinar um único modelo com dados mistos de diferentes domínios frequentemente leva à divergência de capacidades. Como diferentes capacidades favorecem direções de otimização conflitantes, o treinamento conjunto resulta em conflitos de gradiente, causando um "efeito gangorra" onde os ganhos em um domínio ocorrem às custas de outro.
Destilação de Política Estática On-Policy (OPD/MOPD): A alternativa padrão é um pipeline de duas etapas: primeiro, treinar modelos "especialistas" separados em domínios específicos até a convergência; segundo, destilar esses especialistas em um único modelo estudante. Os autores identificam uma falha crítica nessa abordagem: no momento em que a destilação começa, os especialistas já se desviaram significativamente em seus padrões comportamentais (distribuições de tokens) em relação ao estudante. Essa grande distância comportamental torna a supervisão do professor difícil de ser absorvida pelo estudante, levando a uma transferência de conhecimento subótima e à falha em reter plenamente as capacidades dos especialistas.

2. Metodologia: Destilação de Política Co-evolutiva (CoPD)

O CoPD propõe um framework unificado que intercala a exploração específica de capacidades com a consolidação cross-domínio, permitindo que os especialistas co-evoluam simultaneamente como professores e estudantes.

Mecanismo Central

Em vez de treinar especialistas até a convergência antes da destilação, o CoPD mantém ramos de treinamento paralelos (um por capacidade) que alternam entre duas fases em cada ciclo de treinamento:

Fase RLVR Específica do Ramo:
- Cada ramo realiza independentemente a Otimização de Política Relativa em Grupo (GRPO) em seus dados de domínio específico.
- Objetivo: Aprofundar a expertise específica do domínio e aumentar intencionalmente a "lacuna comportamental" (divergência de conhecimento) entre os ramos. Isso garante que a destilação subsequente tenha conhecimento novo e informativo para transferir.
Fase OPD Mútua:
- Os ramos geram trajetórias (rollouts) nos dados de cada um dos outros.
- Cada ramo atua como professor para os outros, fornecendo supervisão ao nível de token (via minimização da divergência KL) nas próprias trajetórias do estudante.
- Objetivo: Fechar a lacuna comportamental enquanto o conhecimento ainda está fresco e os modelos estão alinhados comportamentalmente. Isso garante alta eficiência de absorção.

Características Principais de Design

Co-evolução Bidirecional: Diferentemente de pipelines estáticos onde os professores são fixos, o CoPD utiliza uma topologia dinâmica onde cada ramo é simultaneamente professor e estudante.
Consistência Comportamental: O método baseia-se na hipótese de que a eficiência da destilação ( $\eta$ ) está positivamente correlacionada com a sobreposição dos top- $k$ tokens entre professor e estudante. O CoPD mantém ativamente essa sobreposição acima de um limiar crítico (por exemplo, >0,90) alternando as fases, impedindo que os modelos se afastem excessivamente.
Escalabilidade: O framework suporta $K$ ramos. Para $K > 2$ , emprega uma topologia "hub-and-spoke" (centro e raios) para evitar a complexidade completa de pares (por exemplo, em uma configuração de 3 ramos, o raciocínio em texto atua como hub para os ramos de imagem e vídeo).
Integração Final: Como todos os ramos começam a partir de uma base compartilhada e permanecem fortemente acoplados, o modelo unificado final é obtido via simples fusão de parâmetros.

3. Contribuições Principais

Insight Teórico: Os autores identificam que a eficácia da OPD é inversamente relacionada à distância comportamental entre professor e estudante. Eles demonstram, por meio de estudos piloto, que pipelines estáticos operam em um regime de "baixa absorção" porque os especialistas se desviam excessivamente antes do início da destilação.
Framework CoPD: Eles propõem um paradigma de treinamento novel que intercala RLVR e OPD mútua. Isso resolve o trade-off entre a necessidade de divergência de conhecimento (para destilação informativa) e proximidade comportamental (para destilação absorvível).
Quebrando o "Teto do Especialista": O CoPD demonstra que um modelo unificado pode superar o desempenho de especialistas individuais específicos de domínio, transformando efetivamente os trade-offs cross-domínio em ganhos mútuos.
Validação de Escalabilidade: O método é validado em configurações de 2 ramos (Texto + Imagem) e 3 ramos (Texto + Imagem + Vídeo), provando sua eficácia em cenários multimodais complexos.

4. Resultados Experimentais

O artigo avalia o CoPD no Qwen3-VL-4B-Instruct em benchmarks de raciocínio em texto, imagem e vídeo.

Raciocínio em Texto e Imagem (2 Ramos):
- O CoPD alcançou a maior precisão média geral (57,71%), superando o RLVR Misto, OPD Estática (ambas as direções) e até mesmo os modelos individuais Especialista em Texto e Especialista em Imagem.
- Notavelmente, o CoPD melhorou o raciocínio em texto para 58,76% (vs. 57,89 para o Especialista em Texto) e o raciocínio em imagem para 56,97% (vs. 55,76 para o Especialista em Imagem), provando o efeito de "ganho mútuo".
Raciocínio em Texto, Imagem e Vídeo (3 Ramos):
- O CoPD alcançou uma média geral de 58,12%, superando a linha de base OPD Multi-Professor (MOPD) (56,99%) e o Especialista em Vídeo (58,75) no raciocínio em vídeo, mantendo alto desempenho nas tarefas de texto e imagem.
- O RLVR Misto mostrou a maior média de vídeo entre as linhas de base, mas sofreu degradação significativa no raciocínio em texto, confirmando o problema da divergência de capacidades.
Estudos de Ablação:
- Remover a destilação mútua em qualquer direção causou quedas de desempenho, confirmando a necessidade da co-evolução bidirecional.
- Mesmo sem fusão de parâmetros, ramos individuais no CoPD superaram as linhas de base de OPD estática, indicando que o próprio processo de co-evolução cria capacidades robustas e bem equilibradas.
- A razão ótima entre passos de RLVR e passos de OPD foi encontrada ser 1,5:1, equilibrando exploração e consolidação.

5. Significado

Novo Paradigma de Treinamento: O CoPD desafia o fluxo de trabalho convencional "treinar-então-destilar", sugerindo que o treinamento paralelo com destilação mútua contínua é uma estratégia de escalabilidade mais eficaz para modelos multi-capacidade.
Resolvendo o Problema "Tudo-em-Um": Ele fornece uma solução para o problema de longa data de integrar modalidades diversas sem sacrificar o desempenho em qualquer domínio único.
Série RLVR Auto-Ensino: Este artigo é a terceira entrega na série "Self-Taught RLVR" dos autores, explorando o conceito de "eus paralelos" (ensino mútuo) que complementa trabalhos anteriores sobre "eus informados" e "eus temporais".
Impacto Prático: O método oferece um caminho escalável para construir agentes de IA de propósito geral que podem raciocinar simultaneamente em texto, imagens e vídeo, potencialmente reduzindo a necessidade de manter múltiplos modelos especializados.