🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

O artigo propõe a Destilação Próxima à Política (NPD), um framework assíncrono que acelera a destilação de conhecimento on-policy ao desacoplar a geração do treinamento e empregar filtragem $\Delta$ -IFD para mitigar o atraso da política, alcançando uma aceleração de 8,1x e desempenho superior ao SFT padrão e a modelos maiores.

Autores originais: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A Incompatibilidade "Professor-Aluno"

Imagine que você está ensinando um aluno (um modelo de IA pequeno) a escrever redações fazendo-o copiar um mestre professor (um modelo de IA gigante).

O Jeito Antigo (Distilação Padrão): Você dá ao aluno uma lista de redações que o professor já escreveu. O aluno as decora. Mas, quando o aluno faz uma prova, ele precisa escrever do zero. Como ele apenas memorizou as respostas perfeitas do professor, ele fica confuso quando precisa gerar suas próprias frases. É como um aluno que consegue recitar um roteiro, mas trava quando lhe pedem para improvisar.
O Jeito "On-Policy" (A Correção Cara): Para corrigir isso, você faz o aluno escrever suas próprias redações primeiro e depois as mostra ao professor para correção. Isso funciona muito bem porque o aluno aprende com seus próprios erros. No entanto, é incrivelmente lento. Toda vez que o aluno escreve uma frase, o professor precisa parar, ler, avaliar e dar feedback antes que o aluno possa escrever a próxima frase. É como um tutor que se recusa a deixar o aluno escrever uma palavra até ter avaliado a anterior.

A Solução: Near-Policy Distillation (NPD)

Os autores propõem um novo método chamado Near-Policy Distillation. Pense nele como uma linha de montagem de alta velocidade que mantém os benefícios do método "On-Policy" sem a lentidão.

Veja como funciona, dividido em três partes:

1. A Linha de Montagem Assíncrona (Desacoplamento)

Em vez de professor e aluno trabalharem em uma conversa lenta, um para um, o NPD os separa.

O Trabalho do Aluno: O modelo do aluno roda rápido em um computador, gerando milhares de redações (respostas) de uma só vez, como uma fábrica produzindo produtos. Ele não espera pelo professor.
O Trabalho do Professor: Uma vez que o aluno tem uma grande pilha de redações, o modelo do professor as analisa todas de uma vez. Como o professor não está esperando o aluno digitar, ele pode processá-las em "pacotes" (como ler um capítulo inteiro de um livro de uma vez, em vez de uma página por vez).
O Resultado: Isso é 8,1 vezes mais rápido que o antigo método lento, porque o computador não fica ocioso esperando por feedback.

2. O "Filtro de Segurança" (O Mecanismo ∆-IFD)

Há um detalhe. Como o aluno está gerando redações antes de o professor avaliá-las, o aluno pode ficar um pouco "bêbado" com suas próprias ideias. Ele pode começar a escrever nonsense ou coisas totalmente erradas porque sua "política" (sua maneira de pensar) se afastou da do professor.

Para corrigir isso, o artigo introduz um Filtro Inteligente chamado ∆-IFD.

A Analogia: Imagine que o aluno é um chef novato e o professor é um chef com estrela Michelin. O aluno cozinhou um monte de pratos.
- Zona 1 (Degenerada): O aluno cozinha algo tão simples e estranho (como uma tigela de água pura) que até o professor acha muito fácil, mas o aluno fica confuso. O filtro joga isso fora.
- Zona 2 (Desconexão Cognitiva): O aluno cozinha um prato no qual ele tem muita confiança, mas o chef Michelin acha que é lixo. Isso é perigoso porque o aluno está teimosamente errado. O filtro joga isso fora.
- Zona 3 (A Zona de Aprendizado Proximal): O aluno cozinha algo que está ligeiramente acima de seu nível de habilidade, mas o professor concorda que é bom e útil. Esta é a única zona da qual o aluno aprende.

Esse filtro garante que o aluno aprenda apenas com exemplos "Cachinhos Dourados" — nem muito fáceis, nem muito difíceis e nem perigosamente errados. Isso mantém o treinamento estável, mesmo que o aluno e o professor não estejam conversando em tempo real.

3. A "Atualização Esparsa" (O Reinício Ocasional)

Geralmente, nessas linhas de montagem rápidas, as ideias do aluno podem se afastar demais do estilo do professor ao longo do tempo.

A Correção: Em vez de parar toda a fábrica para sincronizar a cada segundo (o que é lento), o NPD para a linha apenas ocasionalmente para redefinir o cérebro do aluno e fazê-lo corresponder ao estilo atual do professor.
O Resultado: O artigo descobriu que fazer esse "reinício" apenas uma ou duas vezes durante todo o processo de treinamento é suficiente para manter tudo no caminho certo, economizando quantidades massivas de tempo.

O Grande Final: Um Super-Aluno

O artigo mostra que este método não apenas treina o aluno mais rápido; torna o aluno mais inteligente.

O Resultado: Eles pegaram um modelo pequeno de 1 bilhão de parâmetros (uma IA "minúscula") e o treinaram usando este método.
A Comparação: Este modelo minúsculo, após ser treinado com NPD e um pouco de aprendizado por reforço extra, obteve 68,73% em um teste difícil de raciocínio.
O Choque: Ele superou um modelo muito maior e famoso (Qwen3-1.7B) que tem 1,7 bilhão de parâmetros e obteve 63,69%.

Resumo

Near-Policy Distillation é como montar uma fábrica de alta velocidade onde um aluno aprende com o feedback de um professor sem esperar na fila. Ele usa um filtro inteligente para descartar exemplos ruins e reinícios ocasionais para manter o aluno no caminho certo. O resultado é uma IA minúscula que aprende mais rápido, mais barato e acaba sendo mais inteligente que modelos muito maiores.

Resumo Técnico: Destilação Próxima à Política (NPD)

1. Declaração do Problema

A Destilação de Conhecimento (KD) padrão para Modelos de Linguagem Grandes (LLMs) autoregressivos enfrenta uma fundamental incompatibilidade de distribuição: os estudantes são treinados em sequências forçadas pelo professor, mas geram sequências autoregressivas durante a inferência. Enquanto métodos on-policy (por exemplo, GKD, DistiLLM) mitigam isso ao treinar em saídas geradas pelo estudante (SGOs), eles dependem de frameworks semelhantes ao Aprendizado por Reforço (RL) computacionalmente caros. Esses frameworks exigem inferência síncrona professor-estudante, impedindo o uso de empacotamento de sequências e resultando em baixas taxas de utilização de tokens e baixa vazão de treinamento. Por outro lado, o Ajuste Fino Supervisionado (SFT) padrão suporta empacotamento de sequências, mas falha em corrigir a mudança de distribuição no momento da inferência, levando ao viés de exposição e acúmulo de erros.

2. Metodologia: Destilação Próxima à Política (NPD)

Os autores propõem a Destilação Próxima à Política (NPD), um framework assíncrono projetado para desacoplar a geração do estudante do loop de treinamento. Essa reformulação permite que o sistema aproxime os benefícios de correspondência de distribuição da destilação on-policy, mantendo a alta vazão do SFT off-policy.

Arquitetura Central

O pipeline NPD consiste em três fases assíncronas:

Geração Impulsionada pelo Estudante: O modelo estudante atual gera respostas para um conjunto de dados de prompts. Essas sequências são geradas em lotes de alta vazão (por exemplo, usando vLLM).
Anotação do Professor via Pré-carregamento Paralelo Empacotado: Diferentemente dos métodos on-policy que exigem decodificação autoregressiva sincronizada, o NPD concatena múltiplas respostas do estudante em sequências de comprimento fixo. O modelo professor processa essas sequências por meio de uma etapa de pré-carregamento (prefill) paralela para gerar logits. Apenas os logits top- $k$ são registrados para equilibrar armazenamento e qualidade de supervisão.
Otimização Composta: O estudante é atualizado usando uma arquitetura SFT padrão com uma função de perda composta:
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
onde $L_{KD}$ é uma divergência KL Top- $k$ calculada apenas sobre as previsões de alta confiança do professor.

Abordando o Atraso da Política: $\Delta$ -IFD e Atualizações Esparsas

A natureza assíncrona do NPD introduz atraso da política, onde a política de geração de dados se desvia da política de treinamento atual, potencialmente introduzindo ruído. O NPD contrabalança isso com dois mecanismos:

Filtragem $\Delta$ -IFD: Um mecanismo heurístico de seleção de amostras baseado na métrica de Dificuldade de Seguimento de Instruções (IFD). Calcula a dificuldade diferencial: $\Delta IFD = IFD_{Professor} - IFD_{Estudante}$ $Δ I F D = I F D_{P r o f essor} - I F D_{E s t u d an t e}$ .
- Zona Degenerada ( $\Delta IFD < 0$ ): Amostras onde o professor é mais confiante que o estudante (frequentemente padrões triviais ou sem significado) são rejeitadas.
- Zona de Desconexão Cognitiva ( $\Delta IFD > \tau$ ): Amostras onde o estudante é confiante, mas o professor é altamente incerto (indicando erros graves) são rejeitadas.
- Zona de Aprendizado Próximo ( $0 \le \Delta IFD \le \tau$ ): Apenas amostras onde o professor confirma a qualidade básica e a lacuna de dificuldade é moderada são mantidas. Isso garante que as atualizações permaneçam dentro de uma "zona segura de aprendizado próximo".
Atualizações Esparsas do Estudante: Para evitar que a política de geração se desvie significativamente, o modelo estudante é atualizado apenas periodicamente (por exemplo, uma vez a cada 10 épocas) em vez de continuamente. Isso minimiza o custo computacional da sincronização da política, mantendo o estado "próximo à política".

Sinergia com Aprendizado por Reforço (RL)

O NPD serve como uma inicialização superior para o RL subsequente (por exemplo, GRPO). Ao treinar exclusivamente em dados filtrados e de alta qualidade, a massa de probabilidade do estudante concentra-se em uma variedade de trajetórias logicamente corretas. Isso efetivamente estreita o espaço de exploração para a etapa subsequente de RL, permitindo que ela contorne a exploração estocástica ineficiente e foque na otimização de granularidade fina.

3. Contribuições Principais

Framework NPD: Um framework de destilação assíncrona que desacopla a geração do treinamento, permitindo empacotamento de sequências e alcançando uma aceleração de 8,1 $\times$ sobre baselines on-policy, mantendo seus benefícios de desempenho.
Mecanismos de Estabilização: A integração de atualizações esparsas e o mecanismo de filtragem $\Delta$ -IFD mitiga efetivamente o atraso da política e o ruído das amostras. Isso previne gradientes dominados por ruído e estabiliza empiricamente a trajetória de otimização, mantendo a divergência KL abaixo de 0,10.
Inicialização para RL: O método demonstra que modelos treinados com NPD fornecem um ponto de partida significativamente melhor para o RL, estreitando o espaço de busca e permitindo desempenho assintótico superior.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando o openPangu-Embedded-7B como professor e o openPangu-Embedded-1B como estudante, juntamente com comparações com modelos Qwen2.5-Math.

Desempenho de Destilação: O NPD superou o SFT padrão em 8,09% e a abordagem SeqKD padrão em 4,83% em um conjunto de dados industrial de grande escala (1,2 milhão de amostras).
Eficiência: Comparado ao método on-policy mais avançado DistiLLM-2, o NPD alcançou precisão superior nos benchmarks GSM8K e MATH-500 com uma redução de 8,1 $\times$ no tempo de treinamento (1,48 horas NPU vs. 12,00 horas NPU por época).
Sinergia com RL: Quando usado como inicialização para GRPO, o modelo NPD alcançou uma pontuação média final de 68,73% em 11 benchmarks.
Comparação com o Estado da Arte: O modelo final openPangu-Embedded-1B-RL (1 bilhão de parâmetros) superou o substancialmente maior Qwen3-1.7B (63,69%) com uma pontuação de 68,73%. Também garantiu pontuações líderes no GSM8K (87,60%) e MATH-500 (84,76%).

5. Significado e Alegações

O artigo afirma que o NPD oferece um caminho escalável para a inteligência onipresente em dispositivos ao conciliar IA de alto desempenho com restrições de borda. Ao estreitar efetivamente o espaço de exploração para o RL subsequente e permitir o empacotamento eficiente de sequências, o framework demonstra que metodologias avançadas de treinamento e alinhamento podem ser mais impactantes do que apenas escalar o tamanho do modelo. Os autores enfatizam que sua abordagem reduz o custo de treinamento e implantação de modelos menores melhor alinhados, tornando LLMs de alta capacidade mais acessíveis para cenários de implantação do mundo real que exigem baixa latência e preservação de privacidade.

O trabalho conclui que, embora o NPD seja limitado pela distribuição do professor, sua capacidade de filtrar erros sistêmicos via $\Delta$ -IFD e estabilizar o treinamento através de atualizações esparsas o torna uma solução robusta para transferência eficiente de conhecimento em modelos autoregressivos.