🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

Le papier propose la distillation proche de la politique (NPD), un cadre asynchrone qui accélère la distillation de connaissances sur la politique en découplant la génération de l'entraînement et en utilisant le filtrage $\Delta$ -IFD pour atténuer le retard de la politique, réalisant une accélération de 8,1 fois et des performances supérieures à celles de l'ajustement fin supervisé standard et de modèles plus grands.

Auteurs originaux : Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : L'Inadéquation « Enseignant-Élève »

Imaginez que vous enseignez à un élève (un petit modèle d'IA) comment rédiger des essais en lui faisant copier un maître enseignant (un géant modèle d'IA).

L'Ancienne Méthode (Distillation Standard) : Vous donnez à l'élève une liste d'essais que le maître a déjà écrits. L'élève les mémorise. Mais lorsque l'élève passe un examen, il doit écrire à partir de zéro. Parce qu'il a seulement mémorisé les réponses parfaites du maître, il est perdu lorsqu'il doit générer ses propres phrases. C'est comme un élève capable de réciter un script mais qui se fige quand on lui demande d'improviser.
La Méthode « On-Policy » (La Solution Coûteuse) : Pour corriger cela, vous faites écrire d'abord ses propres essais à l'élève, puis vous les montrez au maître pour les corrections. Cela fonctionne très bien car l'élève apprend de ses propres erreurs. Cependant, c'est incroyablement lent. Chaque fois que l'élève écrit une phrase, le maître doit s'arrêter, la lire, la noter et donner des retours avant que l'élève puisse écrire la phrase suivante. C'est comme un tuteur qui refuse de laisser l'élève écrire un mot tant qu'il n'a pas noté le précédent.

La Solution : Near-Policy Distillation (NPD)

Les auteurs proposent une nouvelle méthode appelée Near-Policy Distillation. Imaginez-la comme une chaîne de montage à haute vitesse qui conserve les avantages de la méthode « On-Policy » sans la lenteur.

Voici comment cela fonctionne, décomposé en trois parties :

1. La Chaîne de Montage Asynchrone (Découplage)

Au lieu que le maître et l'élève travaillent dans une conversation lente, un à un, la NPD les sépare.

Le Travail de l'Élève : Le modèle élève tourne rapidement sur un ordinateur, générant des milliers d'essais (réponses) tous en même temps, comme une usine produisant des produits en masse. Il n'attend pas le maître.
Le Travail du Maître : Une fois que l'élève a un gros tas d'essais, le modèle maître les examine tous en même temps. Parce que le maître n'attend pas que l'élève tape, il peut les traiter par « paquets » (comme lire tout un chapitre de livre d'un coup plutôt que page par page).
Le Résultat : C'est 8,1 fois plus rapide que l'ancienne méthode lente car l'ordinateur ne reste pas inactif en attendant des retours.

2. Le « Filtre de Sécurité » (Le Mécanisme ∆-IFD)

Il y a un piège. Parce que l'élève génère des essais avant que le maître ne les note, l'élève pourrait se « griser » un peu de ses propres idées. Il pourrait commencer à écrire des absurdités ou des choses totalement fausses parce que sa « politique » (sa façon de penser) s'est éloignée de celle du maître.

Pour corriger cela, le papier introduit un Filtre Intelligent appelé ∆-IFD.

L'Analogie : Imaginez que l'élève est un chef novice et que le maître est un chef étoilé au Michelin. L'élève prépare un tas de plats.
- Zone 1 (Dégénérée) : L'élève prépare quelque chose de si simple et d'étrange (comme un bol d'eau plate) que même le maître pense que c'est trop facile, mais l'élève est confus. Le filtre jette cela.
- Zone 2 (Déconnexion Cognitive) : L'élève prépare un plat dont il est très confiant, mais le chef Michelin pense que c'est de la daube. C'est dangereux car l'élève est obstinément dans le tort. Le filtre jette cela.
- Zone 3 (La Zone d'Apprentissage Proximale) : L'élève prépare quelque chose qui est légèrement au-dessus de son niveau de compétence, mais le maître est d'accord pour dire que c'est bon et utile. C'est la seule zone dont l'élève apprend.

Ce filtre garantit que l'élève n'apprend que des exemples « Boucle d'Or » — ni trop faciles, ni trop difficiles, et pas dangereusement faux. Cela maintient l'entraînement stable même si l'élève et le maître ne parlent pas en temps réel.

3. La « Mise à Jour Éparse » (Le Réinitialisation Occasionnelle)

Habituellement, dans ces chaînes de montage rapides, les idées de l'élève pourraient trop s'éloigner du style du maître avec le temps.

La Correction : Au lieu d'arrêter toute l'usine pour synchroniser chaque seconde (ce qui est lent), la NPD arrête la chaîne occasionnellement pour réinitialiser le cerveau de l'élève afin qu'il corresponde au style actuel du maître.
Le Résultat : Le papier a constaté que faire cette « réinitialisation » une ou deux fois seulement pendant tout le processus d'entraînement suffit à maintenir tout sur la bonne voie, économisant des quantités massives de temps.

Le Grand Final : Un Super-Élève

Le papier montre que cette méthode ne forme pas seulement l'élève plus vite ; elle rend l'élève plus intelligent.

Le Résultat : Ils ont pris un petit modèle de 1 milliard de paramètres (une IA « minuscule ») et l'ont entraîné en utilisant cette méthode.
La Comparaison : Ce modèle minuscule, après avoir été entraîné avec la NPD et un peu d'apprentissage par renforcement supplémentaire, a obtenu 68,73 % à un test de raisonnement difficile.
Le Choc : Il a battu un modèle beaucoup plus grand et célèbre (Qwen3-1.7B) qui possède 1,7 milliard de paramètres et a obtenu 63,69 %.

Résumé

La Near-Policy Distillation revient à mettre en place une usine à haute vitesse où un élève apprend des retours d'un maître sans attendre dans une file d'attente. Elle utilise un filtre intelligent pour éliminer les mauvais exemples et des réinitialisations occasionnelles pour maintenir l'élève sur la bonne voie. Le résultat est une petite IA qui apprend plus vite, moins cher, et finit par être plus intelligente que des modèles beaucoup plus grands.

Résumé Technique : Distillation de Politique Proche (NPD)

1. Énoncé du Problème

La distillation de connaissances (KD) standard pour les grands modèles de langage (LLM) autoregressifs fait face à un décalage de distribution fondamental : les étudiants sont entraînés sur des séquences forcées par l'enseignant, mais génèrent des séquences autoregressives lors de l'inférence. Bien que les méthodes on-policy (par exemple, GKD, DistiLLM) atténuent ce problème en s'entraînant sur des sorties générées par l'étudiant (SGO), elles reposent sur des cadres de type Apprentissage par Renforcement (RL) coûteux en calcul. Ces cadres nécessitent une inférence synchrone enseignant-étudiant, empêchant l'utilisation du packing de séquences et entraînant de faibles taux d'utilisation des tokens et un débit d'entraînement lent. À l'inverse, le Supervised Fine-Tuning (SFT) standard prend en charge le packing de séquences mais échoue à corriger le décalage de distribution au moment de l'inférence, conduisant à un biais d'exposition et à une accumulation d'erreurs.

2. Méthodologie : Distillation de Politique Proche (NPD)

Les auteurs proposent la Distillation de Politique Proche (NPD), un cadre asynchrone conçu pour découpler la génération de l'étudiant de la boucle d'entraînement. Cette reformulation permet au système d'approcher les avantages de l'appariement de distribution de la distillation on-policy tout en conservant le haut débit du SFT off-policy.

Architecture de Base

Le pipeline NPD se compose de trois phases asynchrones :

Génération Pilotée par l'Étudiant : Le modèle étudiant actuel génère des réponses pour un ensemble de données de prompts. Ces séquences sont générées par lots à haut débit (par exemple, en utilisant vLLM).
Annotation par l'Enseignant via Préremplissage Parallèle Empaqueté : Contrairement aux méthodes on-policy nécessitant un décodage autoregressif synchronisé, NPD concatène plusieurs réponses d'étudiant en séquences de longueur fixe. Le modèle enseignant traite ces séquences via une étape de préremplissage (prefill) parallèle pour générer des logits. Seuls les $k$ meilleurs logits sont enregistrés pour équilibrer le stockage et la qualité de la supervision.
Optimisation Composite : L'étudiant est mis à jour en utilisant une architecture SFT standard avec une fonction de perte composite :
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
où $L_{KD}$ est une divergence KL Top- $k$ calculée uniquement sur les prédictions à haute confiance de l'enseignant.

Traitement du Retard de Politique : $\Delta$ -IFD et Mises à Jour Éparses

La nature asynchrone de NPD introduit un retard de politique, où la politique de génération de données dérive par rapport à la politique d'entraînement actuelle, introduisant potentiellement du bruit. NPD y remédie grâce à deux mécanismes :

Filtrage $\Delta$ -IFD : Un mécanisme heuristique de sélection d'échantillons basé sur la métrique de Difficulté de Suivi d'Instruction (IFD). Il calcule la difficulté différentielle : $\Delta IFD = IFD_{Enseignant} - IFD_{Étudiant}$ $Δ I F D = I F D_{E n se i g nan t} - I F D_{\overset{ˊ}{E} t u d ian t}$ .
- Zone de Dégénérescence ( $\Delta IFD < 0$ ) : Les échantillons où l'enseignant est plus confiant que l'étudiant (souvent des motifs triviaux ou sans signification) sont rejetés.
- Zone de Déconnexion Cognitive ( $\Delta IFD > \tau$ ) : Les échantillons où l'étudiant est confiant mais où l'enseignant est très incertain (indiquant des erreurs graves) sont rejetés.
- Zone d'Apprentissage Proximal ( $0 \le \Delta IFD \le \tau$ ) : Seuls les échantillons où l'enseignant confirme la qualité de base et où l'écart de difficulté est modéré sont conservés. Cela garantit que les mises à jour restent dans une « zone d'apprentissage proximal sûre ».
Mises à Jour Éparses de l'Étudiant : Pour empêcher la politique de génération de s'écarter significativement, le modèle étudiant est mis à jour uniquement de manière périodique (par exemple, une fois tous les 10 époques) plutôt que continuellement. Cela minimise le coût computationnel de la synchronisation de la politique tout en maintenant l'état « proche de la politique ».

Synergie avec l'Apprentissage par Renforcement (RL)

NPD sert d'initialisation supérieure pour le RL ultérieur (par exemple, GRPO). En s'entraînant exclusivement sur des données filtrées et de haute qualité, la masse de probabilité de l'étudiant se concentre sur une variété de trajectoires logiquement correctes. Cela rétrécit efficacement l'espace d'exploration pour l'étape RL subséquente, lui permettant de contourner l'exploration stochastique inefficace et de se concentrer sur l'optimisation fine.

3. Contributions Clés

Cadre NPD : Un cadre de distillation asynchrone qui découple la génération de l'entraînement, permettant le packing de séquences et atteignant une accélération de 8,1 $\times$ par rapport aux bases on-policy tout en conservant leurs avantages de performance.
Mécanismes de Stabilisation : L'intégration de mises à jour éparses et du mécanisme de filtrage $\Delta$ -IFD atténue efficacement le retard de politique et le bruit des échantillons. Cela empêche les gradients dominés par le bruit et stabilise empiriquement la trajectoire d'optimisation, maintenant la divergence KL en dessous de 0,10.
Initialisation RL : La méthode démontre que les modèles entraînés avec NPD fournissent un point de départ nettement meilleur pour le RL, rétrécissant l'espace de recherche et permettant des performances asymptotiques supérieures.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant openPangu-Embedded-7B comme enseignant et openPangu-Embedded-1B comme étudiant, avec des comparaisons aux modèles Qwen2.5-Math.

Performance de Distillation : NPD a surpassé le SFT standard de 8,09 % et l'approche SeqKD standard de 4,83 % sur un ensemble de données industriel à grande échelle (1,2 million d'échantillons).
Efficacité : Par rapport à la méthode on-policy de pointe DistiLLM-2, NPD a atteint une précision supérieure sur les benchmarks GSM8K et MATH-500 avec une réduction de 8,1 $\times$ du temps d'entraînement (1,48 heure-NPU contre 12,00 heures-NPU par époque).
Synergie RL : Lorsqu'il est utilisé comme initialisation pour GRPO, le modèle NPD a obtenu un score moyen final de 68,73 % sur 11 benchmarks.
Comparaison avec l'État de l'Art : Le modèle final openPangu-Embedded-1B-RL (1 milliard de paramètres) a surpassé le modèle Qwen3-1.7B nettement plus grand (63,69 %) avec un score de 68,73 %. Il a également obtenu des scores leaders sur GSM8K (87,60 %) et MATH-500 (84,76 %).

5. Importance et Revendications

L'article revendique que NPD offre une voie évolutive vers une intelligence omniprésente sur appareil en conciliant l'IA haute performance avec les contraintes des périphériques. En rétrécissant efficacement l'espace d'exploration pour le RL ultérieur et en permettant un packing de séquences efficace, le cadre démontre que des méthodologies avancées d'entraînement et d'alignement peuvent avoir un impact plus grand que la simple augmentation de la taille du modèle. Les auteurs soulignent que leur approche réduit le coût d'entraînement et de déploiement de modèles plus petits et mieux alignés, rendant les LLM à haute capacité plus accessibles pour des scénarios de déploiement réel nécessitant une faible latence et une préservation de la vie privée.

L'ouvrage conclut que, bien que NPD soit contraint par la distribution de l'enseignant, sa capacité à filtrer les erreurs systémiques via $\Delta$ -IFD et à stabiliser l'entraînement grâce à des mises à jour éparses en fait une solution robuste pour le transfert efficace de connaissances dans les modèles autoregressifs.