🤖 machine learning

Co-Evolving Policy Distillation

Ce papier propose la distillation de politiques co-évolutive (CoPD), un nouveau paradigme d'entraînement qui intègre l'entraînement parallèle d'experts avec une distillation de politiques en ligne bidirectionnelle pour surmonter la perte de capacités et les écarts comportementaux, permettant ainsi des performances supérieures en raisonnement unifié sur texte, image et vidéo par rapport aux méthodes existantes de RLVR et de distillation.

Auteurs originaux : Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'entraîner un seul étudiant, d'une intelligence exceptionnelle, à devenir expert dans trois domaines très différents : Mathématiques, Art et Analyse Vidéo.

Par le passé, les chercheurs ont tenté deux approches principales pour y parvenir, mais toutes deux présentaient un défaut majeur. Cet article présente une nouvelle méthode appelée Distillation de Politique Co-évolutive (CoPD) qui corrige ces défauts en faisant apprendre à l'étudiant dans un partenariat unique, à la manière d'une « danse ».

Voici comment l'article explique le problème et la solution, en utilisant des analogies simples :

Le Problème : La « Corde à Tiroir » et l'Écart « Trop Éloigné »

1. La « Corde à Tiroir » (RLVR Mixte)
Imaginez essayer d'enseigner les Mathématiques et l'Art à votre étudiant en même temps, dans la même salle de classe, avec le même professeur.

Le Problème : Les Mathématiques exigent une logique et des règles strictes, tandis que l'Art requiert de la créativité et la transgression des règles. Lorsque vous les mélangez, l'étudiant se perd. L'article appelle cela une « divergence de capacités ». C'est comme une partie de corde à tirer où la leçon de Mathématiques tire l'étudiant dans une direction, et la leçon d'Art dans l'autre. L'étudiant finit par être médiocre dans les deux domaines car les leçons s'annulent mutuellement.

2. L'Écart « Trop Éloigné » (OPD Statique)
Ainsi, les chercheurs ont tenté une approche différente : « Entraînons d'abord un expert en Mathématiques, puis entraînons séparément un expert en Art, et faisons-leur ensuite enseigner un nouvel étudiant. »

Le Problème : Au moment où l'expert en Mathématiques a terminé son entraînement, il a tellement changé qu'il ne parle plus la même « langue » que le nouvel étudiant. L'étudiant est un débutant ; l'expert est un grand maître.
L'Analogie : Imaginez un grand maître d'échecs essayant d'enseigner à un tout-petit. Le grand maître fait des coups trop complexes pour que le tout-petit les comprenne. Le tout-petit (l'étudiant) regarde les coups du grand maître (le professeur) et pense : « Je n'ai aucune idée de ce que vous faites. » Le savoir est perdu car ils sont trop éloignés dans leurs schémas de pensée. L'article appelle cela un « écart de schémas comportementaux ».

La Solution : La « Danse Co-évolutive » (CoPD)

Les auteurs proposent la CoPD, qui modifie entièrement le calendrier d'entraînement. Au lieu d'entraîner un expert d'abord pour enseigner ensuite, ils entraînent deux étudiants simultanément qui s'enseignent et apprennent constamment l'un de l'autre.

Voici comment la danse fonctionne :

Étape 1 : L'Entraînement en Solo (Phase RLVR)

L'« Étudiant en Mathématiques » ne pratique que des problèmes de Mathématiques.
L'« Étudiant en Art » ne pratique que des problèmes d'Art.
Pourquoi ? Cela leur permet de devenir vraiment bons dans leurs compétences spécifiques et de découvrir de nouvelles techniques avancées. Ils commencent à diverger dans leur pensée, ce qui est bon car cela signifie qu'ils ont de nouvelles choses à s'enseigner mutuellement.

Étape 2 : Le Changement de Partenaire de Danse (Phase OPD Mutuelle)

Avant qu'ils ne divergent trop, ils s'arrêtent et échangent les rôles.
L'Étudiant en Mathématiques tente de résoudre des problèmes d'Art, tandis que l'Étudiant en Art observe et donne des retours.
L'Étudiant en Art tente de résoudre des problèmes de Mathématiques, tandis que l'Étudiant en Mathématiques observe et donne des retours.
Pourquoi ? Parce qu'ils viennent de pratiquer ensemble, ils sont encore assez proches dans leurs schémas de pensée pour se comprendre. L'Étudiant en Mathématiques peut dire : « Je vois que tu essaies de faire X, mais voici une meilleure façon », et l'Étudiant en Art comprend réellement car ils sont toujours sur la même longueur d'onde.

Étape 3 : Répéter

Ils retournent à l'Étape 1 pour apprendre des astuces encore plus avancées, puis échangent à nouveau à l'Étape 2.
Ce cycle se répète constamment.

Pourquoi Cela Fonctionne Mieux

L'article affirme que cette méthode est supérieure pour trois raisons principales :

Pas de Corde à Tiroir : Parce qu'ils pratiquent leurs compétences spécifiques séparément pendant un certain temps, ils ne se confondent pas en mélangeant les règles des Mathématiques et de l'Art.
Pas d'Écart « Trop Éloigné » : Parce qu'ils échangent les rôles pendant l'entraînement (et non après), ils ne divergent jamais au point de ne plus pouvoir se comprendre. Ils restent dans un « point idéal » où le professeur est assez avancé pour enseigner, mais assez proche pour être compris.
Croissance Mutuelle : Ils ne sont pas simplement un professeur et un étudiant ; ils co-évoluent. Ils grandissent ensemble. L'article a découvert que le résultat final est un modèle unique qui est en réalité meilleur à la fois en Mathématiques et en Art que les « experts » individuels ne l'étaient seuls.

Les Résultats

Les chercheurs ont testé cela sur un modèle qui devait gérer du texte (Mathématiques), des images (Art) et des vidéos.

Anciennes Méthodes : Le modèle était soit confus (entraînement mixte), soit perdait des connaissances (enseignement statique).
CoPD : Le modèle a maîtrisé les trois. En fait, le modèle final « tout-en-un » a mieux performé que les experts spécialisés dont il était issu.

Résumé

Pensez à la CoPD non pas comme à une école où vous obtenez votre diplôme dans une matière avant d'en commencer une autre, mais comme à une salle de sport où deux athlètes s'entraînent ensemble. Ils font leurs propres exercices pour devenir plus forts, puis se repèrent immédiatement pour partager des conseils tant qu'ils sont encore chauds et synchronisés. Au moment où ils ont terminé, ils sont tous les deux plus forts que s'ils s'étaient entraînés seuls ou en isolation.

1. Énoncé du problème

Le papier aborde le défi de la consolidation de plusieurs capacités spécialisées (par exemple, le raisonnement textuel, le raisonnement visuel, la compréhension vidéo) en un modèle unique et unifié. Les paradigmes actuels de post-entraînement font face à deux limitations principales :

RLVR à données mixtes (Apprentissage par renforcement avec récompenses vérifiables) : L'entraînement d'un modèle unique sur des données mixtes provenant de différents domaines conduit souvent à une divergence des capacités. Parce que différentes capacités favorisent des directions d'optimisation conflictuelles, l'entraînement conjoint entraîne des conflits de gradients, provoquant un « effet de balançoire » où les gains dans un domaine se font au détriment d'un autre.
Distillation statique On-Policy (OPD/MOPD) : L'alternative standard est un pipeline en deux étapes : d'abord, entraîner des modèles « experts » séparés sur des domaines spécifiques jusqu'à convergence ; ensuite, distiller ces experts dans un modèle étudiant unique. Les auteurs identifient un défaut critique dans cette approche : au moment où la distillation commence, les experts ont considérablement dérivé dans leurs schémas comportementaux (distributions de tokens) par rapport à l'étudiant. Cette grande distance comportementale rend la supervision de l'enseignant difficile à absorber pour l'étudiant, conduisant à un transfert de connaissances sous-optimal et à l'échec de la rétention complète des capacités des experts.

2. Méthodologie : Distillation de politique co-évolutive (CoPD)

CoPD propose un cadre unifié qui entrelace l'exploration spécifique à une capacité avec la consolidation inter-domaines, permettant aux experts de co-évoluer simultanément en tant qu'enseignants et étudiants.

Mécanisme central

Au lieu d'entraîner les experts jusqu'à convergence avant la distillation, CoPD maintient des branches d'entraînement parallèles (une par capacité) qui alternent entre deux phases à chaque cycle d'entraînement :

Phase RLVR spécifique à la branche :
- Chaque branche effectue indépendamment une optimisation de politique relative de groupe (GRPO) sur ses données de domaine spécifique.
- Objectif : Approfondir l'expertise spécifique au domaine et augmenter intentionnellement l'« écart comportemental » (divergence de connaissances) entre les branches. Cela garantit que la distillation ultérieure dispose de nouvelles connaissances informatives à transférer.
Phase OPD mutuelle :
- Les branches génèrent des trajectoires (rollouts) sur les données de chacune des autres.
- Chaque branche agit comme un enseignant pour les autres, fournissant une supervision au niveau des tokens (via la minimisation de la divergence KL) sur les propres trajectoires de l'étudiant.
- Objectif : Réduire l'écart comportemental pendant que les connaissances sont encore fraîches et que les modèles sont comportementalement alignés. Cela assure une efficacité d'absorption élevée.

Caractéristiques clés de conception

Co-évolution bidirectionnelle : Contrairement aux pipelines statiques où les enseignants sont fixes, CoPD utilise une topologie dynamique où chaque branche est simultanément un enseignant et un étudiant.
Cohérence comportementale : La méthode repose sur l'hypothèse que l'efficacité de la distillation ( $\eta$ ) est positivement corrélée au recouvrement des $k$ premiers tokens entre l'enseignant et l'étudiant. CoPD maintient activement ce recouvrement au-dessus d'un seuil critique (par exemple, >0,90) en alternant les phases, empêchant ainsi les modèles de trop dériver les uns par rapport aux autres.
Évolutivité : Le cadre prend en charge $K$ branches. Pour $K > 2$ , il emploie une topologie « étoile » (hub-and-spoke) pour éviter une complexité complète par paires (par exemple, dans un cadre à 3 branches, le raisonnement textuel agit comme un hub pour les branches image et vidéo).
Intégration finale : Puisque toutes les branches commencent à partir d'une base partagée et restent étroitement couplées, le modèle unifié final est obtenu par un simple fusionnement des paramètres.

3. Contributions clés

Insight théorique : Les auteurs identifient que l'efficacité de l'OPD est inversement proportionnelle à la distance comportementale entre l'enseignant et l'étudiant. Ils démontrent via des études pilotes que les pipelines statiques opèrent dans un régime de « faible absorption » parce que les experts dérivent trop loin avant le début de la distillation.
Cadre CoPD : Ils proposent un nouveau paradigme d'entraînement qui entrelace RLVR et OPD mutuelle. Cela résout le compromis entre le besoin de divergence de connaissances (pour une distillation informative) et de proximité comportementale (pour une distillation absorbable).
Briser le « plafond de l'expert » : CoPD démontre qu'un modèle unifié peut surpasser la performance des experts individuels spécifiques à un domaine, transformant efficacement les compromis inter-domaines en gains mutuels.
Validation de l'évolutivité : La méthode est validée dans des configurations à 2 branches (Texte + Image) et à 3 branches (Texte + Image + Vidéo), prouvant son efficacité dans des scénarios multimodaux complexes.

4. Résultats expérimentaux

Le papier évalue CoPD sur Qwen3-VL-4B-Instruct à travers des benchmarks de raisonnement textuel, visuel et vidéo.

Raisonnement textuel et visuel (2 branches) :
- CoPD a atteint la précision moyenne globale la plus élevée (57,71 %), surpassant le RLVR mixte, l'OPD statique (dans les deux sens), et même les modèles Expert-Texte et Expert-Image individuels.
- Notamment, CoPD a amélioré le raisonnement textuel à 58,76 % (contre 57,89 pour l'Expert-Texte) et le raisonnement visuel à 56,97 % (contre 55,76 pour l'Expert-Image), prouvant l'effet de « gain mutuel ».
Raisonnement textuel, visuel et vidéo (3 branches) :
- CoPD a atteint une moyenne globale de 58,12 %, surpassant la ligne de base MOPD (Multi-Teacher OPD) (56,99 %) et l'Expert-Vidéo (58,75) dans le raisonnement vidéo tout en maintenant des performances élevées dans les tâches textuelles et visuelles.
- Le RLVR mixte a montré la moyenne vidéo la plus élevée parmi les lignes de base mais a subi une dégradation significative dans le raisonnement textuel, confirmant le problème de divergence des capacités.
Études d'ablation :
- La suppression de la distillation mutuelle dans l'un ou l'autre sens a provoqué des baisses de performance, confirmant la nécessité d'une co-évolution bidirectionnelle.
- Même sans fusionnement des paramètres, les branches individuelles de CoPD ont surpassé les lignes de base OPD statiques, indiquant que le processus de co-évolution lui-même crée des capacités robustes et polyvalentes.
- Le ratio optimal entre les étapes RLVR et les étapes OPD a été trouvé être de 1,5:1, équilibrant exploration et consolidation.

5. Importance

Nouveau paradigme d'entraînement : CoPD remet en question le flux de travail conventionnel « entraîner puis distiller », suggérant que l'entraînement parallèle avec distillation mutuelle continue est une stratégie d'extension plus efficace pour les modèles multi-capacités.
Résolution du problème « Tout-en-un » : Il fournit une solution au problème de longue date de l'intégration de modalités diverses sans sacrifier la performance dans un domaine unique.
Série Self-Taught RLVR : Ce papier est le troisième volet de la série « Self-Taught RLVR » des auteurs, explorant le concept de « soi parallèles » (enseignement mutuel) complétant les travaux précédents sur les « soi informés » et les « soi temporels ».
Impact pratique : La méthode offre une voie évolutive pour construire des agents d'IA à usage général capables de raisonner simultanément sur le texte, les images et la vidéo, réduisant potentiellement le besoin de maintenir plusieurs modèles spécialisés.