Résumé technique : OP-MIX (On-Policy Mix)

1. Énoncé du problème

Le mélange de données — le processus consistant à déterminer la distribution de probabilité optimale sur différents domaines de données durant l'entraînement d'un modèle de langage (LM) — est un facteur critique pour la qualité du modèle. Cependant, les méthodes existantes de mélange de données présentent des limitations significatives dans le contexte du cycle de vie complet d'un LM :

• Hypothèses de domaines statiques : La plupart des méthodes supposent un ensemble fixe de domaines de données, échouant à prendre en compte la réalité de l'apprentissage continu où de nouveaux jeux de données (par exemple, des corpus d'affinement par instruction) arrivent de manière dynamique.
• Dépendance à des proxies hors politique : Les approches actuelles entraînent souvent des modèles « proxy » séparés et plus petits sur des mélanges candidats pour extrapoler les performances. Cela est coûteux en calcul, s'adapte mal à l'augmentation du nombre de domaines et souffre d'un décalage de distribution, car la dynamique d'apprentissage du proxy diverge de celle du modèle cible, en particulier aux stades avancés de l'entraînement (entraînement intermédiaire, affinement par instruction).
• Fragmentation du cycle de vie : Il n'existe pas d'algorithme unifié fonctionnant efficacement à travers l'entraînement initial, l'entraînement intermédiaire continu et l'affinement par instruction continu.

L'article postule que le mélange de données est fondamentalement un problème de prise de décision en ligne qui nécessite une solution unique et unifiée capable de s'adapter aux données évolutives sans dépendre de modèles proxy séparés.

2. Méthodologie : OP-MIX

Les auteurs proposent OP-MIX (On-Policy Mix), un algorithme qui estime les ratios optimaux de mélange de données en exploitant deux idées clés pour éviter l'explosion combinatoire des runs d'entraînement et la divergence des proxies hors politique.

Mécanismes principaux

1. Proxies en politique via LoRA : Au lieu d'entraîner des petits modèles séparés, OP-MIX entraîne un seul adaptateur Low-Rank Adaptation (LoRA) par domaine de données directement à partir du modèle de base actuel. Cela garantit que le proxy reste « en politique », reflétant la dynamique d'apprentissage réelle et l'état des paramètres du modèle en cours d'entraînement.
2. Interpolation linéaire pour la simulation de mélanges : Pour simuler différents mélanges de données sans réentraînement, OP-MIX interpole linéairement les poids des adaptateurs LoRA entraînés. S'appuyant sur des découvertes récentes concernant la connectivité des modes linéaires, la méthode suppose que la surface de perte du mélange de modèles complets peut être approximée par l'interpolation des adaptateurs LoRA. Cela permet à l'algorithme d'évaluer les mélanges candidats via des passes avant peu coûteuses plutôt que des runs d'entraînement complets.

Flux de travail de l'algorithme

Dans une étape d'apprentissage continu où $K$ nouveaux domaines arrivent :

1. Entraînement des adaptateurs : Entraîner un adaptateur LoRA pour chaque nouveau domaine ($D_{m+k}$) et un adaptateur « ancien » ($D_{old}$) représentant le mélange de tous les domaines précédents, tous initialisés à partir du modèle de base actuel $\theta_{base}$.
2. Interpolation et évaluation : Échantillonner des points d'interpolation $\alpha$ dans le $K$-simplexe. Former des adaptateurs fusionnés en combinant linéairement les poids LoRA : $\theta_{\alpha} = \alpha_{old}\theta_{old} + \sum \alpha_{k}\theta_{D_{m+k}}$. Évaluer la perte par domaine de ces adaptateurs fusionnés.
3. Régression et optimisation : Ajuster un modèle de régression log-linéaire aux pertes évaluées pour estimer une surface de perte lisse sur le chemin d'interpolation. Résoudre un problème d'optimisation régularisé pour trouver les poids de mélange optimaux $\alpha^*$ minimisant la perte estimée (plus un terme de régularisation de divergence KL vers une a priori).
4. Entraînement final : Appliquer les poids de mélange optimaux calculés au modèle de base pour le run d'entraînement complet.

3. Contributions clés

L'article revendique trois contributions principales :

1. Premier algorithme universel de mélange de données : OP-MIX est la première méthode capable d'étendre les mélanges de données à de nouveaux domaines tout en évitant simultanément les modèles proxy séparés. Cela permet un mélange continu à mesure que les données évoluent, éliminant le besoin d'algorithmes spécifiques à chaque phase.
2. État de l'art sur l'ensemble du cycle de vie : Une seule instance de OP-MIX atteint des performances de pointe dans l'entraînement initial, l'entraînement intermédiaire continu et l'affinement par instruction continu, démontrant que des phases distinctes ne nécessitent pas de stratégies de mélange distinctes.
3. Efficacité dans l'apprentissage continu : Dans l'affinement par instruction continu, OP-MIX égale les performances de la distillation automatique en politique (une technique sophistiquée d'apprentissage continu) tout en utilisant 95 % moins de calcul. Il montre également que le mélange de données et les objectifs d'entraînement (comme la distillation automatique) sont des axes d'amélioration orthogonaux qui peuvent être combinés pour des gains supplémentaires.

4. Résultats expérimentaux

Les auteurs évaluent OP-MIX sur trois étapes en utilisant des modèles allant de 150 M à 7 milliards de paramètres.

• Entraînement initial : OP-MIX améliore la perplexité moyenne de 6,3 % par rapport à un entraînement sans mélange (Minimisation du Risque Empirique). Il égale les performances du meilleur point de référence (MergeMix) tout en utilisant 14 % moins de calcul et surpasse OLMix de 5 à 6 % sur toutes les échelles.
• Entraînement intermédiaire continu : OP-MIX égale presque les performances du réentraînement complet (le point de référence « skyline ») tout en utilisant jusqu'à 66 % moins de calcul. Il atténue considérablement l'oubli catastrophique par rapport aux SFT continus standards et aux points de référence à replay de données fixes.
• Affinement par instruction continu : Lorsqu'il est appliqué à Qwen2.5-7B-Instruct, OP-MIX atteint des performances comparables au Finetuning par Distillation Automatique (SDFT) avec 95 % moins de calcul. La combinaison de OP-MIX et de SDFT produit les meilleurs résultats globaux (61,9 % de précision), confirmant leur effet synergique.
• Frontière d'efficacité : Dans tous les contextes, OP-MIX domine au sens de Pareto les points de référence existants, atteignant de meilleures ou égales performances avec des coûts de calcul (FLOPs) strictement inférieurs.

5. Importance et revendications

L'article soutient que la division traditionnelle de l'entraînement des modèles de langage en phases distinctes (entraînement initial, entraînement intermédiaire, affinement) est artificielle. OP-MIX suggère une vision unifiée où l'entraînement est un processus continu unique d'apprentissage à partir des données.

En exploitant LoRA et la connectivité des modes linéaires, OP-MIX transforme le mélange de données adaptatif d'une recherche hors ligne, prohibitive en calcul, en une opération légère et répétable pouvant être exécutée à chaque fois que de nouvelles données arrivent. Les auteurs concluent que cette approche surmonte les deux principales limitations des travaux antérieurs : l'incapacité à intégrer de nouveaux jeux de données et la dépendance à des modèles proxy hors politique qui divergent de la dynamique du modèle cible.

Note : L'article reconnaît des limitations, spécifiquement que les expériences sont limitées à 530 millions de paramètres pour l'entraînement initial/intermédiaire et à 7 milliards pour l'affinement par instruction, laissant le comportement aux échelles frontalières (70 milliards+) non vérifié. Il note également que le comportement de la méthode avec un très grand nombre de domaines (10 à 100) n'est pas encore caractérisé.