🤖 machine learning

MinT: Managed Infrastructure for Training and Serving Millions of LLMs

MinT est un système d'infrastructure géré qui permet un entraînement et un déploiement efficaces de millions de politiques de LLM basées sur LoRA en maintenant un seul grand modèle de base résident tout en gérant dynamiquement des révisions d'adaptateurs légers, réalisant ainsi des améliorations significatives de l'évolutivité, de l'efficacité mémoire et de la vitesse de déploiement dans les architectures denses et MoE.

Auteurs originaux : Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une bibliothèque massive et incroyablement coûteuse de livres (le Modèle de Base). Ces livres sont énormes, occupent une pièce entière et sont très difficiles à déplacer.

Dans l'ancienne méthode, si vous vouliez enseigner à un livre un nouveau tour — comme résoudre des problèmes de mathématiques ou rédiger des contrats juridiques — vous deviez photocopier le livre entier, écrire les nouvelles notes dans les marges, puis déplacer cette nouvelle copie entière et lourde dans une autre pièce pour la montrer aux gens. Si vous vouliez enseigner 1 000 tours différents, il vous faudrait 1 000 copies lourdes du livre, occupant un espace considérable et demandant beaucoup de temps pour être déplacées.

MinT (MindLab Toolkit) change la donne. Au lieu de déplacer le livre entier, MinT dit : « Gardons le livre lourd exactement là où il est, verrouillé dans la bibliothèque. Nous écrirons simplement les nouveaux tours sur de petites notes adhésives légères (appelées adaptateurs LoRA). »

Voici comment MinT fonctionne, décomposé en trois idées simples :

1. Le système de « Notes adhésives » (Réduire l'échelle)

Au lieu de déplacer une encyclopédie de 100 livres, vous ne déplacez qu'une note adhésive d'une once.

L'ancienne méthode : Pour mettre à jour un modèle, vous fusionnez les notes dans le livre, créant un nouveau fichier lourd. Cela prend une éternité à enregistrer et à déplacer.
La méthode MinT : Vous gardez le livre lourd (le Modèle de Base) assis dans la mémoire de l'ordinateur. Lorsque vous entraînez une nouvelle compétence, vous enregistrez simplement la petite note adhésive.
Le résultat : Déplacer la « mise à jour » est incroyablement rapide. L'étude a montré que déplacer uniquement la note adhésive était 18 fois plus rapide pour un modèle de taille moyenne et près de 3 fois plus rapide pour un modèle géant par rapport au déplacement du livre entier. C'est comme envoyer un message texte au lieu d'expédier une brique.

2. Les « Stations de commutation » (Augmenter l'échelle)

Imaginez que vous avez une machine géante et complexe (un super-ordinateur) qui ne peut contenir qu'un seul livre lourd à la fois.

Le problème : Habituellement, si vous voulez entraîner 5 versions différentes d'une politique (par exemple, une pour les mathématiques, une pour le codage, une pour le droit), vous avez besoin de 5 machines différentes, chacune contenant une copie du livre lourd. C'est un gaspillage d'argent.
La solution MinT : MinT agit comme un standard téléphonique intelligent. Il garde le livre lourd chargé dans la machine. Quand vient le moment d'entraîner la version « Mathématiques », il échange la note adhésive « Mathématiques ». Quand vient le moment pour le « Codage », il retire cette note et met la note « Codage ».
Le résultat : Vous pouvez entraîner de nombreuses « politiques » différentes sur la même machine sans avoir besoin de plus d'ordinateurs. L'étude a montré que cela rendait l'entraînement 1,77 fois plus rapide pour un modèle de 4 milliards de paramètres et 1,45 fois plus rapide pour un modèle de 30 milliards de paramètres, le tout sans avoir besoin de mémoire supplémentaire.

3. Le « Catalogue intelligent » (Étendre l'échelle)

Imaginez une bibliothèque avec un million de notes adhésives différentes, mais votre bureau de lecture n'a de la place que pour quelques-unes à la fois.

Le problème : Si un utilisateur demande une note adhésive spécifique, et qu'elle n'est pas sur le bureau, vous devez aller dans la salle de stockage, la trouver et la rapporter. Si 1 000 personnes demandent 1 000 notes différentes en même temps, la salle de stockage se sature et tout le monde attend dans une longue file.
La solution MinT : MinT organise cela comme un service de livraison intelligent.
- Le Catalogue : Il peut suivre un million de notes adhésives différentes (politiques).
- Le Cache : Il garde les notes les plus populaires sur une étagère près du bureau (cache CPU) afin qu'elles soient prêtes instantanément.
- L'astuce du « Conditionnement » : Parfois, une note adhésive est en fait composée de milliers de tout petits morceaux (comme un puzzle). MinT colle ces pièces ensemble en un seul paquet soigné avant de les envoyer au bureau. Cela rend la livraison 8,5 fois plus rapide car le camion de livraison n'a pas à s'arrêter 37 000 fois pour ramasser de minuscules pièces de puzzle ; il ramasse simplement une boîte.

La vue d'ensemble

MinT est essentiellement un gestionnaire pour l'entraînement de l'IA. Il vous empêche de gaspiller du temps et de l'argent en déplaçant des fichiers géants. Au lieu de cela, il garde le « cerveau » lourd (le Modèle de Base) à un endroit et gère les milliers de petites « compétences » (Adaptateurs) qui y sont attachées.

Pour l'entraînement : Il vous permet de basculer rapidement entre différentes compétences sans recharger tout le cerveau.
Pour le service : Il vous permet de fournir des millions de compétences différentes aux utilisateurs, en chargeant uniquement celles nécessaires à cet instant précis, et ce d'une manière qui ne sature pas le système.

En résumé : Ne déplacez pas l'éléphant ; déplacez simplement la souris. MinT rend possible l'exécution de millions de personnalités d'IA différentes sur une base partagée et coûteuse sans que la base ait jamais à bouger.

Résumé Technique : MinT (MindLab Toolkit)

Énoncé du Problème

Alors que les grands modèles de langage (LLM) évoluent vers des paramètres à l'échelle du trillion et un apprentissage continu à partir de l'expérience, l'infrastructure requise pour l'après-entraînement est devenue un goulot d'étranglement critique. Les flux de travail traditionnels reposent sur la matérialisation de points de contrôle (checkpoints) entièrement affinés pour chaque variante de modèle, branche de tâche ou adaptation spécifique à un locataire. Cette approche crée des défis de scalabilité significatifs :

Inefficacité des ressources : La copie ou la diffusion de points de contrôle complets pour chaque variante de politique consomme un stockage et une mémoire excessifs, rendant difficile l'entraînement continu et le déploiement de capacités agentiques.
Inadéquation entre entraînement et diffusion : Le déplacement de modèles complets entre les moteurs d'entraînement et d'inférence introduit de la latence et de la complexité, en particulier lors de la gestion du contrôle de version, des points de retour arrière et de populations de politiques diversifiées sur des modèles de base partagés.
Limites de scalabilité : À mesure que les modèles atteignent 1T+ de paramètres (denses et Mélange d'Experts/MoE), la surcharge de gestion de points de contrôle complets pour des milliers de politiques LoRA (Low-Rank Adaptation) devient prohibitif.

Méthodologie : Le Cadre MinT

Le MindLab Toolkit (MinT) propose un système d'infrastructure gérée qui traite les révisions d'adaptateurs LoRA exportés comme l'unité fondamentale de gestion des politiques, plutôt que les points de contrôle complets du modèle. Le système est conçu autour d'une architecture de « base résidente » où le modèle de base reste chargé en mémoire, tandis que les comportements de tâche, les branches de produit et les versions expérimentales sont représentés par des révisions d'adaptateurs légers.

Architecture Principale

MinT sépare l'enregistrement de politique (état du cycle de vie détenu par le service) de la révision d'adaptateur (la charge utile exécutable).

Cycle de vie centré sur l'adaptateur : Au lieu de fusionner les adaptateurs dans le modèle de base, MinT exporte les paramètres LoRA entraînés sous forme de révisions compatibles avec la diffusion. Ces révisions sont vérifiées pour leur compatibilité avec la base résidente et chargées directement dans les moteurs d'inférence (par exemple, vLLM) qui détiennent déjà les poids de base.
Entraînement en tranches de temps : MinT prend en charge l'entraînement multi-LoRA sur des bases résidentes partagées. Un seul entraîneur peut basculer entre différents enregistrements de politiques en échangeant uniquement les tenseurs LoRA, les états de l'optimiseur et les enregistrements de déploiement (rollout), tout en maintenant le modèle de base figé résident dans la mémoire GPU. Cela prend en charge à la fois les chemins PEFT à un seul travailleur et les chemins d'entraînement Megatron distribués.
Cache de diffusion à trois niveaux : Pour gérer de grandes populations de politiques, MinT sépare l'adressabilité de la résidence :
- Catalogue adressable : Un stockage durable de toutes les révisions d'adaptateur exportées (jusqu'à l'échelle de $10^6$ ).
- Cache CPU : Local à un acteur de diffusion, contenant des centaines d'adaptateurs pour une promotion rapide.
- Lot GPU : L'ensemble actif d'adaptateurs résidents dans les slots d'inférence pour l'étape de décodage actuelle.
Chargement à froid comme travail de service : Les chargements initiaux d'adaptateurs sont traités comme un travail de service planifié. MinT déduplique les demandes de chargement pour la même politique manquante et utilise des tenseurs LoRA MoE packés pour réduire la dispersion des objets, accélérant considérablement le chargement des moteurs en direct.

Axes de Scalabilité

MinT étend ce chemin de révision d'adaptateur selon trois dimensions :

Montée en puissance (Scale Up) : Prend en charge le RL LoRA sur des architectures denses et MoE à l'échelle de pointe (validé jusqu'à 1T de paramètres). Il gère l'entraînement en parallèle de modèle (parallélisme de tenseur/expert), la cohérence du routage sparse (rejeu du routeur MoE) et les corrections d'attention sparse dynamique (DSA).
Descente en puissance (Scale Down) : Minimise le transfert entre entraînement et diffusion en ne déplaçant que l'adaptateur (souvent <1% de la taille du modèle de base). Cela élimine entièrement la matérialisation de points de contrôle complets.
Extension (Scale Out) : Étend l'espace de noms des politiques tout en bornant l'exécution locale au moteur. Il découple l'adressabilité durable des politiques des ensembles de travail chauds, permettant de grands catalogues sans exiger que tous les adaptateurs soient résidents simultanément.

Contributions Clés

Gestion du cycle de vie des adaptateurs : MinT définit un cycle de vie complet de la mise à jour à la diffusion, incluant la conversion de fragments vers la diffusion, les vérifications de compatibilité, les enregistrements de déploiement et les capacités de retour arrière. La révision d'adaptateur devient le comportement fixe sélectionné par le système.
Entraînement RL multi-LoRA à grande échelle : Le système démontre un RL LoRA de bout en bout sur des déploiements denses et MoE de grande taille, incluant un entraînement à l'échelle 235B-A22B et un chemin de tâche de compte à rebours de classe 1T, prenant en charge à la fois l'entraînement à un seul travailleur et l'entraînement Megatron distribué.
Diffusion de populations de politiques : MinT diffuse des adaptateurs exportés via des moteurs vLLM à base partagée, séparant l'adressabilité durable des ensembles chauds CPU/GPU. Il introduit des représentations LoRA MoE packées qui réduisent la dispersion des petits objets, améliorant les vitesses de chargement des moteurs en direct.
Reproductibilité publique : MinT fournit une API compatible Tinker et utilise des recettes « mint-cookbook » pour reproduire des exemples SFT, d'optimisation des préférences (DPO), de RL basé sur le déploiement (GRPO) et d'AutoResearch à travers le même cycle de vie d'adaptateur.

Résultats Expérimentaux

L'article valide les capacités de MinT grâce à des mesures extensives sur les modèles Qwen3 (4B, 30B, 235B) et Kimi K2 (1T) :

Efficacité du transfert (Descente en puissance) :
- Le transfert uniquement par adaptateur réduit l'étape de transfert mesurée de 18,3× sur un modèle dense de 4B et de 2,85× sur un modèle MoE de 30B par rapport à la fusion de points de contrôle complets.
- Le GRPO multi-politique concurrent réduit le temps réel de 1,77× (4B) et 1,45× (30B) sans augmenter la mémoire de pointe.
Performance d'entraînement :
- MinT a entraîné avec succès des politiques LoRA sur un modèle MoE 235B-A22B et un modèle Kimi K2 de 1,04T de paramètres, maintenant la cohérence dans le rejeu du routeur MoE et la correction DSA.
- Les traces d'apprentissage montrent que le cycle de vie de l'adaptateur prend en charge les paradigmes SFT, DPO et GRPO avec des performances comparables aux bases de référence d'affinage complet (par exemple, la précision GRPO passant de 0,11 à 0,47 sur AIME24).
Scalabilité de la diffusion (Extension) :
- Le système prend en charge des catalogues adressables allant jusqu'à 100 000 entrées dans des balayages à moteur unique, avec un support extrapolé pour $10^6$ politiques au niveau de la flotte.
- Optimisation du chargement à froid : Les tenseurs LoRA MoE packés ont réduit les objets de tenseur de 37 248 à 672, résultant en une accélération de 8,5 à 8,7× dans le chargement des moteurs en direct (médiane <0,2s) par rapport aux chargements dépaquetés.
- Les caches CPU ont contenu avec succès des centaines d'adaptateurs (par exemple, 550 adaptateurs chargés sous une faible localité), tandis que les lots GPU étaient bornés à environ 64 adaptateurs distincts par étape.

Importance et Revendications

L'article affirme que MinT rend les services d'entraînement multi-locataires une réalité pratique pour l'après-entraînement à grande échelle. En déplaçant l'unité gérée des points de contrôle complets vers les révisions d'adaptateurs, MinT permet :

Réduction des coûts : Élimination de la matérialisation de points de contrôle complets et réduction de la surcharge de mouvement de données.
Reproductibilité : Fourniture d'une interface cohérente au niveau du service pour l'entraînement, l'évaluation et la diffusion, masquant la complexité distribuée.
Scalabilité : Permettant la gestion de catalogues de politiques LoRA à l'échelle du million sur des modèles de base partagés de classe 1T sans exiger que chaque politique soit un serveur de modèle complet.

Les auteurs positionnent MinT non pas comme un nouvel algorithme d'entraînement, mais comme une couche d'infrastructure qui rend le « chemin de révision d'adaptateur » utilisable pour les architectures denses et MoE à l'échelle de pointe, répondant aux défis spécifiques des systèmes d'entraînement continu, de déploiement et d'apprentissage par renforcement agentique.