🤖 machine learning

Super Apriel: One Checkpoint, Many Speeds

Le papier présente Super Apriel, un supernet de 15 milliards de paramètres permettant de sélectionner dynamiquement parmi quatre types de mélangeurs par couche pour offrir plusieurs compromis vitesse-qualité à partir d'un seul point de contrôle, tout en maintenant des performances compétitives grâce à une distillation stochastique et une optimisation de placement.

Auteurs originaux : SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejas

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejaswi Madhusudhan, Shruthan Radhakrishna, Srinivas Sunkara, Valerie Becaert

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚀 Super Apriel : Le Camion de Déménagement "Tout-en-Un"

Imaginez que vous devez déménager une maison. Habituellement, vous avez deux options :

Un camion géant (très lent, mais il transporte tout sans rien casser). C'est ce qu'on appelle l'attention complète (Full Attention) dans les intelligences artificielles.
Une petite voiture de sport (très rapide, mais elle ne peut pas tout transporter d'un coup). C'est ce qu'on appelle les modèles "hybrides" ou efficaces.

Le problème ? Jusqu'à présent, vous deviez choisir votre véhicule avant de commencer le déménagement. Si vous vous trompiez, vous deviez arrêter tout, changer de camion, et recommencer. C'était lent et coûteux.

Super Apriel, c'est une invention révolutionnaire qui change la donne. C'est un camion magique qui peut se transformer en camion géant ou en voiture de sport en une seconde, sans même s'arrêter, et sans avoir besoin de deux camions différents.

🧩 Comment ça marche ? (L'Analogie du Chef de Cuisine)

Imaginez une grande équipe de 48 chefs (les couches du modèle) qui préparent un repas complexe.

Le problème habituel : Chaque chef utilise toujours la même technique (par exemple, couper les légumes au couteau, ce qui est précis mais lent).
La solution Super Apriel : Chaque chef a maintenant quatre outils dans sa poche, tous appris et prêts à l'emploi :
1. Le Couteau de Chef (Attention Complète) : Précis, lent, pour les tâches difficiles.
2. La Lame de Sécurité (Fenêtre Glissante) : Rapide, coupe seulement ce qui est devant.
3. Le Robot Delta (KDA) : Très rapide, pour les tâches répétitives.
4. Le Mélangeur Gated (GDN) : Ultra-rapide, pour les tâches simples.

Le génie de Super Apriel, c'est que l'équipe a été entraînée à utiliser tous ces outils en même temps.

Le patron (le serveur) peut dire : "Pour ce client, on veut de la vitesse !" -> Les chefs 1 à 10 utilisent le couteau (pour la qualité), mais les chefs 11 à 48 utilisent le robot et le mélangeur (pour la vitesse).
Une minute plus tard, un autre client arrive : "On veut la perfection absolue !" -> Tout le monde sort le couteau.

Le plus fou ? On n'a pas besoin de changer de camion. C'est le même camion (le même fichier de modèle) qui s'adapte instantanément à la demande.

🎯 Pourquoi est-ce une révolution ?

1. Un seul fichier pour tout faire

Avant, si vous vouliez un modèle rapide et un modèle précis, il fallait entraîner et stocker deux modèles différents. Avec Super Apriel, vous téléchargez un seul fichier. C'est comme avoir un smartphone qui peut devenir une console de jeu ou un ordinateur de bureau selon vos besoins, sans rien installer de nouveau.

2. La vitesse augmente avec la longueur

Plus le texte est long (comme un livre entier), plus les modèles classiques ralentissent. Super Apriel, lui, devient encore plus rapide quand le texte est long.

Analogie : Imaginez un embouteillage. Les voitures classiques (modèles classiques) sont bloquées. Super Apriel, c'est comme si les voitures pouvaient se transformer en hélicoptères dès que la route devient trop longue.

3. Le compromis intelligent

Le papier montre qu'on peut choisir son niveau de compromis :

Qualité maximale : On garde tous les couteaux (100% de la qualité, 1x de vitesse).
Vitesse extrême : On utilise surtout les robots (77% de la qualité, mais 10 fois plus rapide !).
Le juste milieu : On trouve un équilibre parfait (par exemple, 96% de qualité pour 3 fois plus rapide).

🔍 Comment ont-ils trouvé la meilleure combinaison ?

Avec 48 chefs et 4 outils chacun, il y a des milliards de combinaisons possibles (plus que d'étoiles dans la galaxie !). Comment savoir quel chef doit utiliser quel outil ?

Les chercheurs ont créé un "Cristal de Prédiction" (un modèle mathématique appelé surrogate).

Au lieu de tester toutes les combinaisons (ce qui prendrait des années), ce cristal regarde les combinaisons et prédit : "Si on met le robot ici et le couteau là, on aura telle vitesse et telle qualité."
Cela leur a permis de cartographier toutes les meilleures options possibles et de créer une "carte au trésor" avec les 8 meilleurs réglages prêts à l'emploi.

🏁 En résumé

Super Apriel, c'est comme si l'intelligence artificielle avait appris à être multitâche au niveau de son architecture même.

Pour les entreprises : C'est une économie d'argent énorme. Plus besoin de payer pour deux modèles. On utilise le même, et on règle la vitesse comme un bouton de volume.
Pour vous : Cela signifie que dans le futur, vous pourrez avoir des IA très intelligentes qui répondent instantanément, même sur des documents très longs, sans que cela coûte une fortune en énergie.

C'est un pas de géant vers des IA plus flexibles, plus rapides et plus économes, qui s'adaptent à vos besoins en temps réel, comme un caméléon technologique. 🦎✨

1. Le Problème : Le Dilemme Vitesse-Qualité et la Rigidité des Modèles Hybrides

Les modèles de langage (LLM) modernes font face à un goulot d'étranglement croissant : le coût de l'inférence avec l'Attention Complète (Full Attention - FA). Dans le décodage auto-régressif, la mémoire du cache KV (Key-Value) croît linéairement avec la longueur de la séquence, limitant le débit (throughput) et la taille des lots (batching).

Pour y remédier, des architectures hybrides remplacent la FA par des mécanismes plus efficaces (fenêtres glissantes, récurrents, etc.) dans certaines couches. Cependant, la littérature actuelle présente deux limitations majeures :

Rigidité de déploiement : Les modèles hybrides existants ont une configuration fixe (un placement spécifique des mécanismes d'attention) déterminée avant l'entraînement ou après conversion. Cela force un compromis unique entre vitesse et qualité, défini au moment du déploiement.
Hétérogénéité des charges : Différentes applications nécessitent des points de fonctionnement différents (ex: haute qualité pour le raisonnement complexe vs haute vitesse pour le chat rapide). Gérer cela avec des modèles séparés est coûteux et inefficace.

Le défi est donc de créer un système capable de fournir plusieurs préréglages de vitesse (speed presets) à partir d'un seul point de contrôle (checkpoint), sans recharger les poids, tout en maintenant une qualité compétitive.

2. Méthodologie : Le Supernet et l'Optimisation de Placement

Les auteurs proposent Super Apriel, un "supernet" (sur-réseau) de 15 milliards de paramètres conçu pour résoudre ce problème.

A. Architecture du Supernet

Structure : Basé sur Apriel 1.6 (48 couches), chaque couche de décodeur est équipée de quatre types de mélangeurs (mixers) entraînés :
1. FA (Full Attention) : Attention complète exacte ( $O(n^2)$ ).
2. SWA (Sliding Window Attention) : Fenêtre glissante locale ( $O(w \cdot d)$ ).
3. KDA (Kimi Delta Attention) : Attention delta avec gating par canal.
4. GDN (Gated DeltaNet) : Règle delta avec gating, état récurrent fixe.
Flexibilité : Un "placement" est une sélection d'un seul mélangeur par couche. Le checkpoint contient les poids pour les 4 options à chaque couche, mais seul un sous-ensemble est actif à l'inférence.
Partage de paramètres : Les couches FFN, les embeddings et les normalisations sont partagés. Seuls les blocs de mélangeurs diffèrent.

B. Procédure d'Entraînement

Distillation Stochastique (S1) : Le supernet est entraîné par distillation à partir d'un enseignant gelé (Apriel 1.6). À chaque étape, un mélangeur est sélectionné aléatoirement pour chaque couche. Cela permet d'entraîner simultanément tous les mécanismes et leurs interactions.
Affinement Supervisé (S2 - SFT) : Après la distillation, le modèle subit un fine-tuning supervisé. Une stratégie ciblée est utilisée pour optimiser des placements spécifiques identifiés comme optimaux.

C. Optimisation du Placement (Placement Optimization)

L'espace de recherche est immense ( $4^{48}$ combinaisons). Pour le rendre traitable, les auteurs utilisent une approche basée sur la physique statistique :

Expansion de Cluster : La fonction de score (qualité) est décomposée en interactions locales (couches individuelles, paires adjacentes, triplets).
Surrogate Model (Modèle de substitution) : Un modèle linéaire bayésien est ajusté sur les données d'évaluation pour prédire la qualité d'un placement sans l'exécuter entièrement.
Optimisation Exacte : Grâce à la structure additive du modèle de substitution, l'optimisation sous contrainte de coût (vitesse) peut être résolue exactement via programmation dynamique, parcourant la frontière de Pareto (qualité vs vitesse) en quelques secondes.

D. Inférence et Commutation

Switching à la demande : Le système vLLM modifié permet de changer de "placement" (préréglage) entre les requêtes sans recharger le modèle depuis le disque. Seuls les poids des blocs de mélangeurs concernés sont transférés (CPU $\to$ GPU), une opération rapide (5-15s).
Décodage Spéculatif : Le checkpoint partagé permet d'utiliser un placement efficace (ex: tout GDN) comme modèle "brouillon" (draft) et le placement FA comme vérificateur, éliminant le besoin d'un modèle brouillon externe.

3. Contributions Clés

Super Apriel (Supernet) : Le premier checkpoint unique offrant quatre choix de mélangeurs par couche, permettant de basculer dynamiquement entre 8 préréglages de performance (de 2.9x à 10.7x de vitesse) à l'inférence.
Recette d'Entraînement : Une méthode de distillation stochastique suivie d'un SFT ciblé, permettant d'entraîner des architectures hybrides complexes sans entraînement de zéro.
Optimisation par Surrogate : Utilisation de l'expansion de cluster et de la programmation dynamique pour explorer efficacement l'espace combinatoire des placements et identifier les meilleurs compromis.
Analyse de la Dynamique du Paysage : Étude montrant que si les classements des placements se stabilisent tôt lors de l'entraînement stochastique, les configurations les plus efficaces (frontière de Pareto) à grande échelle (15B) présentent une volatilité plus élevée qu'à petite échelle (0.5B), mettant en garde contre l'extrapolation directe des petits modèles.
Open Source : Publication des poids, du code d'entraînement (Fast-LLM), du code d'inférence (vLLM) et de l'outil d'optimisation.

4. Résultats Principaux

Qualité vs Vitesse :
- Le préréglage tout-FA correspond aux performances de l'enseignant Apriel 1.6 (74.2 vs 73.9 en moyenne sur toutes les tâches).
- Les préréglages hybrides recommandés offrent un débit de décodage multiplié par 2.9x à 10.7x (à 32k tokens) tout en conservant 96% à 77% de la qualité.
- Exemple : Le préréglage le plus rapide (10.7x) conserve 77% de la qualité globale et 94.6% des capacités de raisonnement mathématique.
Avantage de l'Échelle de Contexte :
- L'avantage de vitesse des placements efficaces s'accroît avec la longueur du contexte. De 16k à 32k tokens, les placements efficaces de Super Apriel gagnent 80% à 155% de vitesse relative supplémentaire, contre seulement 5-46% pour les modèles hybrides externes. Cela est dû à la nature à mémoire fixe des mélangeurs récurrents (GDN/KDA) qui évitent la surcharge du cache KV quadratique.
Comparaison avec l'État de l'Art :
- Super Apriel surpasse ou égale des modèles hybrides externes plus grands (ex: Nemotron-3-Nano 30B, Qwen-3.5 27B) en termes d'efficacité par paramètre et de flexibilité.
- Le fine-tuning ciblé (SFT) améliore considérablement les capacités de raisonnement des placements efficaces, récupérant des performances perdues lors de la distillation seule.

5. Signification et Impact

Ce travail marque un changement de paradigme dans le déploiement des LLM :

Flexibilité Opérationnelle : Au lieu de déployer plusieurs modèles pour différents besoins, une seule instance peut s'adapter dynamiquement à la charge (ex: haute qualité la nuit, haute vitesse en journée) ou au type de tâche.
Efficacité Économique : Réduction des coûts d'infrastructure en évitant la duplication des modèles et en maximisant l'utilisation du matériel via des préréglages optimisés.
Décodage Spéculatif Intégré : L'utilisation du supernet pour le décodage spéculatif simplifie l'architecture de service en éliminant le besoin de modèles brouillons distincts.
Validité Scientifique : L'étude des dynamiques de paysage à différentes échelles (0.5B vs 15B) fournit des insights cruciaux pour l'entraînement futur de supernets, soulignant que les stratégies optimales à petite échelle ne se transfèrent pas toujours aux grands modèles.

En résumé, Super Apriel démontre qu'il est possible de créer une famille d'architectures cohérente et performante à partir d'un seul checkpoint, offrant un contrôle granulaire sur le compromis vitesse-qualité au moment de l'exécution.