🤖 machine learning

Super Apriel: One Checkpoint, Many Speeds

Dit paper introduceert Super Apriel, een 15B-parameter supernet die via dynamische selectie van vier verschillende attention-mechanismen per decoderlaag meerdere snelheidsprofielen uit één checkpoint mogelijk maakt, terwijl het tegelijkertijd hoge prestaties behoudt en een geoptimaliseerde zoekruimte biedt voor de beste snelheid-kwaliteit trade-offs.

Oorspronkelijke auteurs: SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejas

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejaswi Madhusudhan, Shruthan Radhakrishna, Srinivas Sunkara, Valerie Becaert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superkrachtige robot hebt die heel goed kan denken en praten. Dit is een taalmodel, zoals de beroemde AI's die we vandaag kennen. Maar er is een groot probleem: deze robots zijn vaak traag en verbruiken veel energie, vooral als ze lange verhalen moeten lezen of schrijven.

De onderzoekers van ServiceNow hebben een oplossing bedacht die ze Super Apriel noemen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Zwitsers Mes" van AI

Stel je een keuken voor met één grote, zware chef-kok (de AI). Deze chef kan alles perfect maken, maar het kost veel tijd en energie om elk gerecht te bereiden.

Super Apriel is geen enkele chef, maar een keuken met vier verschillende soorten messen die op elk moment gebruikt kunnen worden:

Het Grote Mes (Full Attention): Dit is de zware, precieze chef. Hij kijkt naar elk woord in de hele zin om de betekenis te begrijpen. Het is super nauwkeurig, maar traag en duur.
Het Snijplankje (Sliding Window): Kijkt alleen naar de laatste paar woorden. Snel, maar mist de context van ver weg.
Het Magische Zelfstortende Mes (KDA & GDN): Dit zijn slimme, snelle messen die patronen herkennen zonder alles te hoeven lezen. Ze zijn heel snel en zuinig, maar soms iets minder precies bij complexe taken.

Het unieke aan Super Apriel is dat één en dezelfde robot al deze vier messen in zijn arsenaal heeft. Je hoeft geen nieuwe robot te bouwen voor elke taak.

2. De "Schakelaar" (Het Geniale Deel)

Normaal gesproken moet je kiezen: of je bouwt een trage, super-nauwkeurige robot, of een snelle, slordige robot. Als je later wilt switchen, moet je de hele robot vervangen.

Bij Super Apriel heb je één checkpoint (één bestand). Op het moment dat iemand een vraag stelt, kun je als manager beslissen:

"Voor deze moeilijke wiskundetoets: gebruik voor elke laag het Grote Mes." (Resultaat: Perfecte antwoorden, maar langzaam).
"Voor dit snelle chatgesprek: gebruik voor de meeste lagen de Snelle Messen en alleen op de belangrijkste plekken het Grote Mes." (Resultaat: Vliegensvlug, en nog steeds heel goed).

Je kunt deze instellingen live schakelen zonder de robot opnieuw te hoeven laden. Het is alsof je in je auto een knop hebt om te switchen tussen "Race-modus" (snel, minder comfort) en "Comfort-modus" (langzaam, alles perfect), zonder de auto te hoeven vervangen.

3. De "Proefkeuken" (Hoe ze het hebben gemaakt)

Het was heel moeilijk om te weten welke combinatie van messen het beste werkt. Er zijn 48 lagen in de robot, en voor elke laag zijn er 4 opties. Dat zijn meer combinaties dan er sterren aan de hemel staan.

De onderzoekers hebben een slimme truc gebruikt:

Training: Ze lieten de robot oefenen met alle messen door elkaar. Soms gebruikte hij het Grote Mes, soms het Snelle Mes, willekeurig. Zo leerde de robot hoe hij met elk type mes moest werken.
De "Prognose": Ze bouwden een slimme voorspeller (een soort simulator). Deze simulator kon snel berekenen: "Als we op laag 5 het Snelle Mes gebruiken en op laag 10 het Grote Mes, hoe snel en hoe goed wordt het?"
De Lijst met Opties: Dankzij deze simulator konden ze een "menu" maken met de beste combinaties.
- Optie A: 100% kwaliteit, 1x snelheid.
- Optie B: 96% kwaliteit, 3x sneller.
- Optie C: 77% kwaliteit, maar 10x sneller!

4. Waarom is dit belangrijk?

Voor bedrijven is dit een droomscenario:

Flexibiliteit: 's Nachts, als er weinig mensen online zijn, kunnen ze de "Kwaliteits-modus" gebruiken voor de beste antwoorden. 's Middags, als er duizenden mensen tegelijk chatten, schakelen ze naar de "Snelheids-modus" om alles vlot te houden.
Kostenbesparing: Je hoeft niet tien verschillende robots te onderhouden. Je hebt er maar één, en je past de instellingen aan.
Lange Verhalen: Hoe langer de tekst die de robot moet lezen, hoe groter het voordeel. De snelle modellen worden bij lange teksten steeds sneller ten opzichte van de trage modellen.

Samenvatting

Super Apriel is als een multifunctioneel keukenapparaat dat je kunt instellen op "Bakken", "Roeren" of "Snijden" afhankelijk van wat je vandaag wilt koken. Je koopt maar één apparaat, maar je kunt het gebruiken voor elke situatie, van een snelle maaltijd tot een feestmaal, zonder ooit een nieuw apparaat te hoeven kopen.

Ze hebben de code en de "robot" zelf gratis beschikbaar gemaakt, zodat iedereen dit slimme systeem kan gebruiken.

Probleemstelling

De inferentie-kosten van grote taalmodellen (LLMs) worden steeds meer een knelpunt, vooral door de Full Attention (FA)-mechanismen. Bij autoregressieve decoding groeit de KV-cache (Key-Value cache) lineair met de sequentielengte, wat leidt tot hoge geheugenvereisten en een doorvoer (throughput) die beperkt wordt door geheugenbandbreedte in plaats van rekenkracht.

Bestaande hybride modellen proberen dit op te lossen door FA in sommige lagen te vervangen door efficiëntere alternatieven (zoals Sliding Window Attention of lineaire recurrente modellen). Echter, deze modellen hebben meestal een vaste architectuur: de keuze welke lagen welke mixer gebruiken, wordt vastgelegd tijdens het ontwerp of na het trainen. Dit resulteert in één enkel "operatiepunt" (speed-qualiteit trade-off) per checkpoint. Dit is onflexibel voor diverse scenario's:

Werklast-heterogeniteit: Lange contexten vereisen andere instellingen dan korte prompts.
Load-adaptieve serving: De behoefte aan snelheid versus kwaliteit fluctueert gedurende de dag.
Taakgevoelige kwaliteit: Niet alle taken degradeert even snel bij het vervangen van FA-lagen (bijv. langeafstandsretrieval is gevoeliger dan lokaal redeneren).

Huidige oplossingen vereisen het trainen en deployen van meerdere aparte modellen voor verschillende snelheidsniveaus, wat inefficiënt is.

Methodologie: Super Apriel

Super Apriel introduceert een supernet-architectuur van 15 miljard parameters die alle mogelijke configuraties binnen één checkpoint bevat.

1. Architectuur en Mixer-Vocabulaire
Het model is gebaseerd op de Apriel 1.6 teacher (48 decoderlagen). Elke decoderlaag is uitgerust met vier verschillende "mixers" (token-interactiemodules), waarvan er één per laag kan worden geselecteerd tijdens de inferentie:

Full Attention (FA): Exacte interactie ( $O(n^2)$ ), hoge kwaliteit, hoge kosten.
Sliding Window Attention (SWA): Beperkt tot een venster van 4096 tokens ( $O(w)$ ).
Kimi Delta Attention (KDA): Recurrente staat met kanaal-gewijze gating.
Gated DeltaNet (GDN): Recurrente staat met gating, zeer efficiënt ( $O(1)$ state size).

Een placement is een specifieke configuratie die voor elke van de 48 lagen één mixer kiest. Dit creëert een familie van architekturen die bijna alle parameters (FFN, embeddings, normalisatie) delen, maar verschillen in de mixer-blokken.

2. Trainingsproces
Het trainen bestaat uit twee fasen:

Fase 1: Stochastische Distillatie (S1): Het supernet wordt getraind door te distilleren van de bevroren Apriel 1.6 teacher. Tijdens elke forward pass wordt per laag willekeurig één van de vier mixers geselecteerd (uniforme sampling). Hierdoor leren alle mixers gelijktijdig in één enkele run. De gedeelde parameters blijven bevroren; alleen de mixer-weights worden bijgewerkt.
Fase 2: Supervised Fine-Tuning (SFT): Na distillatie wordt het model verder gefinetuned op instructie-data. Hierbij kan gekozen worden voor targeted sampling (trainen op een selectie van de beste gevonden configuraties) of global sampling. De auteurs tonen aan dat targeted SFT op de beste configuraties leidt tot de beste prestaties.

3. Placement Optimalisatie
Omdat de zoekruimte ( $4^{48}$ ) te groot is om exhaustief te doorzoeken, gebruiken de auteurs een surrogaatmodel gebaseerd op Cluster Expansion (uit de statistische fysica).

Dit model schat de kwaliteitsscore van een placement op basis van per-laag en paar-lagen interacties.
Het model wordt getraind op een dataset van geëvalueerde placements.
Dankzij de lineaire decomposeerbare structuur van het surrogaatmodel kan de optimale placement voor elke kostenbudget exact worden gevonden via dynamisch programmeren (zonder heuristiek).
Dit resulteert in een Pareto-grens (Pareto frontier) van snelheid versus kwaliteit.

4. Inferentie en Serving
Het model wordt geserveerd via een vLLM-plugin.

Single-preset mode: Gewone inferentie met één vaste configuratie.
Supernet mode: Het volledige supernet wordt in het geheugen geladen. De "placement" kan per verzoek worden gewisseld zonder het gewicht van het model opnieuw te hoeven laden (slechts de mixer-blokken worden gewisseld). Dit duurt slechts 5-15 seconden.
Speculatieve Decoding: Omdat alle mixers in hetzelfde checkpoint zitten, kan de goedkope all-GDN configuratie dienen als "draft model" en de dure all-FA configuratie als "verifier", zonder een apart draft-model nodig te hebben.

Belangrijkste Resultaten

Flexibiliteit: Super Apriel biedt meerdere snelheidspresets uit één checkpoint.
- De all-FA preset komt overeen met de Apriel 1.6 teacher (74.2% gemiddelde score).
- Hybride presets bieden een decode-speedup van 2.9x tot 10.7x (bij 32k context) met een kwaliteitsbehoud van 96% tot 77%.
Schaalvoordeel bij Lange Context: De snelheidsvoordelen van efficiënte mixers nemen toe bij langere contexten. Waar externe hybride modellen 5-46% extra snelheid gainen bij het verhogen van 16k naar 32k tokens, behalen Super Apriel-placements 80-155% extra snelheid. Dit komt doordat de efficiënte mixers een vaste geheugenfootprint hebben, terwijl FA nog steeds kwadratische kosten heeft.
Training Dynamics:
- Op een 0.5B dev-model stabiliseren de ranglijsten van placements zeer snel (binnen de eerste paar procent van het trainen).
- Op de 15B schaal is er echter meer volatiliteit, vooral bij de "frontier"-configuraties (de beste trade-offs). Dit betekent dat resultaten van kleinere modellen niet direct overdraagbaar zijn; grootschalige validatie is noodzakelijk.
Vergelijking: Super Apriel presteert beter dan bestaande hybride modellen (zoals Nemotron-Nano, Falcon-H1R, OLMo-Hybrid) op de 15B schaal, vooral wat betreft de flexibiliteit en de snelheid bij lange contexten.

Bijdragen

Super Apriel Supernet: Het eerste vrijgegeven token-mixer supernet waarbij elke laag vier getrainde opties biedt, wat runtime-plaatsswitching mogelijk maakt.
Trainingsrecept: Een methode voor stochastische distillatie gevolgd door gerichte SFT, waarbij alle mixers gelijktijdig worden getraind.
Optimalisatie Framework: Een cluster-expansion surrogaatmodel dat exacte, kosten-gedwongen optimalisatie toestaat over een enorme combinatorische zoekruimte.
Open Source Release: De weights, de Fast-LLM training code, de vLLM serving code en een toolkit voor placement-optimalisatie zijn open source beschikbaar gesteld.

Betekenis en Impact

Super Apriel verandert de deployment-strategie voor LLMs fundamenteel. In plaats van een compromis te kiezen vóór de release (tussen snelheid en kwaliteit), wordt de speed-quality trade-off een runtime-controle.

Operational Simplicity: Eén artifact om te versiebeheren en deployen.
Load-Adaptive Serving: Diensten kunnen tijdens piekuren overschakelen naar snelle, minder nauwkeurige presets, en tijdens rustige momenten naar hoogwaardige presets, zonder nieuwe modellen te hoeven laden.
Toekomstgericht: De methode maakt het mogelijk om de infrastructuur te schalen naar langere contexten zonder dat de inferentiekosten exponentieel stijgen, omdat de efficiënte mixers lineair schalen.

Het paper toont aan dat het mogelijk is om een "supernet" te trainen dat de beste van beide werelden biedt: de kwaliteit van een full-attention model en de snelheid van lineaire recurrente modellen, allemaal binnen één enkel checkpoint.