Technische Samenvatting: MinT (MindLab Toolkit)

Probleemstelling

Naarmate Large Language Models (LLM's) evolueren naar parameters in de orde van biljoenen en levenslang leren uit ervaring, is de infrastructuur die nodig is voor post-training een kritieke knelpunt geworden. Traditionele workflows vertrouwen op het materialiseren van volledige, fijngetune checkpoints voor elke modelvariant, taakvertakking of tenant-specifieke aanpassing. Deze aanpak creëert aanzienlijke schaalbaarheidsuitdagingen:

• Resource-inefficiëntie: Het kopiëren of serveren van volledige checkpoints voor elke beleidsvariant verbruikt excessive opslag en geheugen, waardoor continue training en implementatie van agentische capaciteiten moeilijk wordt.
• Mismatch tussen training en serveren: Het verplaatsen van volledige modellen tussen trainings- en inferentie-engines introduceert latentie en complexiteit, vooral bij het beheren van versiebeheer, terugzetpunten en diverse beleidspopulaties over gedeelde basismodellen.
• Schaalbaarheidslimieten: Naarmate modellen groeien naar 1T+ parameters (dicht en Mixture-of-Experts/MoE), wordt de overhead van het beheren van volledige checkpoints voor duizenden LoRA (Low-Rank Adaptation) beleidsregels onbetaalbaar.

Methodologie: Het MinT-kader

MindLab Toolkit (MinT) stelt een beheerd infrastructuursysteem voor dat geëxporteerde LoRA-adapterrevisies behandelt als de fundamentele eenheid van beleidsbeheer, in plaats van volledige modelcheckpoints. Het systeem is ontworpen rond een "resident basis"-architectuur waarbij het basismodel in het geheugen blijft geladen, terwijl taakgedrag, productvertakkingen en experimentele versies worden weergegeven door lichtgewicht adapterrevisies.

Kernarchitectuur

MinT scheidt het beleidsrecord (door de service beheerde levenscyclusstatus) van de adapterrevisie (de uitvoerbare payload).

1. Adaptergerichte levenscyclus: In plaats van adapters terug te samenvoegen in het basismodel, exporteert MinT getrainde LoRA-parameters als serveringscompatibele revisies. Deze revisies worden gecontroleerd op compatibiliteit met de resident basis en direct geladen in inferentie-engines (bijv. vLLM) die de basistaken al in het geheugen hebben.
2. Tijdsgefragmenteerde training: MinT ondersteunt multi-LoRA-training op gedeelde resident bases. Een enkele trainer kan schakelen tussen verschillende beleidsrecords door alleen de LoRA-tensors, optimizer-statussen en rollout-records te wisselen, terwijl het bevroren basismodel resident blijft in het GPU-geheugen. Dit ondersteunt zowel single-worker PEFT als gedistribueerde Megatron-trainingspaden.
3. Drie-laags serveringscache: Om grote beleidspopulaties te beheren, scheidt MinT adresseerbaarheid van residentie:
   • Adresseerbare catalogus: Een duurzame opslag van alle geëxporteerde adapterrevisies (tot schaal van $10^6$).
   • CPU-cache: Lokaal voor een serverende actor, met honderden adapters voor snelle promotie.
   • GPU-batch: De actieve set adapters die resident is in inferentieslots voor de huidige decodestap.
4. Koud laden als servicewerk: Eerste-aanraking adapterloads worden behandeld als gepland servicewerk. MinT dupliceert laadaanvragen voor hetzelfde ontbrekende beleid niet en gebruikt gepakte MoE LoRA-tensors om objectfan-out te verminderen, wat het laden van live engines aanzienlijk versnelt.

Schaalassen

MinT schaalt dit adapterrevisiepad langs drie dimensies:

• Schaal omhoog: Ondersteunt LoRA RL op frontier-schaal dichte en MoE-architecturen (gevalideerd tot 1T parameters). Het behandelt modelparallelle training (Tensor/Expert Parallelism), consistentie van sparse routing (MoE router replay) en correcties voor dynamische sparse attention (DSA).
• Schaal omlaag: Minimaliseert de overdracht tussen training en serveren door alleen de adapter te verplaatsen (vaak <1% van de grootte van het basismodel). Dit elimineert volledige checkpoint-materialisatie volledig.
• Schaal uit: Breidt de beleidsnaamruimte uit terwijl het engine-lokale uitvoeren wordt begrensd. Het ontkoppelt duurzame beleidsadresseerbaarheid van hete werksets, waardoor grote catalogi mogelijk zijn zonder dat alle adapters gelijktijdig resident hoeven te zijn.

Belangrijkste bijdragen

1. Beheer van adapterlevenscyclus: MinT definieert een volledige levenscyclus van update tot serveren, inclusief conversie van gesplitst naar serveren, compatibiliteitscontroles, rollout-records en terugzetmogelijkheden. De adapterrevisie wordt het vaste gedrag dat door het systeem wordt geselecteerd.
2. Grootschalige multi-LoRA RL-training: Het systeem demonstreert end-to-end LoRA RL op grote dichte en MoE-implementaties, inclusief training op schaal van 235B-A22B en een 1T-klasse MoE countdown-taakpad, met ondersteuning voor zowel single-worker als gedistribueerde Megatron-training.
3. Serveren van beleidspopulaties: MinT serveert geëxporteerde adapters via gedeelde-basis vLLM-engines, waarbij duurzame adresseerbaarheid wordt gescheiden van CPU/GPU hete sets. Het introduceert gepakte MoE LoRA-representaties die kleine-object fan-out verminderen, wat de snelheid van live engine-laden verbetert.
4. Publieke reproduceerbaarheid: MinT biedt een Tinker-compatibele API en gebruikt "mint-cookbook"-recepten om SFT, preferentieoptimalisatie (DPO), op rollouts gebaseerde RL (GRPO) en AutoResearch-voorbeelden te reproduceren via dezelfde adapterlevenscyclus.

Experimentele resultaten

Het artikel valideert de capaciteiten van MinT door uitgebreide metingen aan Qwen3 (4B, 30B, 235B) en Kimi K2 (1T) modellen:

• Efficiëntie van overdracht (Schaal omlaag):
  • Alleen-adapter-overdracht vermindert de gemeten overdrachtsstap met 18,3× op een 4B-dicht model en 2,85× op een 30B MoE-model in vergelijking met het samenvoegen van volledige checkpoints.
  • Gelijkmatige multi-beleids GRPO verkort de wandtijd met 1,77× (4B) en 1,45× (30B) zonder de piekgeheugen te verhogen.
• Trainingsprestaties:
  • MinT trainde succesvol LoRA-beleidsregels op een 235B-A22B MoE-model en een 1,04T-parameter Kimi K2-model, waarbij consistentie werd behouden in MoE router replay en DSA-correctie.
  • Leertraces tonen aan dat de adapterlevenscyclus SFT-, DPO- en GRPO-paradigma's ondersteunt met vergelijkbare prestaties als volledige fijnafstembaselines (bijv. GRPO-nauwkeurigheid stijgt van 0,11 naar 0,47 op AIME24).
• Schaalbaarheid serveren (Schaal uit):
  • Het systeem ondersteunt adresseerbare catalogi van maximaal 100.000 items in single-engine scans, met geëxtrapoleerde ondersteuning voor $10^6$ beleidsregels op vlootniveau.
  • Optimalisatie koud laden: Gepakte MoE LoRA-tensors verminderden tensorobjecten van 37.248 naar 672, wat resulteerde in een 8,5–8,7× snelheidswinst in live engine-laden (mediaan <0,2s) in vergelijking met ongepakte ladingen.
  • CPU-caches hielden succesvol honderden adapters (bijv. 550 geladen adapters onder zwakke localiteit), terwijl GPU-batches werden begrensd tot ~64 verschillende adapters per stap.

Betekenis en claims

Het artikel beweert dat MinT multi-tenant trainingsdiensten een praktische realiteit maakt voor grootschalige post-training. Door de beheerde eenheid te verschuiven van volledige checkpoints naar adapterrevisies, stelt MinT het volgende in staat:

• Kostenreductie: Eliminatie van volledige checkpoint-materialisatie en vermindering van data-overdrachtsoverhead.
• Reproduceerbaarheid: Het bieden van een consistente, serviceniveau-interface voor training, evaluatie en serveren die gedistribueerde complexiteit verbergt.
• Schaalbaarheid: Het mogelijk maken van het beheer van LoRA-beleidscatalogi op schaal van miljoenen over gedeelde 1T-klasse basismodellen, zonder dat elk beleid een full-model server hoeft te zijn.

De auteurs positioneren MinT niet als een nieuw trainingsalgoritme, maar als een infrastructuurlaag die het "adapterrevisiepad" bruikbaar maakt voor frontier-schaal dichte en MoE-architecturen, en die de specifieke systeemuitdagingen van continue training, implementatie en agentische versterkingstlearning aanpakt.