🤖 machine learning

MinT: Managed Infrastructure for Training and Serving Millions of LLMs

MinT ist ein verwaltetes Infrastruktur-System, das ein effizientes Training und Serving von Millionen LoRA-basierter LLM-Richtlinien ermöglicht, indem ein einziges großes Basismodell resident gehalten wird, während gleichzeitig leichte Adapter-Revisions dynamisch verwaltet werden, wodurch erhebliche Verbesserungen in Bezug auf Skalierbarkeit, Speichereffizienz und Bereitstellungsgeschwindigkeit sowohl bei dichten als auch bei MoE-Architekturen erzielt werden.

Ursprüngliche Autoren: Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige, unglaublich teure Bibliothek von Büchern (das Basis-Modell). Diese Bücher sind enorm groß, nehmen einen ganzen Raum ein und sind sehr schwer zu bewegen.

Bei der alten Methode, wenn Sie einem Buch einen neuen Trick beibringen wollten – etwa wie man Matheaufgaben löst oder juristische Verträge schreibt –, mussten Sie das gesamte Buch fotokopieren, die neuen Notizen in die Ränder schreiben und dann diese ganze neue, schwere Kopie in einen anderen Raum bringen, um sie den Leuten zu zeigen. Wenn Sie 1.000 verschiedene Tricks beibringen wollten, bräuchten Sie 1.000 schwere Kopien des Buches, die einen massiven Platz- und Zeitaufwand zum Herumtragen verursachen würden.

MinT (MindLab Toolkit) verändert das Spiel. Anstatt das ganze Buch zu bewegen, sagt MinT: „Lassen Sie uns das schwere Buch genau dort lassen, wo es ist, in der Bibliothek verriegelt. Wir schreiben die neuen Tricks einfach auf kleine, leichte Haftnotizen (die sogenannten LoRA-Adapter)."

So funktioniert MinT, aufgeteilt in drei einfache Ideen:

1. Das „Haftnotiz"-System (Skalierung nach unten)

Anstatt eine 45-Kilogramm-Enzyklopädie zu bewegen, bewegen Sie nur eine 30-Gramm-Haftnotiz.

Die alte Methode: Um ein Modell zu aktualisieren, fügen Sie die Notizen wieder in das Buch ein und erstellen eine neue, schwere Datei. Das dauert ewig zum Speichern und Bewegen.
Die MinT-Methode: Sie lassen das schwere Buch (das Basis-Modell) im Arbeitsspeicher des Computers sitzen. Wenn Sie eine neue Fähigkeit trainieren, speichern Sie einfach die winzige Haftnotiz.
Das Ergebnis: Das Bewegen des „Updates" ist unglaublich schnell. Die Studie fand heraus, dass das Bewegen nur der Haftnotiz bei einem mittelgroßen Modell 18-mal schneller und bei einem riesigen Modell fast 3-mal schneller war als das Bewegen des ganzen Buches. Es ist wie das Senden einer Textnachricht statt dem Versenden eines Ziegelsteins.

2. Die „Umschaltstationen" (Skalierung nach oben)

Stellen Sie sich eine riesige, komplexe Maschine (einen Supercomputer) vor, die nur ein schweres Buch gleichzeitig halten kann.

Das Problem: Normalerweise benötigen Sie, wenn Sie 5 verschiedene Versionen einer Richtlinie trainieren wollen (z. B. eine für Mathe, eine für Programmieren, eine für Recht), 5 verschiedene Maschinen, von denen jede eine Kopie des schweren Buches hält. Das ist eine Verschwendung von Geld.
Die MinT-Lösung: MinT fungiert wie eine intelligente Vermittlungsstelle. Es hält das schwere Buch in der Maschine geladen. Wenn es Zeit ist, die „Mathe"-Version zu trainieren, wird die „Mathe"-Haftnotiz eingewechselt. Wenn es Zeit für „Programmieren" ist, wird diese Notiz ausgetauscht und die „Programmieren"-Notiz eingelegt.
Das Ergebnis: Sie können viele verschiedene „Richtlinien" auf derselben Maschine trainieren, ohne weitere Computer zu benötigen. Die Studie zeigte, dass dies das Training bei einem 4-Milliarden-Parameter-Modell 1,77-mal schneller und bei einem 30-Milliarden-Parameter-Modell 1,45-mal schneller machte, alles ohne zusätzlichen Speicherbedarf.

3. Der „intelligente Katalog" (Skalierung nach außen)

Stellen Sie sich eine Bibliothek mit einer Million verschiedener Haftnotizen vor, aber Ihr Leseplatz bietet nur Platz für einige wenige gleichzeitig.

Das Problem: Wenn ein Benutzer eine bestimmte Haftnotiz anfordert und diese nicht auf dem Tisch liegt, müssen Sie zum Lagerraum gehen, sie finden und zurückbringen. Wenn 1.000 Personen gleichzeitig 1.000 verschiedene Notizen anfordern, wird der Lagerraum verstopft, und alle warten in einer langen Schlange.
Die MinT-Lösung: MinT organisiert dies wie einen intelligenten Lieferdienst.
- Der Katalog: Er kann eine Million verschiedene Haftnotizen (Richtlinien) verfolgen.
- Der Cache: Er hält die beliebtesten Notizen auf einem Regal in der Nähe des Tisches (CPU-Cache), damit sie sofort bereitstehen.
- Der „Verpackungs"-Trick: Manchmal besteht eine Haftnotiz tatsächlich aus Tausenden winziger, winziger Teile (wie ein Puzzle). MinT klebt diese Teile zu einem einzigen, ordentlichen Paket zusammen, bevor er sie zum Tisch sendet. Dies macht die Lieferung 8,5-mal schneller, weil der Lieferwagen nicht 37.000 Mal anhalten muss, um winzige Puzzleteile aufzunehmen; er nimmt einfach nur eine Kiste auf.

Das große Ganze

MinT ist im Wesentlichen ein Manager für das KI-Training. Es verhindert, dass Sie Zeit und Geld verschwenden, indem Sie riesige Dateien herumtransportieren. Stattdessen hält es das schwere „Gehirn" (das Basis-Modell) an einem Ort und verwaltet die Tausenden winzigen „Fähigkeiten" (Adapter), die damit verbunden werden.

Für das Training: Es ermöglicht Ihnen, schnell zwischen verschiedenen Fähigkeiten zu wechseln, ohne das gesamte Gehirn neu laden zu müssen.
Für den Betrieb: Es ermöglicht Ihnen, Millionen verschiedener Fähigkeiten an Benutzer auszuliefern, wobei nur die spezifischen geladen werden, die in genau diesem Moment benötigt werden, und dies auf eine Weise, die das System nicht verstopft.

Kurz gesagt: Bewegen Sie nicht den Elefanten; bewegen Sie nur die Maus. MinT macht es möglich, Millionen verschiedener KI-Persönlichkeiten auf einer gemeinsamen, teuren Grundlage laufen zu lassen, ohne dass sich die Grundlage jemals bewegen muss.

Technische Zusammenfassung: MinT (MindLab Toolkit)

Problemstellung

Da sich Large Language Models (LLMs) in Richtung von Parametern im Billionen-Maßstab und lebenslanges Lernen aus Erfahrung entwickeln, ist die Infrastruktur für das Nach-Training zu einem kritischen Engpass geworden. Traditionelle Workflows verlassen sich darauf, vollständige feinabgestimmte Checkpoints für jede Modellvariante, Aufgabenverzweigung oder tenant-spezifische Anpassung zu materialisieren. Dieser Ansatz erzeugt erhebliche Skalierbarkeitsprobleme:

Ressourcenineffizienz: Das Kopieren oder Bedienen vollständiger Checkpoints für jede Policy-Variante verbraucht übermäßigen Speicher und Arbeitsspeicher, was das kontinuierliche Training und die Bereitstellung agenter Fähigkeiten erschwert.
Mismatch zwischen Training und Serving: Das Verschieben vollständiger Modelle zwischen Trainings- und Inferenz-Engines führt zu Latenz und Komplexität, insbesondere beim Management von Versionskontrolle, Rollback-Punkten und diversen Policy-Populationen über gemeinsame Basismodelle hinweg.
Skalierungsgrenzen: Da Modelle auf 1T+ Parameter wachsen (dicht und Mixture-of-Experts/MoE), wird der Overhead des Managements vollständiger Checkpoints für Tausende von LoRA (Low-Rank Adaptation) Policies prohibitiv.

Methodik: Das MinT-Framework

MindLab Toolkit (MinT) schlägt ein verwaltetes Infrastruktursystem vor, das exportierte LoRA-Adapter-Revisions als fundamentale Einheit des Policy-Managements behandelt, anstatt vollständige Modell-Checkpoints. Das System ist um eine Architektur mit „residenter Basis" herum konzipiert, bei der das Basismodell im Speicher geladen bleibt, während Aufgabenverhalten, Produktverzweigungen und experimentelle Versionen durch leichte Adapter-Revisions repräsentiert werden.

Kernarchitektur

MinT trennt den Policy-Datensatz (dienstbetriebener Lebenszykluszustand) von der Adapter-Revision (die ausführliche Nutzlast).

Adapter-zentrierter Lebenszyklus: Anstatt Adapter wieder in das Basismodell zu mergen, exportiert MinT trainierte LoRA-Parameter als serving-kompatible Revisions. Diese Revisions werden auf Kompatibilität mit der residenten Basis geprüft und direkt in Inferenz-Engines (z. B. vLLM) geladen, die bereits die Basisgewichte halten.
Zeitgeschnittenes Training: MinT unterstützt Multi-LoRA-Training auf gemeinsamen residenten Basen. Ein einzelner Trainer kann zwischen verschiedenen Policy-Datensätzen wechseln, indem er nur die LoRA-Tensoren, Optimiererzustände und Rollout-Datensätze austauscht, wobei das eingefrorene Basismodell im GPU-Speicher resident bleibt. Dies unterstützt sowohl Single-Worker-PEFT als auch verteilte Megatron-Trainingspfade.
Drei-Ebenen-Serving-Cache: Um große Policy-Populationen zu verwalten, trennt MinT die Adressierbarkeit von der Residenz:
- Adressierbarer Katalog: Ein dauerhafter Speicher aller exportierten Adapter-Revisions (bis zum Maßstab von $10^6$ ).
- CPU-Cache: Lokal zu einem Serving-Akteur, der Hunderte von Adaptern für eine schnelle Beförderung hält.
- GPU-Batch: Der aktive Satz von Adaptern, der in Inferenz-Slots für den aktuellen Decodierungsschritt resident ist.
Kaltladen als Dienstleistung: Erstkontakt-Adapter-Loads werden als geplante Dienstleistungsarbeit behandelt. MinT dedupliziert Ladeanfragen für dieselbe fehlende Policy und verwendet gepackte MoE-LoRA-Tensoren, um den Objekt-Fanout zu reduzieren, was das Laden in Live-Engines erheblich beschleunigt.

Skalierungsachsen

MinT skaliert diesen Adapter-Revision-Pfad entlang dreier Dimensionen:

Scale Up (Hochskalieren): Unterstützt LoRA RL auf frontier-skalierten dichten und MoE-Architekturen (validiert bis zu 1T Parametern). Es behandelt model-parallelles Training (Tensor-/Expert-Parallelismus), konsistente Sparse-Routing (MoE-Router-Replay) und Korrekturen für dynamische Sparse-Attention (DSA).
Scale Down (Herunterskalieren): Minimiert die Übergabe zwischen Training und Serving, indem nur der Adapter bewegt wird (oft <1% der Basismodellgröße). Dies eliminiert die Materialisierung vollständiger Checkpoints vollständig.
Scale Out (Erweitern): Erweitert den Policy-Namensraum, während die engine-lokale Ausführung begrenzt bleibt. Es entkoppelt dauerhafte Policy-Adressierbarkeit von heißen Arbeitsmengen und ermöglicht große Kataloge, ohne dass alle Adapter gleichzeitig resident sein müssen.

Hauptbeiträge

Adapter-Lebenszyklus-Management: MinT definiert einen vollständigen Lebenszyklus von der Aktualisierung bis zum Serving, einschließlich der Umwandlung von Shards für Serving, Kompatibilitätsprüfungen, Rollout-Datensätzen und Rollback-Fähigkeiten. Die Adapter-Revision wird zum festen Verhalten, das vom System ausgewählt wird.
Multi-LoRA-RL-Training im großen Maßstab: Das System demonstriert End-to-End-LoRA-RL auf großen dichten und MoE-Bereitstellungen, einschließlich 235B-A22B-Skala-Training und eines 1T-Klasse MoE-Countdown-Aufgabenpfads, mit Unterstützung sowohl für Single-Worker- als auch verteilte Megatron-Training.
Serving von Policy-Populationen: MinT bedient exportierte Adapter über shared-base vLLM-Engines und trennt dauerhafte Adressierbarkeit von CPU/GPU-hot sets. Es führt gepackte MoE-LoRA-Repräsentationen ein, die den Fanout kleiner Objekte reduzieren und die Ladezeiten für Live-Engines verbessern.
Öffentliche Reproduzierbarkeit: MinT bietet eine Tinker-kompatible API und verwendet „mint-cookbook"-Rezepte, um SFT, Preference Optimization (DPO), rollout-basiertes RL (GRPO) und AutoResearch-Beispiele durch denselben Adapter-Lebenszyklus zu reproduzieren.

Experimentelle Ergebnisse

Die Arbeit validiert die Fähigkeiten von MinT durch umfangreiche Messungen an Qwen3 (4B, 30B, 235B) und Kimi K2 (1T) Modellen:

Effizienz der Übergabe (Scale Down):
- Eine Adapter-only-Übergabe reduziert den gemessenen Übergabeschritt um den Faktor 18,3 bei einem 4B-dichten Modell und um den Faktor 2,85 bei einem 30B-MoE-Modell im Vergleich zum Mergen vollständiger Checkpoints.
- Gleichzeitiges Multi-Policy-GRPO verkürzt die Wandzeit um den Faktor 1,77 (4B) und 1,45 (30B), ohne den Spitzen-Speicherbedarf zu erhöhen.
Trainingsleistung:
- MinT trainierte erfolgreich LoRA-Policies auf einem 235B-A22B-MoE-Modell und einem 1,04T-Parameter Kimi K2-Modell und behielt Konsistenz in MoE-Router-Replay und DSA-Korrektur bei.
- Lernspuren zeigen, dass der Adapter-Lebenszyklus SFT-, DPO- und GRPO-Paradigmen mit vergleichbarer Leistung zu Full-Fine-Tuning-Baselines unterstützt (z. B. steigt GRPO-Genauigkeit von 0,11 auf 0,47 bei AIME24).
Serving-Skalierbarkeit (Scale Out):
- Das System unterstützt adressierbare Kataloge mit bis zu 100.000 Einträgen in Single-Engine-Durchläufen, mit extrapoliertem Support für $10^6$ Policies auf Fleet-Ebene.
- Optimierung des Kaltladens: Gepackte MoE-LoRA-Tensoren reduzierten Tensor-Objekte von 37.248 auf 672, was zu einer 8,5–8,7-fachen Beschleunigung beim Laden in Live-Engines (Median <0,2s) im Vergleich zu ungepackten Loads führte.
- CPU-Caches hielten erfolgreich Hunderte von Adaptern (z. B. 550 geladene Adapter unter schwacher Lokalität), während GPU-Batches auf ~64 verschiedene Adapter pro Schritt begrenzt waren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MinT Multi-Tenant-Trainingsservices für das Nach-Training im großen Maßstab zu einer praktischen Realität macht. Durch die Verschiebung der verwalteten Einheit von vollständigen Checkpoints zu Adapter-Revisions ermöglicht MinT:

Kostensenkung: Elimination der Materialisierung vollständiger Checkpoints und Reduzierung des Overheads für Datenbewegungen.
Reproduzierbarkeit: Bereitstellung einer konsistenten, dienstleistungsorientierten Schnittstelle für Training, Evaluation und Serving, die verteilte Komplexität verbirgt.
Skalierbarkeit: Ermöglichung des Managements von LoRA-Policy-Katalogen im Millionen-Maßstab über gemeinsame 1T-Klasse Basismodelle, ohne dass jede Policy ein Vollmodell-Server sein muss.

Die Autoren positionieren MinT nicht als neuen Trainingsalgorithmus, sondern als Infrastrukturschicht, die den „Adapter-Revision-Pfad" für frontier-skalierte dichte und MoE-Architekturen nutzbar macht und die spezifischen Systemherausforderungen des kontinuierlichen Trainings, der Bereitstellung und des agentic Reinforcement Learning adressiert.