💻 computer science

OneComp: One-Line Revolution for Generative AI Model Compression

OneComp ist ein Open-Source-Framework, das die Komplexität der Generative-AI-Modellkomprimierung durch einen hardwarebewussten, automatisierten und schrittweise verfeinernden Quantisierungsprozess vereinfacht, um den Übergang von algorithmischer Forschung zur produktionsreifen Bereitstellung zu ermöglichen.

Ursprüngliche Autoren: Yuma Ichikawa, Keiji Kimura, Akihiro Yoshida, Yudai Fujimoto, Hiroki Tokura, Yamato Arai, Yoshiyuki Ishii, Yusei Kawakami, Genki Shikada, Achille Jacquemond, Yoshihiko Fujisawa, Katsuki Fujisawa, Taku

Veröffentlicht 2026-04-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuma Ichikawa, Keiji Kimura, Akihiro Yoshida, Yudai Fujimoto, Hiroki Tokura, Yamato Arai, Yoshiyuki Ishii, Yusei Kawakami, Genki Shikada, Achille Jacquemond, Yoshihiko Fujisawa, Katsuki Fujisawa, Takumi Honda, Akira Sakai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, genialen Koch (das KI-Modell), der die besten Rezepte der Welt kennt. Dieser Koch ist jedoch so groß und schwer, dass er nicht in Ihre kleine Küche passt. Er braucht einen riesigen Kühlschrank (den Speicher), um alle Zutaten zu lagern, und er braucht einen sehr starken Herd (die Rechenleistung), um zu kochen.

Das Problem: Die meisten von uns haben nur eine normale Küche. Wir können diesen riesigen Koch nicht einfach so einstellen.

Hier kommt OneComp ins Spiel. OneComp ist wie ein genialer Küchen-Organisator, der den riesigen Koch in eine Version verwandelt, die in jede normale Küche passt, ohne dass er vergisst, wie man kocht.

Hier ist die Geschichte, wie OneComp das macht, ganz einfach erklärt:

1. Das Problem: Der riesige Koch

Moderne KI-Modelle sind wie Bibliotheken mit Milliarden von Büchern. Um sie zu nutzen, braucht man riesige Server. Das ist teuer und langsam.

Die Lösung: Man muss die Bücher "zusammenfassen". Man schreibt die wichtigsten Punkte auf kleine Karteikarten (das nennt man Quantisierung). Aber wenn man das falsch macht, vergisst der Koch, wie man ein Omelett rührt, und das Essen schmeckt schrecklich.

2. Die alte Methode: Ein chaotischer Werkzeugkasten

Bisher war es wie ein Handwerker, der in einem riesigen, unordentlichen Schuppen steht. Es gibt tausende verschiedene Werkzeuge (Algorithmen), aber niemand weiß genau, welches für welche Aufgabe das richtige ist. Man muss selbst entscheiden: "Soll ich hier die Schraube A oder B nehmen? Wie viel Kraft soll ich aufwenden?" Das ist kompliziert und führt oft zu Fehlern.

3. Die OneComp-Methode: Der automatische Küchen-Assistent

OneComp ist wie ein Roboter-Koch, der die ganze Arbeit für Sie übernimmt. Sie geben ihm nur zwei Dinge:

Den Namen des Kochs (das Modell).
Die Größe Ihrer Küche (wie viel Speicher Sie haben).

Und dann passiert Magie:

Schritt A: Die Inspektion (Der "AutoBit"-Planer)

Der Roboter schaut sich den Koch genau an. Er merkt: "Oh, dieser Teil des Kochs (die Suppe) ist sehr empfindlich, da brauchen wir feine Messer (hohe Präzision). Aber dieser Teil (das Brot) ist robust, da reicht ein grobes Messer (weniger Präzision)."
Statt überall das gleiche Werkzeug zu benutzen, passt er die Werkzeuge genau an die Stelle an. Das spart Platz, ohne die Qualität zu verlieren.

Schritt B: Der mehrstufige Prozess (Vom "Einfachen" zum "Perfekten")

OneComp arbeitet nicht alles auf einmal, sondern in Stufen, je nachdem, wie viel Platz in Ihrer Küche ist:

Stufe 1: Der schnelle Überblick (Layer-wise)
Der Roboter nimmt den Koch und schaut sich eine Station nach der anderen an. Er packt die Zutaten dort ein, wo sie gerade stehen. Das geht super schnell und passt sogar auf einen kleinen Laptop. Das Ergebnis ist schon gut, aber nicht perfekt.
- Das Geniale: OneComp merkt sofort: "Oh, wenn ich hier die Zutaten etwas anders packe, wird das Ergebnis später besser." Es korrigiert Fehler, die beim Packen entstehen, sofort.
Stufe 2: Der Gruppen-Check (Block-wise)
Wenn Sie etwas mehr Platz haben, schaut der Roboter nicht nur auf eine Station, sondern auf ganze Arbeitsgruppen (z. B. "Suppen-Station" und "Fleisch-Station" zusammen). Er sorgt dafür, dass diese Gruppen perfekt zusammenarbeiten. Das Ergebnis ist noch besser.
Stufe 3: Der große Feinschliff (Global)
Wenn Sie einen riesigen Serverraum haben, schaut der Roboter auf den ganzen Koch gleichzeitig. Er vergleicht den neuen, kleinen Koch mit dem riesigen Original und justiert jeden einzelnen Knopf, bis das Essen fast genauso schmeckt wie beim Original.

Schritt C: Der "Pivot"-Trick (Das Geheimnis)

Das Beste an OneComp ist, dass Sie nie bei Stufe 1 aufhören müssen, wenn Sie nicht wollen.
Stellen Sie sich vor, Sie haben einen Rohbau (Stufe 1). OneComp sagt: "Super, das ist schon ein bewohnbares Haus! Aber wenn Sie noch mehr Geld haben, bauen wir ein Bad dazu (Stufe 2) und dann ein Dach (Stufe 3)."
Jede Stufe verbessert das Ergebnis der vorherigen. Sie können also jederzeit aufhören, wenn es für Ihre Zwecke reicht, oder weitermachen, wenn Sie das Maximum wollen.

4. Die Extrem-Situation: Wenn der Platz winzig ist

Manchmal wollen wir den Koch so klein machen, dass er in eine Handtasche passt (nur 1 oder 2 Bits). Normale Methoden scheitern hier, weil die Karteikarten zu ungenau werden.
OneComp nutzt hier eine spezielle Technik namens MDBF.

Die Analogie: Statt jeden einzelnen Buchstaben aufzuschreiben, nutzt OneComp ein System aus Bausteinen. Es baut das Essen aus wenigen, aber sehr cleveren Bausteinen zusammen. Es ist wie ein Origami-Kunstwerk: Aus einem einzigen Blatt Papier (wenige Bits) wird eine komplexe Figur. Das funktioniert auch bei extrem wenig Platz erstaunlich gut.

Zusammenfassung

OneComp ist nicht nur ein neues Werkzeug, sondern ein neuer Weg.

Früher: Sie mussten selbst entscheiden, welches Werkzeug Sie nehmen, und oft hat es nicht gepasst.
Heute mit OneComp: Sie sagen nur "Hier ist mein Modell, hier ist mein Platz", und OneComp baut automatisch den besten, kleinsten und schnellsten Koch für Sie.

Es macht die High-Tech-KI für jeden zugänglich, egal ob Sie nur einen kleinen Laptop oder einen riesigen Server haben. Es ist der Schlüssel, damit diese genialen KI-Modelle nicht nur in den Laboren der Supermächte bleiben, sondern auf Ihrem Handy, in Ihrem Auto oder in Ihrer kleinen Firma laufen können.

1. Problemstellung

Die Bereitstellung von Foundation-Modellen (z. B. LLMs mit Milliarden von Parametern) stößt aufgrund des enormen Speicherbedarfs, der Latenz und der Hardwarekosten an Grenzen. Während das Training oft in hoher Präzision (FP16/BF16) erfolgt, ist die Inferenz auf kommerzieller Hardware oft nicht möglich, wenn das Modell nicht komprimiert wird.

Herausforderung: Die Landschaft der Post-Training-Quantisierung (PTQ) ist fragmentiert. Praktiker müssen sich durch eine Vielzahl von Algorithmen, Kalibrierungsstrategien und hardwareabhängigen Ausführungsregimen orientieren.
Lücke: Es gibt keine einheitliche, automatisierte Pipeline, die die Komplexität der Algorithmenauswahl, der Bit-Breiten-Planung und der mehrstufigen Sequenzierung für den Nutzer übernimmt. Bestehende Lösungen erfordern oft manuelle Konfiguration oder bieten nur isolierte Optimierungsschritte (z. B. nur Layer-wise oder nur Block-wise), was zu suboptimalen Ergebnissen führt.

2. Methodik: OneComp Framework

OneComp ist ein Open-Source-Framework, das die manuelle Arbeit in einen reproduzierbaren, ressourcenadaptiven Pipeline-Prozess verwandelt. Das Kernprinzip ist die Behandlung des ersten quantisierten Checkpoints als „Pivot", auf dem alle weiteren Verbesserungen aufbauen.

A. Ressourcengesteuerte Pipeline

Die Pipeline passt sich automatisch an die verfügbare GPU-Speichergröße an und durchläuft folgende Stufen:

Untersuchung (Investigation): Analyse der Quantisierungsempfindlichkeit jeder Schicht.
AutoBit (Mixed-Precision Planning): Ein Optimierer löst ein ganzzahliges lineares Programm, um heterogene Bit-Breiten für verschiedene Module unter einem globalen Speicherbudget zu planen. Sensible Schichten erhalten mehr Bits, robuste weniger.
Vorverarbeitung (Preprocessing): Anwendung äquivalenter Transformationen (z. B. SmoothQuant, SpinQuant/Rotation), um Ausreißer in Gewichten und Aktivierungen zu verteilen und die Quantisierung zu erleichtern.
Quantisierungs-Engine (Stufenweise Verfeinerung):
- Layer-wise PTQ: Quantisierung Schicht für Schicht (speichereffizient, läuft auf einer GPU). OneComp nutzt hier QEP (Quantization Error Propagation), um Fehler aus vorherigen Schichten zu korrigieren, und LPCD (Submodule-Aware Coordinate Descent), um gekoppelte Submodule (z. B. Attention-Köpfe) gemeinsam zu optimieren.
- Block-wise PTQ: Gemeinsame Optimierung aller Schichten innerhalb eines Transformer-Blocks. Dies nutzt Distillation von einem FP16-Lehrmodell, um Interaktionen innerhalb des Blocks zu erfassen.
- Global PTQ: Optimierung des gesamten Modells gleichzeitig (z. B. via KL-Divergenz-Distillation), um langreichweitige Abhängigkeiten zu korrigieren.
Fine-Tuning (Optional): Anwendung von QLoRA auf den quantisierten Backbone, um verbleibende Fehler zu korrigieren oder Domänenanpassung zu ermöglichen.

B. Quantisierungsformate

OneComp unterstützt verschiedene Formate je nach Bit-Breite:

3–4 Bit: JointQ, eine Weiterentwicklung von GPTQ, die Skalen und ganzzahlige Gewichte gemeinsam optimiert (statt alternierend), was zu besseren Ergebnissen führt.
1–2 Bit (Extreme Low-Bit): Strukturierte binäre Faktorisierung.
- DBF: Zerlegung in binäre Vorzeichenmatrizen und skalare Diagonalmatrizen.
- MDBF (Multi-Envelope DBF): Eine Weiterentwicklung, die die eindimensionale Skalierung durch eine Rang- $l$ -Envelope ersetzt, um die Magnitudenverteilung besser abzubilden und die Genauigkeit bei extrem niedrigen Bit-Breiten zu erhöhen.

3. Schlüsselbeiträge

End-to-End Automatisierung: OneComp wandelt die Expert-Arbeit in eine „One-Line"-Befehlszeile um. Es wählt automatisch den besten Workflow basierend auf dem Modell und der Hardware aus.
Pivot-basierte Architektur: Jeder Schritt (Layer $\to$ Block $\to$ Global) verbessert den vorherigen Checkpoint. Der Nutzer kann bei jedem Schritt stoppen, wenn die Ressourcen erschöpft sind, und erhält dennoch ein valides Modell.
Fortschrittliche Fehlerkorrektur:
- QEP: Korrigiert das Quantisierungsziel basierend auf der Fehlerfortpflanzung aus vorherigen Schichten.
- LPCD: Optimiert gekoppelte Submodule (z. B. Query/Key-Paare) gemeinsam, um Inkonsistenzen zu vermeiden.
Erweiterbarkeit: Das Framework ist so gestaltet, dass neue Algorithmen als „Refiner" integriert werden können, ohne die Pipeline neu zu entwerfen.
Extreme Kompression: Einführung und Validierung von MDBF für 1–2 Bit Quantisierung, was signifikant besser ist als herkömmliche uniforme Quantisierung oder DBF.

4. Experimentelle Ergebnisse

Die Evaluation erfolgte an Modellen der Familien LLaMA (8B) und Qwen (8B, 14B) sowie kleineren Modellen.

AutoBit vs. Uniform: Die gemischte Bit-Breiten-Zuweisung (AutoBit) übertrifft die einheitliche Zuweisung signifikant. Bei LLaMA-3-8B (4.00 bpw) fiel die Perplexität von 383 (Uniform) auf 7.04 (Act.-aware), was nahe am Full-Precision-Baseline liegt.
Fehlerkorrektur (QEP/LPCD): Im Layer-wise-Modus verbessert QEP die Perplexität drastisch (z. B. von 665 auf 7.67 bei 4-bit/channel). LPCD bringt zusätzliche Verbesserungen, indem es Residual-Stream-Kopplungen berücksichtigt.
JointQ vs. GPTQ: JointQ übertrifft standardmäßiges GPTQ konsistent in Perplexität und Zero-Shot-Accuracy, insbesondere bei 3-Bit und pro-Kanal-Quantisierung.
Extreme Low-Bit (1–2 Bit): MDBF behält bei 1.00 und 1.50 Bit pro Gewicht (BPW) eine sinnvolle Genauigkeit bei, während uniforme Methoden versagen. MDBF ist dabei deutlich besser als DBF.
Monotone Qualitätssteigerung: Die Ergebnisse zeigen, dass die Qualität mit jedem zusätzlichen Rechenaufwand (Layer $\to$ Block $\to$ Global) monoton steigt. Selbst bei 1 Bit führt Global PTQ zu weiteren Verbesserungen.

5. Bedeutung und Ausblick

OneComp schließt die Lücke zwischen algorithmischer Forschung und produktionsreifer Bereitstellung.

Praktische Relevanz: Es ermöglicht die Bereitstellung von großen Modellen auf begrenzter Hardware (z. B. einzelne Consumer-GPUs) ohne manuelle Feinabstimmung.
Ökonomie: Durch effiziente Kompression wird die Abhängigkeit von roher GPU-Leistung reduziert, was die Kosten für Inferenz senkt.
Zukunft: Die Autoren planen, OneComp zu einer umfassenden Kompressionsplattform auszubauen, die auch Aktivierungsquantisierung, KV-Cache-Kompression und Pruning integriert.

Zusammenfassend stellt OneComp einen Paradigmenwechsel dar: weg von der manuellen Auswahl isolierter Quantisierungstechniken hin zu einem automatisierten, ressourcenadaptiven Ökosystem, das die bestmögliche Qualität für das verfügbare Hardware-Budget liefert.