🤖 machine learning

TileQ: Efficient Low-Rank Quantization of Mixture-of-Experts with 2D Tiling

TileQ ist eine feinabstimmungsfreie Nachtrainings-Quantisierungsmethode, die 2D-Tiling-strukturierte Low-Rank-Faktoren nutzt, die über Eingabe- und Ausgabedimensionen hinweg geteilt werden, und diese mit einer fusionierten Inferenztechnik im Durchlauf kombiniert, um den Speicherbedarf und die Latenz in Mixture-of-Experts-Modellen erheblich zu reduzieren, ohne die Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Hongyaoxing Gu, Xinzhe Chen, Lijuan Hu, Fangfang Liu

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongyaoxing Gu, Xinzhe Chen, Lijuan Hu, Fangfang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige Bibliothek von Experten (Spezialisten), die für ein riesiges KI-Unternehmen arbeiten. Dieses Unternehmen verwendet ein „Mixture-of-Experts"-System (MoE). So funktioniert es: Wenn Sie eine Frage stellen, weckt die KI nicht alle Experten auf. Sie wählt nur einige wenige aus (vielleicht 2 oder 4 von 100), die für diese spezifische Frage am besten geeignet sind. Dies macht die KI sehr intelligent, aber auch sehr effizient.

Das Problem:
Obwohl die KI nur wenige Experten gleichzeitig nutzt, müssen alle von ihnen im Arbeitsspeicher des Computers (RAM) sitzen und darauf warten, aufgerufen zu werden. Es ist wie eine Bibliothek, in der jedes einzelne Buch auf dem Schreibtisch liegen muss, auch wenn Sie nur eine Seite eines Buches auf einmal lesen. Das nimmt enorm viel Platz in Anspruch und macht den Computer langsam, da er durch einen riesigen Stapel Bücher wühlen muss, nur um die wenigen zu finden, die er benötigt.

Die alte Lösung (und warum sie scheiterte):
Wissenschaftler versuchten, diese Bücher zu komprimieren, indem sie sie zusammenfassten (Quantisierung) oder in kleinere Teile zerlegten (Low-Rank).

Das Problem: Wenn Sie jeden Experten einzeln zusammenfassen, haben Sie immer noch zu viele Zusammenfassungen. Wenn Sie versuchen, Zusammenfassungen zwischen Experten zu teilen, waren die alten Methoden wie der Versuch, Bücher in einer einzigen langen Reihe (1D) zu stapeln. Es sparte etwas Platz, aber der Computer musste immer noch viel herumhüpfen, um die richtigen Seiten zu finden, was ihn langsam machte. Außerdem nahmen die „Zusammenfassungsnotizen" selbst so viel zusätzlichen Platz ein, dass die Einsparungen dadurch wieder aufgehoben wurden.

Die neue Lösung: TILEQ
Die Autoren dieses Papiers schlagen TILEQ vor. Stellen Sie sich vor, Sie organisieren die Bibliothek neu in ein 2D-Regalraster (wie ein Schachbrett) anstelle einer einzigen langen Reihe.

Hier ist die einfache Aufschlüsselung, wie TILEQ funktioniert:

1. Der Trick mit dem „2D-Tiling" (Die intelligenten Regale)

Stellen Sie sich vor, Sie haben 64 Experten. Anstatt sie als 64 separate Personen zu behandeln, betrachtet TILEQ sie und erkennt: „Hey, Experte #1 und Experte #5 denken sehr ähnlich, und Experte #2 und Experte #6 sind auch Zwillinge."

Die alte Methode: Sie fassen Experte #1 zusammen, dann Experte #2, dann Experte #3 ... und erstellen 64 separate Zusammenfassungen.
Die TILEQ-Methode: Sie ordnen diese 64 Experten in einem 8x8-Raster an (wie ein Tic-Tac-Toe-Brett, nur größer).
- Experten in derselben Zeile teilen sich eine „linkshändige Notiz" (eine gemeinsame Zusammenfassung ihrer Eingabe).
- Experten in derselben Spalte teilen sich eine „rechtshändige Notiz" (eine gemeinsame Zusammenfassung ihrer Ausgabe).
- Das Ergebnis: Anstatt 64 einzigartige Zusammenfassungen zu benötigen, benötigen Sie nur 8 Zeilen-Notizen und 8 Spalten-Notizen. Dies reduziert den Speicherbedarf für die „Notizen" drastisch.

2. Die „Ein-Pass"-Inferenz (Der Express-Aufzug)

Wenn die KI eine Frage beantworten muss, muss sie normalerweise eine separate Berechnung für jeden einzelnen Experten durchführen, den sie auswählt. Das ist wie der Aufruf eines Aufzugs für jede einzelne Person, eine nach der anderen. Es ist langsam und ineffizient.

Die TILEQ-Lösung: Da die Experten nun in einem sauberen 2D-Raster angeordnet sind und Notizen teilen, kann der Computer die „aktiven" Experten alle gleichzeitig in einer einzigen, flüssigen Bewegung verarbeiten. Es ist wie das Einschalten eines Förderbands, das alle ausgewählten Bücher auf einmal zum Leser bewegt, anstatt sie einzeln zu holen.
Der Vorteil: Dies lässt die KI viel schneller laufen (geringere Latenz), da die Computerhardware (die GPU) an einem großen, soliden Datenblock arbeiten kann, anstatt an winzigen, verstreuten Stücken.

3. Kein „Neu-Training" erforderlich

Normalerweise müssen Sie, wenn Sie eine KI komprimieren, sie erneut unterrichten (Feinabstimmung), um sicherzustellen, dass sie nicht vergisst, wie man spricht. TILEQ ist eine „Post-Training-Quantisierung" (PTQ)-Methode.

Analogie: Es ist wie das Komprimieren eines fertigen, hochauflösenden Fotos in eine kleinere Dateigröße, ohne das Foto erneut aufnehmen zu müssen. Sie verarbeiten einfach das vorhandene Bild. Dies spart eine enorme Menge an Zeit und Rechenleistung.

Die Ergebnisse

Das Papier behauptet, dass durch die Verwendung dieses 2D-Rasters und der „Ein-Pass"-Methode:

Speicher: Der zusätzliche Speicherbedarf für diese „Notizen" im Vergleich zu älteren Methoden um bis zu das 10-fache reduziert wird.
Geschwindigkeit: Die Zeit, die zum Beantworten einer Frage benötigt wird (Latenz), auf etwa 5 % dessen sinkt, was es für diese spezifischen Teile des Modells früher war.
Genauigkeit: Trotz ihrer geringen Größe und Geschwindigkeit beantwortet die KI Fragen genauso gut wie die große, unkomprimierte Version.

Zusammenfassung:
TILEQ ist eine clevere Art, die „Speichernotizen" einer intelligenten KI zu organisieren. Anstatt jedem Experten einen schweren Rucksack zu geben, gruppiert sie sie in Teams, die leichte Rucksäcke teilen. Dies ermöglicht es, das gesamte System in kleinere Computer zu packen und viel schneller laufen zu lassen, ohne etwas von seiner Intelligenz zu verlieren.

Technische Zusammenfassung: TileQ – Effiziente Low-Rank-Quantisierung von Mixture-of-Experts mit 2D-Tiling

1. Problemstellung

Mixture-of-Experts (MoE)-Modelle haben sich zu einem dominanten Paradigma für die Skalierung von Large Language Models (LLMs) entwickelt, indem sie spezialisierte „Expert"-Subnetzwerke spärlich aktivieren. Obwohl diese Architektur die Rechenkosten während der Inferenz reduziert, führt sie zu einem kritischen Speicherengpass: Der gesamte Satz von Expert-Parametern muss im Speicher verbleiben, obwohl nur eine kleine Teilmenge pro Token aktiv ist. Dieser große Speicherbedarf schränkt die Bereitstellung auf hardwarebeschränkten Systemen erheblich ein und erhöht die Kosten für Cloud-Inferenz.

Bestehende Post-Training-Quantisierungsmethoden (PTQ), insbesondere Low-Rank-Ansätze, bieten einen Weg zur Komprimierung. Allerdings weisen aktuelle State-of-the-Art-Methoden bei der Anwendung auf MoE-Modelle drei signifikante Einschränkungen auf:

Genauigkeitsverlust: Einfache Quantisierungsschemata leiden unter starken Leistungseinbußen bei extrem niedrigen Bitbreiten (z. B. 2-Bit).
Speicher-Overhead: Traditionelle Low-Rank-PTQs verursachen oft nicht zu vernachlässigenden zusätzlichen Speicher-Overhead, da sie Low-Rank-Faktoren für jeden Expert unabhängig speichern oder 1D-Sharing-Strategien verwenden, die die Expert-Redundanz nicht vollständig ausnutzen.
Inferenz-Latenz: Hochgenaue Quantisierungsmethoden führen häufig zu erheblicher Latenz. Bei MoE-Modellen, in denen Experten klein und spärlich sind, kann der Overhead durch die Verwaltung disjunkter Low-Rank-Matrizen für jeden Experten die Inferenzgeschwindigkeit um über 50 % verschlechtern und damit die Vorteile der Spärlichkeit zunichtemachen.

Darüber hinaus verschlechtern feinabstimmungsbasierte Methoden (wie LoRA) die Generalisierungsfähigkeit des Modells und sind für eine schnelle Aufgabenanpassung ohne Neustraining ungeeignet. Das Ziel besteht darin, hohe Genauigkeit und Kompressionsraten mit minimaler Inferenzlatenz ohne Feinabstimmung zu erreichen.

2. Methodik: TILEQ

Die Autoren schlagen TILEQ vor, eine feinabstimmungsfreie PTQ-Methode, die eine 2D-Tiling-strukturierte Low-Rank-Quantisierung einsetzt. Die Kerninnovation besteht darin, Low-Rank-Faktoren über sowohl Eingabe- als auch Ausgabedimensionen von MoE-Experten hinweg zu teilen, anstatt Experten unabhängig zu behandeln oder nur entlang einer einzigen Dimension zu teilen.

2.1. 2D-Tiling-strukturierte Low-Rank-Quantisierung

Die Methode approximiert die Gewichtsmatrix $W_k$ jedes Experts $k$ , indem alle $K$ Experten in einem 2D-Tiling-Layout angeordnet werden. Dies ermöglicht das Teilen von Low-Rank-Faktoren $U$ und $V$ über das Gitter hinweg.

Der Prozess umfasst fünf Schlüsselschritte:

Skalierung: Eine diagonale Skalierungsmatrix wird basierend auf Kalibrierungsdaten auf die Gewichtsmatrix jedes Experts angewendet, um Singulärvektoren mit den Eingabe-/Ausgabe-Feature-Räumen abzugleichen.
Extrahieren: Für jeden skalierten Experten werden approximative Rank- $r_0$ -SVD-Faktoren ( $U_k, V_k$ ) extrahiert. Diese werden vektorisiert und normalisiert, um Feature-Embeddings zu erstellen.
Clustering: Ein Biclustering-Algorithmus (K-Means) wird auf die normalisierten Embeddings angewendet, um jeden Experten einer idealen Gitterkoordinate $(m, n)$ in einem $M \times N$ -Tiling-Gitter zuzuweisen. Dies gruppiert Experten mit ähnlichen singulären Unterräumen.
2D-Tiling-Platzierung: Um Konflikte zu lösen, bei denen mehrere Experten demselben Tiling zugeordnet werden, wird eine greedy-räumliche Allokationsstrategie verwendet. Dies minimiert den Abstand zwischen der idealen Clusterposition eines Experts und seiner tatsächlichen physischen Tiling-Position. Die Experten werden dann in eine große Blockmatrix $W_{big}$ platziert.
Quantisierung: Die große geteilte Matrix $W_{big}$ unterliegt einer globalen Low-Rank-Zerlegung (approximiert via Gaussian Sketching, um kostspielige SVD zu vermeiden). Die resultierenden geteilten Low-Rank-Faktoren ( $U, V, \Sigma$ ) werden gespeichert, und der Restfehler für jeden Experten wird mit Hessian-bewussten Methoden (GPTQ/GPTVQ) und Rotationstechniken (LOPRO) quantisiert.

Wichtige technische Erkenntnis: Durch die Strukturierung von Experten in ein 2D-Gitter ermöglicht TILEQ es, dass Experten in derselben Zeile eine linke Basis (Ausgangsraum) und Experten in derselben Spalte eine rechte Basis (Eingangsraum) teilen. Dies reduziert den Speicher-Overhead im Vergleich zu 1D-Sharing- oder elementweisen Methoden erheblich.

2.2. Effiziente fusionierte sparse Low-Rank-Inferenz

Um den Latenzengpass zu adressieren, führt TILEQ LoTileMoE ein, einen Inferenzalgorithmus, der mehrere Low-Rank-Expert-Berechnungen in einen Single-Pass-Vorgang fusioniert.

Mechanismus: Anstatt für jeden Experten irreguläre, pro-Token sparse Dispatch-Vorgänge durchzuführen, projiziert der Algorithmus den gesamten Eingabe-Batch einmal auf den geteilten linken Faktor $(U\Sigma)$ . Anschließend wird diese Projektion in einen 3D-Tensor umgeformt, Routing-Gewichte werden angewendet, um aktive Tiling-Blöcke auszuwählen, und es wird eine einzelne gebündelte Matrixmultiplikation mit dem geteilten rechten Faktor $V$ durchgeführt.
Optimierung: Die Methode vermeidet das explizite Erstellen großer interner 3D-Tensoren durch die Verwendung eines In-Place-Akkumulationspuffers. Dies ersetzt irreguläre Speicherzugriffe durch regelmäßige, dichte Tensoroperationen (GEMMs), die auf moderner Hardware (GPUs/TPUs) hochgradig optimiert sind.
Komplexität: Der Ansatz reduziert die Komplexität von der Behandlung von $K$ separaten kleinen GEMMs auf zwei große, gut geformte GEMMs, was die Hardwareauslastung erheblich verbessert und den Overhead durch Kernel-Starts reduziert.

3. Hauptbeiträge

2D-Tiling-Low-Rank-PTQ: Eine neuartige, feinabstimmungsfreie Quantisierungsmethode, die Expert-Ähnlichkeit via 2D-Tiling nutzt, um effiziente geteilte Repräsentationen über sowohl Eingabe- als auch Ausgabedimensionen hinweg zu ermöglichen und höhere Kompressionsraten als 1D-Sharing- oder unabhängige Methoden zu erreichen.
Fusionierter Inferenzalgorithmus: Eine optimierte Inferenztechnik (LoTileMoE), die Low-Rank-Expert-Berechnungen in einen Single-Pass-Vorgang fusioniert und den mit der sparse Expert-Dispatch in MoE-Modellen verbundenen Latenz-Overhead eliminiert.
Leistungs-Effizienz: Die Methode erreicht State-of-the-Art-Quantisierungsgenauigkeit, reduziert den zusätzlichen Speicherbedarf für Low-Rank-Faktoren um bis zu 10 $\times$ und die Inferenzlatenz auf etwa 5 % des Basis-Overheads, ohne Feinabstimmung zu erfordern.

4. Experimentelle Ergebnisse

Die Autoren bewerteten TILEQ an mehreren repräsentativen MoE-Modellen, darunter Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8 $\times$ 7B und Deepseek-MoE-16B.

Genauigkeit: TILEQ zeigt Robustheit unter extremen Low-Bit-Einstellungen (2-Bit und 3-Bit).
- Bei Mixtral-8 $\times$ 7B mit 2-Bit erreicht TILEQ eine Perplexität von 4,78 und übertrifft GPTQ (15,3) und GPTVQ (5,28) signifikant.
- Bei 3-Bit nähert sich TILEQ der FP16-Leistung an (z. B. Perplexität 4,10 vs. 3,87 für FP16 bei Mixtral) und erzielt MMLU-Werte, die mit unquantisierten Modellen vergleichbar sind.
- Sie übertrifft konsistent Baselines wie GPTQ, GPTVQ, MOEQUANT und LOPRO bei verschiedenen Downstream-Aufgaben (ARC, PIQA, Winogrande, MMLU, HellaSwag).
Speichereffizienz: TILEQ reduziert den zusätzlichen Speicher-Overhead für Low-Rank-Faktoren um bis zu 90 % (10 $\times$ Reduktion) im Vergleich zu pro-Expert-Methoden. Beispielsweise erzielt es bei Qwen3-30B-A3B eine 8 $\times$ Reduktion des Speicher-Overheads im Vergleich zur pro-Expert-Low-Rank-Quantisierung.
Inferenz-Latenz:
- Prefill: TILEQ reduziert die Latenz auf weniger als 5 %, indem es irreguläre sparse Dispatch durch strukturierte GEMMs ersetzt.
- Decode: Obwohl speichergebunden, hält TILEQ eine niedrige Latenz (ca. 5–10 % Overhead) durch die Nutzung zusammenhängender Gewichts-Layouts und vektorisierter Zugriffe aufrecht, während elementweise und 1D-geteilte Methoden Latenzerhöhungen von 15–75 % erleiden.
Ablationsstudien: Experimente bestätigen, dass der 2D-Tiling-Mechanismus der Haupttreiber der Leistung ist, da dessen Entfernung die Bitbreitenanforderungen um das 8-fache erhöht, während eine ähnliche Genauigkeit beibehalten wird. Die Methode ist über Modelle mit variierender Spärlichkeit und Expertengrößen hinweg skalierbar.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TILEQ eine skalierbare und hardwarefreundliche Lösung für die Bereitstellung von MoE-Modellen unter strengen Speicher- und Rechenbeschränkungen bietet. Durch die gemeinsame Strukturierung von Experten in ein 2D-Tiling-Layout und das Fusionieren von Inferenzoperationen überwindet TILEQ die Kompromisse zwischen Genauigkeit, Kompression und Latenz, die bestehende Low-Rank-PTQ-Methoden plagen.

Die Autoren betonen, dass TILEQ als leichtgewichtige, universelle Erweiterung für bestehende PTQ-Frameworks (wie GPTQ) dient und die Bereitstellung von Next-Generation-spärlichen MoE-Modellen ohne die Notwendigkeit rechenintensiver Feinabstimmung oder Neustraining ermöglicht. Die Methode ist insbesondere für Szenarien von Bedeutung, die eine Ultra-Low-Bit-Quantisierung (2–3 Bit) erfordern, bei der traditionelle Methoden die Fidelity nicht aufrechterhalten können.