🤖 AI

When Good Enough Is Optimal: Multiplication-Only Matrix Inversion Approximation for Quantized Gated DeltaNet

Dieses Paper schlägt eine hardwarefreundliche, rein auf Multiplikationen basierende Approximation der Matrixinversion mittels einer abgeschnittenen Neumann-Reihe mit struktureller Maskierung und paralleler Residuenkorrektur vor, um die Chunk-weise lineare Attention in quantisierten Gated-DeltaNet-Modellen zu beschleunigen, wobei eine bis zu 5-fache Beschleunigung und einen um 20 % geringeren Overhead in der Dekodierungsschicht bei gleichbleibender Genauigkeit erreicht wird.

Ursprüngliche Autoren: Luoming Zhang, Yuwei Ren, Kui Zhang, Tian Liu, Lingjuan Ge, Denghao Li, Matthew Harper Langston, Yin Huang, Weiliang Will Zeng, Liang Zhang

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luoming Zhang, Yuwei Ren, Kui Zhang, Tian Liu, Lingjuan Ge, Denghao Li, Matthew Harper Langston, Yin Huang, Weiliang Will Zeng, Liang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen, bei dem jedes Teil von dem vorherigen abhängt. In der Welt der Künstlichen Intelligenz, speziell für Modelle, die sich an lange Gespräche oder Geschichten erinnern müssen (sogenannte „Long-Context-Modelle“), gibt es einen spezifischen Schritt namens Matrixinversion, der wie ein Verkehrsstau wirkt.

Derzeit ist das Lösen dieses Puzzles Stück für Stück langsam und ineffizient, besonders auf den spezialisierten Chips (NPUs), die in modernen Telefonen und Geräten zu finden sind. Es ist, als würde man versuchen, einen Swimmingpool zu füllen, indem man Wasser mit einem einzelnen Becher nach dem anderen heranträgt, während der Pool riesig ist.

Dieses Paper stellt einen viel schnelleren Weg vor, um dieses Puzzle zu lösen. Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:

1. Das Problem: Der „Vorwärts-Substitution“-Verkehrsstau

Bei Standardmethoden muss der Computer das Ergebnis für Teil #1 berechnen, dann dieses nutzen, um Teil #2 zu finden, dann Teil #3 und so weiter. Dies nennt man „Vorwärts-Substitution“ (Forward Substitution).

Die Analogie: Stellen Sie sich eine Schlange von Menschen vor, die darauf warten, einen Stempel zu bekommen. Die erste Person bekommt den Stempel, dann kann die zweite ihren Stempel erst bekommen, wenn die erste fertig ist, und so weiter. Die Schlange bewegt voran, aber sehr langsam, weil jeder auf denjenigen vor ihm wartet.
Das Ergebnis: Auf moderner Hardware ist diese „Schlange“ sehr ineffizient. Die leistungsstarken Motoren (Matrix-Verarbeitungseinheiten) sitzen untätä, während sie auf die langsamen, sequenziellen Schritte warten.

2. Die Erkenntnis: „Gut genug“ ist eigentlich perfekt

Die Autoren erkannten, dass man nicht das gesamte Puzzle perfekt lösen muss, um ein großartiges Ergebnis zu erzielen.

Die Analogie: Stellen Sie sich vor, Sie malen ein Porträt. Die wichtigsten Details befinden sich in der Mitte des Gesichts (die Hauptdiagonale). Die Details in den fernen Ecken (die tiefen Sub-Diagonale) sind so schwach, dass man sie kaum sehen kann. Wenn Sie 90 % Ihrer Zeit damit verbringen, die Mitte zu perfektionieren, und nur einen kurzen Blick auf die Ecken werfen, sieht das Gemälde für das menschliche Auge genauso gut aus, aber Sie sind 10-mal schneller fertig.
Die Wissenschaft: Das Paper zeigt, dass die „Energie“ oder Wichtigkeit der Antwort in der Nähe des Zentrums konzentriert ist. Die komplexen, schwer zu berechnenden Teile weit entfernt tragen nur sehr wenig zum Endergebnis bei.

3. Die Lösung: Die „Nur-Multiplikation“-Abkürzung

Anstatt der langsamen, Stück-für-Stück-Methode schlagen die Autoren einen neuen Algorithmus vor, der ausschließlich auf Matrixmultiplikation basiert (viele Berechnungen gleichzeitig durchzuführen).

Sie verwenden einen dreistufigen Trick:

Schritt A: Die grobe Skizze (Truncated Neumann Series)
Anstatt die gesamte unendliche Reihe von Schritten zu berechnen, brechen sie frühzeitig ab. Sie berechnen nur die ersten paar „Schichten“ der Antwort.
- Analogie: Anstatt jedes einzelne Kapitel eines 1.000-seitigen Buches zu lesen, um die Handlung zu verstehen, lesen Sie nur die ersten 10 Seiten. Sie erfassen die Hauptidee sofort.
Schritt B: Das Sicherheitsnetz (Diagonal Masking)
Wenn man frühzeitig abbricht, könnte man versehentlich etwas „Rauschen“ oder seltsame Zahlen einschließen, die zu groß sind und das System zum Absturz bringen könnten (wie ein Overflow-Fehler).
- Analogie: Stellen Sie sich vor, Sie zeichnen eine Landkarte. Sie zeichnen die Hauptstraßen klar ein, aber versehentlich haben Sie auch einige wilde, unsinnige Linien in die leeren Felder gekritzelt. Die Autoren legen eine „Maske“ über diese wilden Kritzeleien und löschen sie, sodass nur die sauberen, wichtigen Straßen übrig bleiben. Dies verhindert, dass die Zahlen zu groß werden und die Mathematik zerstören.
Schritt C: Die schnelle Korrektur (Parallel Residual Correction)
Da sie frühzeitig abgebrochen haben, ist die Skizze nicht perfekt. Es bleiben kleine Fehler zurück. Anstatt diese Fehler einzeln zu beheben (was langsam ist), beheben sie alle gleichzeitig durch eine parallele Berechnung.
- Analogie: Stellen Sie sich vor, Sie haben einen Entwurf eines Dokuments mit ein paar Tippfehlern. Anstatt Zeile für Zeile zu lesen, um sie zu korrigieren, nutzen Sie eine „Suchen und Ersetzen“-Funktion, die alle Tippfehler gleichzeitig in einem Bruchteil einer Sekunde korrigiert.

4. Die Ergebnisse: Geschwindigkeit und Stabilität

Das Paper hat dies an echten KI-Modellen (Qwen3.5 Familie) getestet und fand heraus:

Geschwindigkeit: Die neue Methode ist 5-mal schneller auf der Ebene der Kernberechnung.
Effizienz: Sie reduziert die gesamte Zeit für das Dekodieren (das Generieren von Text) um etwa 20 %.
Genauigkeit: Trotz der Abkürzungen bleiben die Antworten der KI genauso genau wie bei der langsamen, perfekten Methode. Sie funktioniert selbst dann, wenn die Zahlen verkleinert werden, um Platz zu sparen (Low-Precision/Quantisierung), was entscheidend für den Betrieb von KI auf Mobilgeräten ist.

Zusammenfassung

Das Paper argumentt, dass in der KI Perfektion der Feind der Geschwindigkeit ist. Indem sie erkannten, dass wir nur die „Hauptdiagonale“ der Mathematik perfekt machen müssen und den Rest parallel korrigieren können, verwandelten sie einen langsamen, sequenziellen Engpass in eine schnelle, parallele Autobahn. Dies ermöglicht es großen KI-Modellen, viel schneller auf den Chips in unseren Telefonen und Edge-Geräten zu laufen, ohne ihre Intelligenz zu verlieren.

Technisches Resümee: Wenn „gut genug“ optimal ist: MatMul-only-Approximation der Matrixinversion für quantisierte Gated DeltaNet

Problemstellung

Da Large Language Models (LLMs) bei immer längeren Kontextlängen skalieren, stehen Standard-Attention-Mechanismen vor quadratischen Speicher- und Laufzeitkosten. Lineare Attention-Methoden, wie etwa die Gated DeltaNet, adressieren dies durch die Beiblung eines festen Zustands (fixed-size recurrent state). Jüngste Implementierungen von Gated DeltaNet (z. B. in Qwen3.5 und KiMi) nutzen jedoch eine chunkweise parallele Strategie, um Parallelität innerhalb von Token-Sequenzen zu erschließen. Dies entfernt zwar die äußeren Token-zu-Token-Abhängigkeiten, führt aber einen neuen Engpass ein: die dreieckige Matrixinversion innerhalb jedes Chunks.

Speziell erfordert das chunkweise Update die Berechnung von $T = (I - A)^{-1}$ , wobei $A$ eine strikt untere Dreiecksmatrix ist. Traditionelle Ansätze verlassen sich auf die Vorwärtssubstitution (forward substitution), einen sequenziellen Algorithmus mit $k-1$ Iterationen für eine $k \times k$ Matrix. Diese Methode weist eine begrenzte Parallelität und eine schlechte Hardware-Auslastung auf Neural Processing Units (NPUs) auf, da sie stark auf Vektoroperationen statt auf dichten Matrizenmultiplikationen basiert. In Qwen3.5-4B macht dieser Inversionsschritt 22 % bis 31 % der gesamten Zykluskosten aus, wobei der Overhead mit wachsender Chunk-Größe steigt.

Darüber hinaus stehen bestehende Versuche, dies durch blockweise Dekomposition oder Neumann-Reihen-Expansion zu parallelisieren, vor Herausforderungen:

Blockweise Inversion schränkt die Matrixgrößen ein, was die verfügbare Parallelität begrenzt.
Direkte Neumann-Reihen-Expansion ( $(I-A)^{-1} = \sum A^n$ ) leidet unter numerischer Instabilität bei endlicher Präzision (FP16/INT). Höherwertige Terme wachsen rapide an, was zu Overflows und Heavy-Tailed-Verteilungen führt, welche die Quantisierungsleistung verschlechtern.

Methodik

Die Autoren schlagen einen Multiplication-Only (MatMul) Approximationsalgorithmus vor, der speziell auf strikt untere Dreiecksmatrizen in der chunkweisen linearen Attention zugeschnitten ist. Die Kernphilosophie lautet „Gut genug ist optimal“: Eine exakte Inversion ist nicht notwendig, wenn die Approximation die Genauigkeit des Modells bewahrt und gleichzeitig eine hardwareeffiziente Ausführung ermöglicht.

Die Methode besteht aus drei Schlüsselkomponenten:

1. Niedrigwertige trunkierte Neumann-Expansion

Anstatt die vollständige endliche Expansion zu berechnen (die $k$ Terme erfordert), terminiert die Methode die Neumann-Reihe nach einer geringen Anzahl von Termen $N$ ( $N \ll k$ ).

Theoretische Grundlage: Lemma 3.1 stellt fest, dass für eine strikt untere Dreiecksmatrix $A$ die Potenz $A^n$ nur zur $n$ -ten Subdiagonale und darunter beiträgt. Folglich ist die Energie der Inversen in der Nähe der Hauptdiagonale konzentriert.
Implementierung: Die initiale Approximation ist $T^{(0)} = \sum_{n=0}^{N} A^n$ . Empirische Analysen zeigen, dass eine niedrige Ordnung (z. B. $N \approx 3$ ) den Großteil der Inversionsstruktur erfasst und so die Rechenkosten einer vollständigen Expansion vermeidet.

2. Strukturelle Diagonale Maskierung

Um die numerische Instabilität zu adressieren, die durch schnell wachsende höherwertige Terme verursacht wird (potenziell außerhalb der FP16/INT-Bereiche), wenden die Autoren eine Diagonale Maske $M^{(N)}$ an.

Mechanismus: Die Maske setzt Einträge auf Null, wenn deren Abstand von der Hauptdiagonale den Truncation-Ordnung $N$ überschreitet (d. h. $M_{ij} = 1$ , falls $i-j \le N$ , sonst $0$).
Effekt: Dies entfernt „extraneous“ (überflüssige) Werte mit großen Beträgen im unteren linken Bereich der Matrix, die wenig zur Genauigkeit der Inversen beitragen, aber Overflows und Quantisierungsrauschen verursachen. Dies macht die Approximation robust für die Low-Bit-Integer-Quantisierung (INT).

3. Parallele Residuenkorrektur

Trunkierung und Maskierung führen Approximationsfehler ein. Um die Genauigkeit wiederherzustellen, ohne sequentielle Abhängigkeiten wieder einzuführen, verwenden die Autoren ein Schema der parallelen Residuenkorrektur.

Formulierung: Anstatt iterative Updates ( $T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$ ) zu nutzen, die sequenziell sind, formuliert die Methode die Korrektur als Akkumulation von Matrizenpotenzen des Residuenfehlers $E = I - (I-A)T^{(0)}$ um.
Ausführung: Die finale Approximation wird als $T \approx T^{(0)} \sum_{s=0}^{S} E^s$ berechnet. Dies ermöglicht es, den gesamten Prozess ausschließlich mittels Matrizenmultiplikations-Kerneln (MatMul) auszuführen, wodurch die Parallelität für NPUs voll ausgeschöpft wird.

Anpassung an die Quantisierung

Die Methode ist speziell auf Low-Bit-Inferenz (z. B. INT8/INT16) abgestimmt. Die Autoren beobachten, dass eine Erhöhung der Truncation-Ordnung $N$ (z. B. von 3 auf 4) den Dynamikbereich der Werte drastisch erweitert, was zu schweren Quantisierungsfehlern führt. Durch die Begrenzung von $N$ (z. B. $N=3$ ) und die Kompensation durch Residuen-Schritte ( $S=8$ ) balanciert die Methode numerische Stabilität, Genauigkeit und Effizienz aus.

Wichtigste Beiträge

Approximative, aber hinreichende MatMul-only-Inversion: Das Paper ersetzt die sequentielle dreieckige Inversion durch eine niedrigwertige Neumann-Approximation kombiniert mit strukturierter Maskierung und paralleler Residuenkorrektur. Dies überträgt die dominante Berechnung auf MatMul-Kernel und bewahrt die Genauigkeit sowohl unter Floating-Point- als auch unter Integer-Quantisierung.
Hardwareeffiziente NPU-Ausführung: Durch die Eliminierung der Abhängigkeiten der Dreiecks-Lösung (Triangular Solve) legt die Formulierung dichte Matrizenmultiplikationen frei. Dies erreicht bis zu eine 5-fache Kernel-Level-Beschleunigung auf NPUs und reduziert den Decode-Layer-Overhead um 20 %, ohne die Genauigkeit zu beeinträchtigen.
Robustheit unter geringer Präzision: Der Ansatz mildert die Expansion des Dynamikbereichs bei wiederholten Matrizenpotenz-Operationen ab und ermöglicht so eine stabile Inferenz mit INT16- und INT8-Quantisierung, wo bisherige Methoden scheiterten oder signifikant degradierten.

Experimentelle Ergebnisse

Die Methode wurde an der Qwen3.5-Familie von Modellen (0,8B bis 9B Parameter) und dem Qwen3-Next Modell evaluiert.

Genauigkeit:
- Single Kernel: Die Methode hält ein hohes Signal-Rausch-Verhältnis (SNR) in FP16 und INT16 auf einem Niveau, das mit FP32-Baselines vergleichbar ist.
- End-to-End: Perplexity (PPL) und Downstream-Aufgaben-Genauigkeit (MMLU, CSR, RealWorldQA) entsprechen der Flash Linear Attention (FLA) Baseline über alle Modellskalen hinweg.
- Quantisierung: Unter W4A16-Quantisierung bewahrt die vorgeschlagene Methode die Leistung signifikant besser als die Standard-FLA, insbesondere bei RealWorldQA, mit vernachlässigbaren Unterschieden in den PPL- und MMLU-Scores.
Performance:
- Beschleunigung: Es wurden Beschleunigungen von 5,2×, 4,2× und 4,6× für die Matrizeninversions-Kernel bei Chunk-Größen von 32, 64 und 128 erreicht.
- Reduktion des Overheads: Die Kosten für die Matrizeninversion wurden von ca. 22–31 % der Gesamtzyklen (in FLA) auf ca. 5–9 % gesenkt, was zu einer Reduktion der Gesamtzyklen um 18,1 % bis 24,6 % führte.
Ablationsstudien:
- Die alleinige Verwendung der niedrigen Truncation-Ordnung ( $N=3$ ) führt in geringer Präzision zur Divergenz; die Hinzunahme der Diagonalen Maske und der Residuenkorrektur ( $S=8$ ) stellt jedoch die Stabilität und Genauigkeit wieder her.
- Für eine 64×64 Matrix ist die optimale Konfiguration $N=3$ und $S=8$ .

Bedeutung und Ansprüche

Das Paper beansprucht, eine effiziente und hardwarefreundliche Lösung für skalierbare lineare Attention zu bieten, die gezielt auf die Engpässe des Long-Context-Modelings auf NPUs abzielt.

Skalierbarkeit: Durch die Ermöglichung größerer Chunk-Größen (bis zu 128) ohne die sequentielle Strafe der Vorwärtssubstitution unterstützt die Methode eine effizientere Verarbeitung langer Kontexte.
Deployment: Der Ansatz erleichtert den Einsatz von Long-Context-Modellen auf ressourcenbeschränkten Geräten (Mobile und Edge-Plattformen), indem er die Rechen- und Energieanforderungen durch integer-freundliche Approximationen senkt.
Trade-off-Philosophie: Die Arbeit betont, dass eine „exakte“ Inversion nicht für eine hochwertige Modellleistung erforderlich ist. Indem sie eine „gut genug“ passende Approximation akzeptiert, die mit den Hardwarekapazitäten (MatMul-lastig, parallel) harmoniert, erreicht die Methode eine optimale praktische Performance.

Die Autoren merken an, dass die Methode zwar die Effizienz verbessert, aber eine sorgfältige Evaluierung erfordert, um die Zuverlässigkeit sicherzustellen – insbesondere unter geringer Präzision – und nicht den Anspruch erhebt, alle numerischen Instabilitätsprobleme in allen potenziellen Architekturen zu lösen, sondern spezifisch auf den Kontext der Gated DeltaNet abzielt.