🤖 machine learning

Gated Subspace Inference for Transformer Acceleration

Dieses Papier stellt die Gated Subspace Inference vor, eine Methode ohne Nachtraining, die die Inferenz von Transformern beschleunigt, indem sie Aktivierungen durch adaptives Gating in low-rank-Unterraum- und Residualkomponenten zerlegt, wodurch auf linearen Schichten erhebliche Geschwindigkeitssteigerungen erzielt werden, während gleichzeitig die Ausgabequalität und die exakte Zeichen-für-Zeichen-Genauigkeit bei bestimmten Modellen erhalten bleiben.

Ursprüngliche Autoren: Stephen J. Thomas

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stephen J. Thomas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber statt jeden einzelnen Teil auf dem Tisch zu betrachten, erkennen Sie, dass für das spezifische Bild, das Sie zusammenfügen, nur eine kleine Handvoll Teile tatsächlich wichtig ist. Der Rest ist nur „Rauschen" oder Teile, die nicht in die aktuelle Szene passen.

Dies ist die Kernidee hinter der Gated Subspace Inference (GSI), einer neuen Methode, die in der Arbeit beschrieben wird, um KI-Sprachmodelle (wie die, die Geschichten schreiben oder Fragen beantworten) deutlich schneller laufen zu lassen, ohne dabei an Genauigkeit zu verlieren.

Hier ist eine Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

1. Das Problem: Der Flaschenhals der „schweren Kiste"

Stellen Sie sich eine riesige Bibliothek (das KI-Modell) vor, in der die Bücher (die Daten) in einem massiven Lagerhaus weit entfernt (im Arbeitsspeicher des Computers) aufbewahrt werden. Um eine einzelne Frage zu beantworten, muss der Bibliothekar hin und her zum Lagerhaus rennen, um bestimmte Seiten aus den Büchern zu holen.

Die Arbeit weist darauf hin, dass bei moderner KI der Computer nicht tatsächlich langsam „denkt"; er hat einfach nur die Luft ausgehen, während er schwere Kisten trägt. Die Mathematik ist einfach, aber das Abrufen der Daten ist langsam. Dies wird als Flaschenhals der Speicherbandbreite bezeichnet. Die KI steckt fest und wartet darauf, dass die Daten eintreffen, wie ein Koch, der auf die Lieferung der Zutaten wartet.

2. Die Entdeckung: Das „versteckte Muster"

Die Forscher haben etwas Überraschendes darüber entdeckt, wie diese KI-Modelle denken. Wenn die KI einen Satz verarbeitet, sind die internen „Gedanken" (sogenannte Aktivierungen) nicht zufällig. Sie folgen tatsächlich einem sehr spezifischen, niedrigdimensionalen Muster.

Die Analogie: Stellen Sie sich einen 4.000-dimensionalen Raum vor (den internen Raum der KI). Man könnte denken, die KI kann sich in jede Richtung in diesem Raum bewegen. Doch die Forscher fanden heraus, dass die „Gedanken" der KI für jeden gegebenen Satz tatsächlich auf einem winzigen, flachen Blatt Papier gefangen sind, das in diesem riesigen Raum schwebt. Obwohl der Raum riesig ist, läuft die KI nur auf diesem einen Blatt Papier.

3. Die Lösung: Die „Abkürzungskarte" und das „Tor"

Die GSI-Methode nutzt diese Entdeckung, um eine Abkürzung zu schaffen. Sie tut drei Dinge:

Schritt A: Die Abkürzungskarte (Der Unterraum): Anstatt das gesamte 4.000-dimensionale Bücherregal zu tragen, erstellt die KI eine winzige, komprimierte „Karte" (ein niedrigrangiges Bild), die nur das spezifische Blatt Papier abdeckt, auf dem die Gedanken stattfinden. Das Lesen dieser kleinen Karte ist unglaublich schnell, da sie viel kleiner ist als das volle Bücherregal.
Schritt B: Der Türsteher: Hier kommt der clevere Teil ins Spiel. Die KI geht nicht einfach davon aus, dass die Abkürzung immer perfekt ist. Für jedes einzelne Wort, das sie verarbeitet, prüft sie ein „Tor".
- Die Prüfung: „Bleibt der Gedanke dieses Wortes auf unserem kleinen Blatt Papier?"
- Wenn Ja (Schneller Pfad): Die KI nutzt die winzige, schnelle Karte. Sie spart sich die schwere Arbeit.
- Wenn Nein (Langsamer Pfad): Wenn das Wort seltsam oder komplex ist und vom Blatt fällt, öffnet sich das Tor, und die KI holt das volle, schwere Bücherregal, um die Berechnung auf die normale, langsame Weise durchzuführen.
Schritt C: Das Sicherheitsnetz: Das „Tor" stellt sicher, dass, wenn die Abkürzung nicht perfekt ist, die KI den Fehler sofort korrigiert. Dies ist entscheidend. Die Arbeit zeigt, dass, wenn man nur die Abkürzung verwendet und die Fehler ignoriert (sogenannte „statische Projektion"), die KI anfängt, Unsinn zu erfinden. Das Tor hält die Qualität perfekt.

4. Die Ergebnisse: Geschwindigkeit ohne Opfer

Die Forscher testeten dies an drei verschiedenen KI-Modellen (GPT-2, GPT-J und OPT) unter Verwendung leistungsstarker Computerchips (AMD MI300X).

Die Geschwindigkeit: Da die KI die meiste Zeit auf dem „schnellen Pfad" verbringt (unter Verwendung der winzigen Karte), liest sie die Daten 3- bis 16-mal schneller als üblich.
Die Qualität: Trotz der höheren Geschwindigkeit ist die Ausgabe identisch mit dem ursprünglichen, langsameren Modell. In vielen Tests produzierte die KI exakt dieselben Wörter, Zeichen für Zeichen.
Kein Nachtrainieren: Sie müssen der KI nichts Neues beibringen. Sie wenden dieses „Tor-und-Karte"-System einfach auf ein bestehendes Modell an, und es funktioniert sofort.

5. Der „Kaskaden"-Effekt

Die Arbeit fand auch heraus, dass diese „Blätter Papier" (die Denkmuster) von einer Schicht der KI zur nächsten sehr ähnlich sind. Es ist wie das Gehen eine Treppe hinauf, wobei jeder Schritt fast genau dem darunterliegenden entspricht.

Deshalb kann die KI die Karte vom vorherigen Schritt verwenden, um den nächsten Schritt zu starten. Dies macht das Einrichten des Systems noch schneller und effizienter, wie wenn man ein Werkzeug von seinem Nachbarn erbt, anstatt jedes Mal, wenn man einen neuen Raum betritt, ein neues zu kaufen.

Zusammenfassung

Denken Sie an GSI als einen intelligenten Lieferdienst für KI.

Alter Weg: Der Lieferwagen fährt zum riesigen Lagerhaus, lädt das gesamte Gebäude und bringt es in die Küche, selbst wenn der Koch nur eine Prise Salz braucht.
GSI-Weg: Der Fahrer prüft die Bestellung. Wenn der Koch nur eine Prise Salz braucht, greift er ein winziges, vorgepacktes Gewürzglas (die Abkürzungskarte) und rennt los. Wenn der Koch eine ganze Kuh braucht, greift er die große Kiste.
Das Ergebnis: Die Küche bekommt ihre Zutaten 10-mal schneller, aber das Essen schmeckt genau gleich.

Die Arbeit kommt zu dem Schluss, dass diese Methode funktioniert, weil die „Gedanken" der KI auf natürliche Weise so organisiert sind, dass sie diese Abkürzungen ermöglichen, und indem wir ein intelligentes Tor verwenden, um zu entscheiden, wann die Abkürzung genommen werden soll, können wir KI erheblich schneller machen, ohne an Intelligenz zu verlieren.

Technische Zusammenfassung: Gated Subspace Inference zur Beschleunigung von Transformern

1. Problemstellung

Der primäre Engpass bei der Inferenz großer Sprachmodelle (LLM), insbesondere bei einer Batch-Größe von eins, ist die Speicherbandbreite und nicht der Rechen-Durchsatz. Wie durch das Roofline-Modell formalisiert, ist der Vorwärtsdurchlauf eines Transformers vollständig durch die Speicherbandbreite begrenzt, da die arithmetische Intensität der Operationen linearer Schichten ($y = Wx$) ungefähr 1 FLOP/Byte beträgt. Das Lesen von Gewichtsmatrizen aus dem High-Bandwidth Memory (HBM) dominiert die Latenz.

Bestehende Beschleunigungsstrategien weisen erhebliche Einschränkungen auf:

Quantisierung reduziert die Größe der Gewichtselemente, aber nicht die Anzahl der gelesenen Elemente.
Pruning reduziert die Anzahl der Elemente, erfordert jedoch typischerweise ein Nachtrainieren oder Fine-Tuning.
Statische Low-Rank-Faktorisierung (z. B. LoRA, SVD-LLM) zerlegt Gewichte offline, versagt jedoch darin, sich an die spezifische Eingabeverteilung zur Inferenzzeit anzupassen.
Aktivierungs-Sparsity-Methoden (z. B. CATS, PowerInfer) nutzen diskrete Neuronen-Teilmengen oder elementweise Sparsity aus, erschließen jedoch nicht die kontinuierliche niedrigdimensionale Struktur des Aktivitätsmanifolds.

Die Arbeit geht davon aus, dass die Aktivvektoren in einer beliebigen Schicht annähernd in einem niedrigdimensionalen Unterraum liegen ( $k \ll d$ ). Folglich hat die Interaktion zwischen Gewichten und Aktivierungen einen niedrigen effektiven Rang. Das Lesen der vollen Gewichtsmatrix für jedes Token ist verschwenderisch, da die Eingabeverteilung nicht alle Richtungen im Aktivitätsraum besucht.

2. Methodik: Gated Subspace Inference (GSI)

GSI ist eine verlustfreie Beschleunigungsmethode, die den niedrigen effektiven Rang der Gewichts-Aktivierungs-Interaktion ausnutzt, ohne Nachtraining, Architekturänderungen oder Approximationen der Aufmerksamkeit. Sie erweitert das Skyline Subspace Inference (SSI)-Framework von MLP-Schichten auf den gesamten Transformer (einschließlich QKV- und Ausgabe-Projektionen).

2.1. Kernzerlegung

Für eine lineare Schicht mit Gewichtsmatrix $W \in \mathbb{R}^{d_{out} \times d}$ und Aktivierung $x \in \mathbb{R}^d$ wird die Aktivierung exakt in eine Unterraum-Komponente und ein Residuum zerlegt:
$x = V_k V_k^\top x + r$
wobei $V_k \in \mathbb{R}^{d \times k}$ eine orthonormale Basis vom Rang $k$ ist, die den Aktivitätsunterraum repräsentiert, und $r$ das Residuum darstellt. Die Ausgabe $y = Wx$ wird berechnet als:
$y = (W V_k)(V_k^\top x) + Wr = Mg + Wr$
Hierbei ist $M = W V_k$ ein vorausberechnetes, zwischengespeichertes „low-rank weight image" (niedrigrangiges Gewichtsabbild), und $g = V_k^\top x$ ist die Projektion der Aktivierung auf den Unterraum.

2.2. Der gatede Residuum-Durchlass

Die entscheidende Innovation ist ein pro-Token-Gate, das bestimmt, ob die Residuum-Korrektur $Wr$ berechnet wird.

Schneller Pfad: Wenn das Residuum-Verhältnis $\rho_t = \|r\| / \|x\|$ unter einem Schwellenwert $\epsilon$ liegt, wird die Ausgabe approximiert als $y \approx Mg$ . Dies erfordert das Lesen nur von $k$ Spalten der Gewichtsmatrix (oder des zwischengespeicherten Abbilds $M$ ) anstelle der vollen $d$ Spalten.
Langsamer Pfad: Wenn $\rho_t \ge \epsilon$ , wird die vollständige Berechnung $y = Wx$ durchgeführt, um Exaktheit sicherzustellen.

Dieses Gate stellt sicher, dass die Ausgabeverteilung innerhalb einer kontrollierbaren Toleranz erhalten bleibt. Die theoretische Analyse (Satz 4) begrenzt den pro-Token-Fehler auf dem schnellen Pfad durch $\|W\|_2 \cdot \epsilon \cdot \|x\|$ . Entscheidend ist, dass die Arbeit demonstriert, dass das vollständige Verwerfen des Residuums (statische Projektion) zu einer katastrophalen Verschlechterung der Ausgabe führt, wohingegen der gatede Durchlass verlustfreie Qualität bewahrt.

2.3. Tiefen-Kaskade und Kalibrierung

Die Methode nutzt „Tiefen-Kohärenz" aus und beobachtet, dass Aktivitätsunterräume in aufeinanderfolgenden Schichten hochkorreliert sind (mittlere Kosinus-Ähnlichkeit > 0,90 in tieferen Schichten).

Kaskaden-Initialisierung: Die Basis $V_k$ für Schicht $l+1$ wird aus der Basis der Schicht $l$ initialisiert, was nur geringfügige Rang-1-Korrekturen (DGKS-Updates) erfordert, anstatt eine vollständige Singulärwertzerlegung (SVD) für jede Schicht.
Kalibrierung: Die Basis wird einmalig durch einen einzigen Vorwärtsdurchlauf auf einer repräsentativen Kalibrierungssequenz berechnet. Für ein 6B-Modell dauert dies ungefähr 30 Sekunden.
Speicher-Overhead: Die zwischengespeicherten Abbilder $M$ und Basen $V_k$ erhöhen den Speicherverbrauch des Modells um weniger als 4 % (ca. 469 MB für ein 13 GB-Modell).

3. Hauptbeiträge

Gated Subspace Inference (GSI): Eine Methode, die alle linearen Abbildungen in einem Transformer (QKV, Ausgabe und MLP-Projektionen) beschleunigt, indem sie Aktivierungen auf einen gelernten niedrigrangigen Unterraum projiziert und Residuum-Korrekturen bedingt überspringt.
Verlustfreie Qualität durch Gating: Die Arbeit stellt fest, dass der gatede Residuum-Durchlass essenziell ist. Ohne ihn führt die statische Projektion zum Zusammenbruch der Generierung. Mit ihm erreicht die Methode eine zeichenweise identische Ausgabe im Vergleich zur Baseline an spezifischen Betriebspunkten.
Tiefen-Kaskade: Ein Mechanismus, der die Unterraum-Kohärenz über Schichten hinweg ausnutzt, um die Kalibrierungskosten um 96 % zu reduzieren und aufzeigt, dass das Netzwerk auf einem kohärenten niedrigdimensionalen Manifold operiert, das sich durch die Tiefe fortpflanzt.
Orthogonale Beschleunigung: GSI operiert auf der verborgenen Dimension ( $d$ -Achse) und ergänzt bestehende Beschleunigungsmethoden für Aufmerksamkeit wie ADA (die auf der Token-Dimension $T$ -Achse operieren). Zusammen decken sie den gesamten Vorwärtsdurchlauf ab.

4. Experimentelle Ergebnisse

Experimente wurden auf AMD MI300X-GPUs mit GPT-2 (124M), GPT-J (6B) und OPT (6,7B) Modellen durchgeführt.

Beschleunigung: Die Methode erzielt effektive Beschleunigungen von 3,0× bis 10,5× beim Lesen von Gewichten in linearen Schichten.
- GPT-J 6B am Betriebspunkt $k=256, \epsilon=0,10$ : 15,6× Beschleunigung beim Gewichtslesen, wobei 99,8 % der Token den schnellen Pfad nehmen.
- OPT 6,7B bei $k=256, \epsilon=0,10$ : 10,5× Beschleunigung.
- GPT-2 124M bei $k=256, \epsilon=0,10$ : 3,0× Beschleunigung.
Erhalt der Qualität:
- Perplexität: Die Verhältnisse liegen konsistent unter 1,00 (z. B. 0,991 für GPT-J), was darauf hindeutet, dass das beschleunigte Modell statistisch nicht von der Baseline unterscheidbar ist oder diese leicht übertrifft.
- Token-Übereinstimmung: Die Top-1-Token-Übereinstimmung liegt in allen Konfigurationen über 98 %.
- Generierungs-Genauigkeit: Am Ziel-Betriebspunkt ( $k=256, \epsilon=0,05$ oder $0,10$) erzeugen GPT-J und GPT-2 eine zu 100 % zeichenweise identische Ausgabe im Vergleich zur Baseline über 50 greedy-Tokens.
Effektive Parameterzahl: Die Inferenzkosten sind proportional zur „effektiven Parameterzahl" (den Parametern, die den besuchten Richtungen im Aktivitätsraum entsprechen). Für GPT-J 6B sinkt die effektive Zahl am optimalen Betriebspunkt von 6B auf ca. 375M (eine Reduktion um das 16-fache).
Negative Kontrolle: Statische Projektion (kein Residuum) bei $k=128$ erhöhte die Perplexität um 52 % und verursachte einen Generierungs-Zusammenbruch, was die Notwendigkeit des Gates validiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GSI eine verlustfreie Beschleunigung für die Transformer-Inferenz bietet, die das Kostenmodell grundlegend von der Gesamtzahl der Parameter auf die effektive Parameterzahl verschiebt.

Kein Nachtraining: Die Methode funktioniert mit vortrainierten Modellen ohne jegliches Fine-Tuning oder Architekturänderungen.
Keine Approximation der Aufmerksamkeit: Sie verändert den Aufmerksamkeitsmechanismus nicht und ist somit mit anderen Beschleunigungstechniken wie FlashAttention oder ADA kompatibel.
Strukturelle Einsicht: Die Ergebnisse bestätigen, dass der niedrige effektive Rang der Gewichts-Aktivierungs-Interaktion eine strukturelle Eigenschaft trainierter Transformer ist, die über verschiedene Architekturen und Modellgrößen hinweg gilt.
Praktische Auswirkungen: Durch die Reduzierung der Speicherbandbreitenanforderung für lineare Schichten um einen Faktor von $d/k$ (z. B. 16×) adressiert GSI den primären Engpass bei der Inferenz mit Batch-Größe eins und ermöglicht deutlich schnellere Dekodierzeiten (z. B. Reduzierung eines 1,3 ms Vorwärtsdurchlaufs auf 0,22 ms in Kombination mit Aufmerksamkeits-Beschleunigung).

Die Autoren schließen, dass der gatede Residuum-Durchlass der entscheidende Faktor ist, der hohe Kompressionsraten ohne Beeinträchtigung der mathematischen Korrektheit der Ausgabe ermöglicht und ihn zu einem gangbaren Weg für verlustfreie Inferenz-Beschleunigung macht.