🤖 machine learning

Composing Linear Layers from Irreducibles

Dieses Paper schlägt einen differenzierbaren Algorithmus unter Verwendung von Clifford-Algebra vor, um lineare Schichten in Kompositionen aus Bivektoren und Rotoren zu zerlegen, wodurch eine parametereffiziente $O(\log^2 d)$ Repräsentation erreicht wird, die die Leistung von dichten Matrizen und anderen Approximationen in LLM-Attention-Mechanismen erreicht.

Ursprüngliche Autoren: Travis Pence, Daisuke Yamada, Vikas Singh

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Travis Pence, Daisuke Yamada, Vikas Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, komplexe Maschine (wie eine moderne KI), die aus Millionen von winzigen, einzelnen Zahnrädern besteht. Normalerweise müssen Ingenieure, um diese Maschine zum Laufen zu bringen, für jede einzelne Verbindung ein einzigartiges, maßgeschneidertes Zahnrad entwerfen. Das macht die Maschine groß, schwer und teuer im Betrieb, da sie all diese Millionen von Zahnrädern mit sich führen muss.

Dieses Paper stellt eine einfache Frage: Brauchen wir wirklich Millionen von einzigartigen Zahnrädern? Oder können wir die gesamte Maschine mit nur ein paar grundlegenden, wiederverwendbaren Formen bauen?

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung alltäglicher Analogien:

1. Das Problem: Der „schwere Koffer“

Aktuelle KI-Modelle sind wie Menschen, die versuchen, einen Koffer voller Millionen verschiedener, maßgeschneiderter Werkzeuge zu tragen. Selbst wenn sie nur eine einfache Aufgabe erledigen müssen, müssen sie all diese Werkzeuge mitschleppen. Das macht die KI langsam und erfordert viel Speicher (Speicherplatz), um all die „Gewichte“ (die Zahlen, die definieren, wie sich die Zahnräder drehen) zu halten.

2. Die Lösung: Das „Lego-Set“ der Rotoren

Die Autoren entdeckten, dass man anstelle von Millionen maßgeschneiderter Werkzeuge dieselben komplexen Funktionen mit einem kleinen Satz geometrischer Grundformen namens Rotoren aufbauen kann.

Die Analogie: Denken Sie an eine Standard-KI-Schicht als einen riesigen, massiven Klumpen Ton, den man jedes Mal neu aus dem Nichts modellieren muss. Die Methode der Autoren ist wie das Besitzen einer kleinen Kiste mit Lego-Steinen (speziell „Bivektoren“, die wie flache, orientierte Ebenen funktionieren).
Wie es funktioniert: Anstatt eine neue Form zu modellieren, setzt man einfach ein paar dieser einfachen „rotierenden“ Teile in einer bestimmten Reihenfolge zusammen. Durch die Kombination dieser einfachen rotierenden Teile kann man exakt dieselbe komplexe Bewegung reproduzieren, die der riesige Tonklumpen zuvor ausführte.

3. Der Zaubertrick: „Sandwiching“

Das Paper verwendet ein mathematisches Werkzeug namens Clifford-Algebra (was eine supergeladene Version der Geometrie ist, die wir in der Schule lernen).

Die Metapher: Stellen Sie sich vor, Sie haben ein Blatt Papier (Ihre Daten). Um seine Form zu verändern, müssen Sie nicht das ganze Blatt neu zeichnen. Stattdessen nehmen Sie zwei spezielle „rotierende Rahmen“ (Rotoren) und legen das Papier dazwischen. Sie rotieren das Papier von links und dann von rechts.
Das Ergebnis: Diese „Sandwich“-Aktion rotiert und transformiert die Daten perfekt. Das Erstaunliche daran ist, dass Sie nur eine Handvoll dieser Rahmen benötigen, um die Arbeit von Millionen von Standardzahlen zu erledigen.

4. Die Ergebnisse: Gleiche Leistung, winziger Fußabdruck

Die Forscher testeten diese Idee, indem sie die „schweren Zahnräder“ in den Gehirnen einiger populärer KI-Modelle (speziell der Teile, die der KI helfen, Sprache zu verstehen) austauschten.

Der Vergleich: Sie ersetzten die Standard-Schichten durch ihre neuen „Lego-Rotoren-Schichten“.
Das Ergebnis: Die KI-Modelle performten genauso gut wie zuvor. Sie konnten immer noch Fragen beantworten und das nächste Wort in einem Satz vorhersagen, mit der gleichen Genauigkeit.
Der Sieg: Die neuen Modelle waren jedoch drastisch kleiner.
- Eine Standard-Schicht benötigt vielleicht 4 Millionen Parameter (Zahlen), um zu funktionieren.
- Die neue Rotor-Schicht benötigte nur etwa 1.000 Parameter.
- Das ist eine Reduktion um etwa das 4.700-fache.

5. Warum das wichtig ist (laut dem Paper)

Das Paper behauptet nicht, dass dies sofort Krankheiten heilen oder das Welt終わhunger lösen wird. Es konzentriert sich stattdessen auf die Effizienz der Maschine selbst:

Weniger Speicher: Da das Modell viel kleiner ist, benötigen Sie keinen massiven Computer, um es auszuführen. Es ist wie der Wechsel von einem Sattelwagen zu einem Kompaktwagen.
Potenzial für Geschwindigkeit: Obwohl die aktuelle Softwareversion noch optimiert werden muss, deuten die Autoren darauf hin, dass es, da die Daten viel kleiner sind, schließlich viel schneller auf Standard-Hardware laufen könnte, insbesondere weil es die Notwendigkeit reduziert, ständig riesige Mengen an Daten aus dem Speicher zu laden.
Verständnis: Es beweist, dass komplexes KI-Verhalten nicht zwangsläufig komplexe, chaotische Mathematik erfordert. Es kann aus einem sauberen, strukturierten Satz geometrischer Bausteine aufgebaut werden.

Zusammenfassung

Das Paper zeigt, dass wir das „Gehirn“ einer KI mit einem winzigen, effizienten Satz geometrischer Bausteine (Rotoren) wieder aufbauen können, anstatt mit Millionen von individuellen Zahlen. Es ist, als würde man erkennen, dass man ein Wolkenkratzer-Gebäude mit ein paar Arten von Standardziegeln, die auf die richtige Weise gestapelt sind, bauen kann, anstatt für jedes einzelne Fenster und jede Tür einen einzigartigen, maßgeschneiderten Stein zu benötigen. Das Gebäude steht genauso hoch und stabil, ist aber viel leichter und einfacher zu transportieren.

Technische Zusammenfassung: Komposition linearer Schichten aus Irreduziblen

Problemstellung
Zeitgenössische Large Language Models (LLMs) zeigen Verhaltensweisen, die darauf hindeuten, dass sie sich auf Low-Level-Primitive verlassen, die sich zu Modulen mit reichhaltigerer Funktionalität zusammensetzen. Die fundamentalen Bausteine dieser linearen Transformationen sind jedoch noch immer unzureichend verstanden. Während vorangegangene Arbeiten parametereffiziente Approximationen (z. B. Low-Rank Adaptation, Block-Hadamard) und modulare Kompositionen (z. B. Mixture-of-Experts) untersucht haben, mangelt es an einem Verständnis der mechanistischen Komposition von Low-Level-Primitiven, die komplexe lineare Verhaltensweisen erzeugen. Die Autoren stellen ein konkretes Problem auf: Kann die Funktionalität einer linearen Schicht, die typischerweise Millionen von Parametern ( $O(d^2)$ ) enthält, aus einer minimalen Menge irreduzibler geometrischer Objekte synthetisiert werden?

Methodik
Die Autoren schlagen einen algebraischen Rahmen unter Verwendung der Clifford-Algebra vor, um lineare Transformationen zu dekomponieren und zu rekonstruieren.

Algebraische Formulierung:
- Standardmäßige lineare Abbildungen werden traditionell als dichte Matrizen dargestellt. Die Autoren stellen lineare Transformationen stattdessen als Kompositionen von Bivektoren (geometrische Objekte, die orientierte Ebenen kodieren) innerhalb der Clifford-Algebra $Cl(n)$ dar.
- Sie nutzen die Spin-Gruppe $Spin(n)$, eine Doppelüberdeckung der speziellen orthogonalen Gruppe $SO(n)$. Elemente dieser Gruppe, sogenannte Rotoren ( $r$ ), wirken auf Multivektoren mittels des „Sandwich-Produkts“ $x \mapsto rxr^\dagger$ .
- Während beliebige Multivektoren $2^n$ Parameter erfordern, beschränken die Autoren die Konstruktion auf Rotoren, die durch Bivektoren erzeugt werden. Ein Rotor $r$ ist das Exponential eines Bivektors $b$ : $r = \exp(b)$ .
Parametereffizienz:
- Eine dichte $d \times d$ Matrix erfordert $O(d^2)$ Parameter.
- Indem sie die Transformation als Komposition von Rotoren darstellen, die auf Unterräumen wirken, reduziert sich die Anzahl der erforderlichen Skalarparameter auf etwa $O(\log_2 d)$ . Konkret beträgt die Parameteranzahl für eine Breite $w$ etwa $w \binom{\log_2 d}{2}$ . Für $d=2048$ reduziert dies Millionen von Parametern auf einige wenige Hundert.
Differenzierbarer Dekompositionsalgorithmus:
- Die Exponentialabbildung für allgemeine Bivektoren beinhaltet eine unendliche Reihe, was rechnerisch problematisch ist. Für einfache Bivektoren (die eine einzelne Rotationsebene repräsentieren) besitzt die Exponentialabbildung jedoch eine geschlossene Form: $\exp(b) = \cos(\|b\|) + \sin(\|b\|)\frac{b}{\|b\|}$ .
- Um allgemeine Bivektoren zu handhaben, verwenden die Autoren eine invariante Dekomposition (basierend auf Roelfs und Keninck [2021]), die jeden Bivektor als Summe von höchstens $k = \lfloor n/2 \rfloor$ mutuell kommutierenden, orthogonalen einfachen Bivektoren ausdrückt.
- Sie führen einen differenzierbaren invarianten Dekompositionsalgorithmus (Algorithmen 1 und 2) ein, der diese einfachen Bivektoren iterativ mittels einer von Krylow-Unterräumen inspirierten Potenzmethode extrahiert, die für die Clifford-Algebra angepasst wurde. Dies vermeidet eine explizite Eigenwertzerlegung und gewährleistet die numerische Stabilität sowie die Differenzierbarkeit für die gradientenbasierte Optimierung.
Generalisierter Rotor-Gadget:
- Um beliebige Eingangs-/Ausgangsdimensionen ( $d_{in}, d_{out}$ ) zu handhaben, die keine Zweierpotenzen sind, konstruieren die Autoren eine generalisierte Transformation $\psi$ , indem sie mehrere Rotor-Sandwich-Module aggregieren, die auf unterschiedlichen Unterräumen operieren, gefolgt von einem Pooling-Operator.

Wesentliche Beiträge

Algebraische Repräsentation: Die Autoren drücken lineare Transformationen als Kompositionen geometrischer Primitive (Bivektoren) mittels Rotor-Sandwich-Produkten aus, wodurch die Parameterkomplexität von $O(d^2)$ auf $O(\log_2 d)$ reduziert wird.
Differenzierbare Dekomposition: Sie schlagen einen geschlossenen, differenzierbaren Algorithmus vor, um beliebige Bivektoren über invariante Dekomposition in ihre entsprechenden Rotoren abzubilden, was die Integration in Autograd-Frameworks ermöglicht.
Empirische Validierung: Die Methode wird auf die Key-, Query- und Value-Projektionen in den Attention-Schichten von LLMs angewendet. Die Rotor-basierten Schichten wurden trainiert, um dichte Schichten (schichtweise) zu imitieren, und wurden zudem end-to-end auf FMNIST trainiert.

Ergebnisse

Parametereffizienz: In Experimenten mit LLaMa-3.2 1B und Qwen-2.5 1.5B erreichten die Rotor-Schichten massive Parameterreduktionen. Beispielsweise sank die Anzahl der Parameter für die Query-Projektion in LLaMa-3.2 1B von ca. 4,19 Mio. (dense) auf $\le 896$ (Rotor), was einer Reduktion um den Faktor ~4700 entspricht.
Performance: Trotz der extremen Kompression erreichten die Rotor-basierten Schichten die Ergebnisse der starken Baselines (einschließlich Low-Rank (LR1, LR4) und Block-Hadamard (BH1) Approximationen) oder übertrafen diese sogar.
- Bei Wikitext2 (LLaMa-3.2 1B) lieferte das Ersetzen einer einzelnen Attention-Schicht durch Rotoren einen log-PPL von 2,629, verglichen mit 2,636 der besten Baseline (BH1).
- Bei Arc Challenge erreichten die Rotoren eine Genauigkeit von 55,31 % (LLaMa-3.2 1B) und übertrafen damit BH1 (54,83 %) und LR4 (53,84 %).
Robustheit: Die Performance blieb über verschiedene Kombinationen von Schichten (Ersetzen von 1, 2 oder 3 Schichten) und verschiedene Datensätze (Wikitext2, C4, PTB, Arc, HellaSwag) hinweg konsistent.
End-to-End Training: Beim Training von Grund auf auf FMNIST erreichte der Rotor-basierte MLP eine finale Genauigkeit (88,36 %), die mit der dichten Baseline (89,67 %) vergleichbar ist, wenngleich die Konvergenz etwas langsamer verlief.

Bedeutung und Behauptungen
Das Paper behauptet, die Machbarkeit der Synthese linearer Schichten aus einem kompakten Satz geometrischer Bausteine demonstriert zu haben. Die Autoren betonen, dass ihr Ziel nicht bloß ein Austausch für dichte Schichten ist (was derzeit aufgrund fehlender hardwareoptimierter Kernel unter höheren Wall-Clock-Inferenzzeiten leidet), sondern die Bereitstellung einer algebraischen Perspektive darauf, wie sich Low-Level-Primitive zu höherwertigen Funktionen zusammensetzen.

Die Ergebnisse legen nahe, dass die komplexe Funktionalität linearer Schichten in tiefen Modellen durch eine strukturierte Komposition weniger hundert geometrischer Objekte (Rotoren) statt durch Millionen unabhängiger Gewichte realisiert werden kann. Dies eröffnet neue Wege für:

Interpretierbarkeit: Das Verständnis linearer Schichten als Kompositionen orientierter Ebenen.
Parametereffizienz: Drastische Reduktion der Parameteranzahl bei gleichbleibender Performance.
Zukünftige Hardware: Potenzial, Rechenleistung gegen Speicherbandbreite zu tauschen, indem Gewichte on-chip aus geometrischen Parametern synthetisiert werden, was die Speicherbandbreiten-Engpässe bei der Inferenz großer Modelle adressiert.

Die Autoren bleiben bescheiden und merken an, dass praktischer Nutzen eine zusätzliche systemseitige Integration und hardwarebewusste Implementierungen erfordert, die über den Umfang dieser Arbeit hinausgehen.