🤖 machine learning

Composing Linear Layers from Irreducibles

Dit artikel stelt een differentieerbaar algoritme voor dat gebruikmaakt van Clifford-algebra om lineaire lagen te decomponeren in composities van bivectoren en rotoren, waarmee een parameterefficiënte $O(\log^2 d)$ representatie wordt bereikt die de prestaties evenaart van dichte matrices en andere benaderingen in LLM-attentiemechanismen.

Oorspronkelijke auteurs: Travis Pence, Daisuke Yamada, Vikas Singh

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Travis Pence, Daisuke Yamada, Vikas Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe machine hebt (zoals een moderne AI) die is opgebouwd uit miljoenen kleine, individuele tandwielen. Normaal gesproken moeten ingenieurs, om de machine te laten werken, voor elke verbinding een uniek, op maat gemaakt tandwiel ontwerpen. Dit maakt de machine groot, zwaar en duur in gebruik, omdat hij al die miljoenen tandwielen met zich mee moet dragen.

Dit artikel stelt een eenvoudige vraag: Hebben we echt miljoenen unieke tandwielen nodig? Of kunnen we de hele machine bouwen met slechts een paar basisvormen die herbruikbaar zijn?

Hier is de uiteenzetting van hun ontdekking, gebruikmakend van alledaagse analogieën:

1. Het Probleem: De "Zware Koffer"

Huidige AI-modellen zijn als mensen die proberen een koffer te dragen die gevuld is met miljoenen verschillende, op maat gemaakte gereedschappen. Zelfs als ze slechts een eenvoudige taak hoeven te volbrengen, moeten ze al die gereedschappen meeslepen. Dit maakt de AI traag en vereist veel geheugen (opslagruimte) om alle "gewichten" (de getallen die bepalen hoe de tandwielen draaien) vast te houden.

2. De Oplossing: De "Lego-set" van Rotoren

De auteurs ontdekten dat je, in plaats van miljoenen aangepaste gereedschappen te gebruiken, dezelfde complexe functies kunt bouwen met een kleine set geometrische primitieven genaamd rotoren.

De Analogie: Denk aan een standaard AI-laag als een gigantisch, massief blok klei dat je elke keer opnieuw van de grond af aan moet boetseren. De methode van de auteurs is als het hebben van een klein doosje Lego-steentjes (specifiek "bivectoren", die lijken op platte, georiënteerde vlakken).
Hoe het werkt: In plaats van een nieuwe vorm te boetseren, klik je gewoon een paar van deze Lego-steentjes in een specifieke volgorde aan elkaar. Door deze eenvoudige "draaiende" stukken te combineren, kun je exact dezelfde complexe beweging nabootsen die de gigantische blok klei vroeger deed.

3. De Magische Truk: "Sandwiching"

Het papier gebruikt een wiskundig hulpmiddel genaamd Clifford-algebra (wat een superkrachtige versie is van de meetkunde die we op school leren).

De Metafoor: Stel je voor dat je een vel papier hebt (je data). Om de vorm ervan te veranderen, hoef je het niet helemaal opnieuw te tekenen. In plaats daarvan neem je twee speciale "draaiende kaders" (rotoren) en plaats je het papier ertussen. Je draait het papier vanaf de linkerkant, en vervolgens vanaf de rechterkant.
Het Resultaat: Deze "sandwich"-actie draait en transformeert de data perfect. Het verbazingwekkende deel is dat je slechts een handvol van deze kaders nodig hebt om het werk van miljoenen standaard getallen te doen.

4. De Resultaten: Dezelfde Prestaties, Minimale Voetafdruk

De onderzoekers testten dit idee door de "zware tandwielen" in de hersenen van enkele populaire AI-modellen te vervangen (specifiek de onderdelen die de AI helpen taal te begrijpen).

De Vergelijking: Ze vervingen de standaard, zware lagen door hun nieuwe "Lego-rotor"-lagen.
De Uitkomst: De AI-modellen presteerden net zo goed als voorheen. Ze konden nog steeds vragen beantwoorden en het volgende woord in een zin voorspellen met dezelfde nauwkeurigheid.
De Winst: Echter, de nieuwe modellen waren drastisch kleiner.
- Een standaard laag heeft misschien 4 miljoen parameters (getallen) nodig om te werken.
- De nieuwe rotor-laag had slechts ongeveer 1.000 parameters nodig.
- Dat is een vermindering van ongeveer 4.700 keer.

5. Waarom dit Er toe Doet (Volgens het Papier)

Het papier beweert niet dat dit onmiddellijk ziekten zal genezen of wereldhonger zal oplossen. In plaats daarvan richt het zich op de efficiëntie van de machine zelf:

Minder Geheugen: Omdat het model zo veel kleiner is, heb je geen enorme computer nodig om het te draaien. Het is alsof je overstapt van een vrachtwagen op een oplegger naar een compacte auto.
Potentieel voor Snelheid: Hoewel de huidige softwareversie nog wordt geoptimaliseerd, suggereren de auteurs dat de AI, omdat de data zo veel kleiner is, uiteindelijk veel sneller kan draaien op standaard hardware, vooral omdat het de noodzaak vermindert om voortdurend enorme hoeveelheden data uit het geheugen te laden.
Begrip: Het bewijst dat complex AI-gedrag niet noodzakelijkerwijs complexe, rommelige wiskunde vereist. Het kan worden gebouwd vanuit een schone, gestructureerde set geometrische bouwstenen.

Samenvatting

Het papier laat zien dat we de "hersenen" van een AI kunnen herbouwen met een kleine, efficiënte set geometrische bouwstenen (rotoren) in plaats van miljoenen aangepaste getallen. Het is alsof je beseft dat je een wolkenkrabber kunt bouwen met een paar soorten standaard bakstenen die op de juiste manier gestapeld zijn, in plaats van dat je voor elk raam en elke deur een unieke, op maat gemaakte steen nodig hebt. Het gebouw staat net zo hoog en sterk, maar het is veel lichter en makkelijker te dragen.

Technische Samenvatting: Het componeren van lineaire lagen uit irreduciblen

Probleemstelling
Hedendaagse grote taalmodellen (LLM's) vertonen gedrag dat suggereert dat ze vertrouwen op laag-niveau primitieven die componeren tot modules met rijkere functionaliteit. De fundamentele bouwstenen van deze lineaire transformaties blijven echter slecht begrepen. Terwijl eerder werk zich richtte op parameterefficiënte benaderingen (bijv. Low-Rank Adaptation, Block-Hadamard) en modulaire composities (bijv. Mixture-of-Experts), ontbreekt een begrip van de mechanistische compositie van laag-niveau primitieven die complexe lineaire gedragingen genereren. De auteurs stellen een concrete vraag: Kan de functionaliteit van een lineaire laag, die doorgaans miljoenen parameters ( $O(d^2)$ ) bevat, worden gesynthetiseerd uit een minimale set van irreducibele geometrische objecten?

Methodologie
De auteurs stellen een algebraïsch kader voor met behulp van Clifford-algebra om lineaire transformaties te deconstrueren en te reconstrueren.

Algebraïsche Formulering:
- Standaard lineaire afbeeldingen worden traditioneel gerepresenteerd als dichte matrices. De auteurs representeren lineaire transformaties in plaats daarvan als composities van bivectoren (geometrische objecten die georiënteerde vlakken coderen) binnen de Clifford-algebra $Cl(n)$.
- Ze maken gebruik van de Spin-groep $Spin(n)$, een dubbele dekking van de speciale orthogonale groep $SO(n)$. Elementen van deze groep, genaamd rotoren ( $r$ ), werken op multivectoren via het "sandwich-product" $x \mapsto rxr^\dagger$ .
- Hoewel willekeurige multivectoren $2^n$ parameters vereisen, beperken de auteurs de constructie tot rotoren gegenereerd door bivectoren. Een rotor $r$ is de exponent van een bivector $b$ : $r = \exp(b)$ .
Parameterefficiëntie:
- Een dichte $d \times d$ matrix vereist $O(d^2)$ parameters.
- Door de transformatie te representeren als een compositie van rotoren die op subruimten opereren, schaalt het aantal vereiste scalaire parameters als $O(\log_2 d)$ . Specifiek, voor een breedte $w$ , is het aantal parameters ongeveer $w \binom{\log_2 d}{2}$ . Voor $d=2048$ reduceert dit miljoenen parameters tot enkele honderden.
Differentiabele Decompositie-algoritme:
- De exponentiële afbeelding voor algemene bivectoren betreft een oneindige reeks, wat computationeel problematisch is. Echter, voor eenvoudige bivectoren (die een enkel rotatievlak representeren), heeft de exponentiële afbeelding een gesloten vorm oplossing: $\exp(b) = \cos(\|b\|) + \sin(\|b\|)\frac{b}{\|b\|}$ .
- Om algemene bivectoren te behandelen, gebruiken de auteurs een invariante decompositie (gebaseerd op Roelfs en Keninck [2021]), die elke bivector uitdrukt als een som van maximaal $k = \lfloor n/2 \rfloor$ onderling pendelende, orthogonale eenvoudige bivectoren.
- Ze introduceren een differentiabele invariante decompositie-algoritme (Algoritmen 1 en 2) dat deze eenvoudige bivectoren iteratief extraheert met behulp van een Krylov-subspace-geïnspireerde power iteration methode aangepast voor Clifford-algebra. Dit vermijdt expliciete eigendecompositie, wat numerieke stabiliteit en differentieerbaarheid voor gradiëntgebaseerde optimalisatie waarborgt.
Gegeneraliseerde Rotor Gadget:
- Om willekeurige input/output dimensies ( $d_{in}, d_{out}$ ) te verwerken die geen machten van 2 zijn, construeren de auteurs een gegeneraliseerde transformatie $\psi$ door meerdere rotor-sandwich-modules te aggregeren die op verschillende subruimten opereren, gevolgd door een pooling-operator.

Belangrijkste Bijdragen

Algebraïsche Representatie: De auteurs drukken lineaire transformaties uit als composities van geometrische primitieven (bivectoren) met behulp van rotor sandwich-producten, waardoor de parametercomplexiteit wordt gereduceerd van $O(d^2)$ naar $O(\log_2 d)$ .
Differentiabele Decompositie: Ze stellen een gesloten, differentieerbaar algoritme voor om willekeurige bivectoren in kaart te brengen naar hun corresponderende rotoren via invariante decompositie, wat integratie met autograd-frameworks mogelijk maakt.
Empirische Validatie: De methode wordt toegepast op de Key, Query en Value projecties in de attention-lagen van LLM's: de rotor-gebaseerde lagen worden getraind om dichte lagen (laag-per-laag) na te bootsen en end-to-end getraind op FMNIST.

Resultaten

Parameterefficiëntie: In experimenten met LLaMa-3.2 1B en Qwen-2.5 1.5B bereikten de rotor-lagen enorme parameterreducties. Zo daalde het aantal parameters voor de query-projectie in LLaMa-3.2 1B van ~4,19 miljoen (dicht) naar $\le 896$ parameters (rotor), een reductie van ~4700x.
Prestaties: Ondanks de extreme compressie evenauwden of overtroffen de rotor-gebaseerde lagen sterke baselines, inclusclusief Low-Rank (LR1, LR4) en Block-Hadamard (BH1) benaderingen.
- Op Wikitext2 (LLaMa-3.2 1B) leverde het vervangen van een enkele attention-laag een log-PPL op van 2,629 voor rotoren, vergeleken met 2,636 voor de beste baseline (BH1).
- Op Arc Challenge behaalden rotoren een nauwkeurigheid van 55,31% (LLaMa-3.2 1B), waarmee ze BH1 (54,83%) en LR4 (53,84%) overtroffen.
Robuustheid: De prestaties bleven consistent over diverse combinaties van lagen (vervanging van 1, 2 of 3 lagen) en verschillende datasets (Wikitext2, C4, PTB, Arc, HellaSwag).
End-to-End Training: Wanneer getraind vanaf nul op FMNIST, convergeerde de rotor-gebaseerde MLP naar een uiteindelijke nauwkeurigheid (88,36%) die vergelijkbaar is met de dichte baseline (89,67%), hoewel de convergentie iets trager verliep.

Betekenis en Claims
Het artikel beweert aan te tonen dat de haalbaarheid bestaat van het synthetiseren van lineaire lagen uit een compacte set geometrische bouwstenen. De auteurs benadrukken dat hun doel niet louter het bieden van een directe vervanging voor dichte lagen is (wat momenteel lijdt onder hogere wall-clock inferentietijden door het gebrek aan hardware-geoptimaliseerde kernels), maar het bieden van een algebraïsch perspectief op hoe laag-niveau primitieven componeren tot hogere-orde functies.

De bevindingen suggereren dat de complexe functionaliteit van lineaire lagen in diepe modellen gerealiseerd kan worden door een gestructureerde compositie van enkele honderden geometrische objecten (rotoren) in plaats van miljoenen onafhankelijke gewichten. Dit biedt een nieuwe weg voor:

Interpretabiliteit: Het begrijpen van lineaire lagen als composities van georiënteerde vlakken.
Parameterefficiëntie: Het drastisch reduceren van het aantal parameters terwijl de prestaties behouden blijven.
Toekomstige Hardware: Potentiële mogelijkheden om rekenkracht te ruilen voor geheugenbandbreedte door gewichten on-chip te synthetiseren uit geometrische parameters, wat de geheugenbandbreedte-bottlenecks bij de inferentie van grote modellen aanpakt.

De auteurs blijven bescheiden en merken op dat praktische voordelen verdere systeem-niveau integratie en hardware-bewuste implementaties vereisen die buiten de reikwijdte van dit werk vallen.