💬 NLP

Three-Phase Transformer

Dit artikel introduceert de Three-Phase Transformer (3PT), een architectuur die een cyclische kanaalverdeling en rotatie-operators toepast op decoder-only Transformers om een zelfstabiliserende geometrie te creëren die, in combinatie met een vaste 'Gabriel's horn' positieside-kanaal, aanzienlijke verbeteringen in perplexiteit en convergentiesnelheid biedt ten opzichte van bestaande baselines.

Oorspronkelijke auteurs: Mohammad R. Abu Ayyash

Gepubliceerd 2026-04-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad R. Abu Ayyash

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een Nieuwe Manier om een AI "Te Denken"

Stel je een kunstmatige intelligentie (zoals een chatbot) voor als een gigantisch, super-snel fabrieksteam dat zinnen bouwt. Normaal gesproken werken deze teams met één lange, continue stroom van informatie (een "residual stream"). Alles wordt door elkaar gehusseld, gemengd en verwerkt.

De auteurs van dit paper, Mohammad R. Abu Ayyash en zijn team, hebben een nieuw idee bedacht: Waarom werken we niet met drie gescheiden, maar samenwerkende stromen?

Ze noemen dit de Three-Phase Transformer (3PT). Het is geen volledig nieuw type robot, maar een slimme aanpassing aan hoe de bestaande robots hun werk organiseren.

1. De Drie Fasen: Een Vergelijking met Elektriciteit

De naam komt van de driefasige wisselstroom die we in onze huizen gebruiken om stroom naar huizen en fabrieken te brengen.

In de elektriciteitswereld: Je hebt drie draden. Ze lopen niet tegelijkertijd op en af, maar zijn 120 graden uit elkaar gezet. Als je ze optelt, heffen ze elkaar perfect op (ze sommen tot nul), maar samen creëren ze een krachtig, draaiend magnetisch veld dat motoren doet draaien.
In de AI: De auteurs nemen de geheugenruimte van de AI en verdelen deze in drie gelijke delen (de "fasen"). In plaats van alles door elkaar te gooien, houden ze deze drie delen gescheiden, maar laten ze ze wel "draaien" zoals de draden in een elektromotor.

De Metafoor:
Stel je voor dat je drie parallelle transportbanden hebt in een fabriek.

Band A, B en C vervoeren onderdelen.
Normaal gesproken zouden arbeiders (de AI-lagen) onderdelen van alle banden pakken en door elkaar gooien.
Bij deze nieuwe methode houden ze de banden gescheiden, maar ze draaien de onderdelen op elke band een beetje rond (een rotatie) zodat ze in een perfecte cirkel bewegen.
Het resultaat: De AI wordt efficiënter omdat deze structuur helpt om informatie beter te ordenen, net zoals een driefasige motor soepeler en krachtiger draait dan een simpele motor.

2. De "Gabriel's Hoorn": Een Slimme Positie-aanduiding

Een groot probleem bij AI is: "Waar in de zin staan we nu?" (Is dit het eerste woord of het duizendste?).

De AI gebruikt al een slimme methode genaamd RoPE (Rotary Positional Embedding) om te weten hoe woorden op elkaar volgen (relatieve positie).
Maar RoPE vertelt de AI niet precies waar in de hele zin we zitten (absolute positie).

Hier komt de Gabriel's Hoorn (een wiskundig object) om de hoek kijken.

Het idee: De auteurs hebben een speciale "leegte" gecreëerd in de AI (een extra kanaal dat normaal gesproken niets doet). Ze vullen dit kanaal met een getal dat afneemt naarmate je verder in de zin komt.
De Analogie: Denk aan een zandloper. Aan het begin (woord 1) is er veel zand (een groot getal). Naarmate je verder komt (woord 1000), wordt het zand dunner (een heel klein getal).
Dit geeft de AI een gevoel voor tijd en afstand zonder de andere informatie te verstoren. Het is als een klok die tikt in de achtergrond, terwijl de AI zich bezighoudt met de inhoud van de zin.

3. Waarom werkt dit zo goed?

De paper toont aan dat deze aanpassingen de AI sneller en slimmer maken, zonder dat ze veel meer rekenkracht nodig hebben.

Snelheid: De AI leert in minder tijd (minder stappen) hetzelfde niveau van intelligentie te bereiken. Het is alsof je een student een slimme studiemethode geeft die hem 2x zo snel laat leren.
Efficiëntie: Ze voegen slechts een minieme hoeveelheid extra "code" toe (minder dan 0,002% van de totale grootte). Het is alsof je een auto iets efficiënter maakt door de wielen iets anders te laten draaien, zonder de motor te vervangen.
Zelfstabilisatie: Het mooie is dat de AI zichzelf in balans houdt. De drie fasen "vechten" niet tegen elkaar, maar werken samen als een goed geoliede machine. De auteurs noemen dit een "zelfstabiliserend evenwicht".

4. Wat hebben ze ontdekt? (De "Aha!" momenten)

Tijdens het onderzoek deden ze veel experimenten en vonden ze verrassende dingen:

Het is geen vervanging: Ze dachten eerst dat deze methode de bestaande positie-aanduiding (RoPE) zou vervangen. Maar nee, ze werken perfect samen! Het is alsof je een nieuwe versnellingsbak toevoegt aan een auto die al een goede motor heeft.
De "U-vorm": Ze ontdekten dat de diepste lagen van de AI (de "hersenen" die het meest nadenken) en de bovenste lagen (de "oogleden" die de input zien) het meest veranderen, terwijl de lagen in het midden vrij stabiel blijven. Dit is een nieuw patroon dat ze nog nooit eerder hadden gezien.
Drie is speciaal, maar niet altijd: Ze testten of 2, 3, 4 of 12 fasen beter werken. Bij kleine modellen was 1 fase (geen splitsing) het beste. Maar bij grote, volwassen modellen (zoals de 123M parameters die ze testten) was 3 fasen net iets beter of gelijkwaardig. De naam "Three-Phase" is dus meer een filosofisch idee dan een strikte regel.

Samenvatting voor de Leek

Stel je voor dat je een orkest hebt dat muziek maakt.

De oude manier: Alle muzikanten spelen tegelijk, maar soms is het een beetje rommelig en moet iedereen hard werken om op tijd te blijven.
De Three-Phase manier: Je verdeelt het orkest in drie groepen (viool, blaas, percussie). Je geeft ze een ritme dat perfect op elkaar is afgestemd (de 120 graden draaiing). Je geeft ze ook een klok (de Gabriel's Hoorn) zodat ze precies weten hoe ver ze in het nummer zitten.
Het resultaat: Het orkest klinkt voller, is beter in balans, en heeft minder moeite nodig om hetzelfde niveau te halen.

Conclusie:
Dit paper introduceert geen volledig nieuwe AI, maar een slimme architecturale aanpassing. Het toont aan dat je met heel weinig extra inspanning (slechts een paar duizend extra parameters) de prestaties van grote taalmodellen kunt verbeteren door ze te laten werken volgens een strakke, wiskundige structuur die lijkt op de natuurkrachten in onze wereld.

Titel: Three-Phase Transformer (3PT)

Auteur: Mohammad R. Abu Ayyash (Brains Build Research, Ramallah, Palestina)
Datum: April 2026 (arXiv:2604.14430v1)

1. Het Probleem en de Context

Bestaande decoder-only Transformers (zoals LLaMA-achtige modellen) vertrouwen op een standaardarchitectuur met SwiGLU, RMSNorm, RoPE (Rotary Positional Embeddings) en GQA (Grouped Query Attention). Hoewel deze modellen effectief zijn, onderzoekt dit artikel of er structurele priors (aannames over de geometrie van de data) in de residu-stroom kunnen worden geïntegreerd om de leerbaarheid en convergentie te verbeteren zonder de modelgrootte significant te vergroten.

De kernvraag is: Kan men de verborgen vectorruimte van een transformer op een specifieke manier structureren (geïnspireerd door drie-fase wisselstroom) om een stabielere en efficiëntere representatie te creëren, zonder de bestaande mechanismen (zoals RoPE) te vervangen?

2. Methodologie: De Three-Phase Transformer (3PT)

De 3PT introduceert geen nieuwe modules die de bestaande architectuur vervangen, maar voegt een structurele prior toe aan de residu-stroom. De model-dimensie ( $d_{model}$ ) wordt opgedeeld in $N$ cyclische kanalen (fases). De canonieke instantie gebruikt $N=3$ , geïnspireerd door een gebalanceerd driefasig AC-systeem waarbij drie sinusvormige signalen 120° uit elkaar liggen en op elk moment optellen tot nul.

De architectuur bestaat uit een standaard backbone met vijf specifieke, gecoördineerde modificaties:

Driefasige kanaalpartitionering: De residu-stroom wordt structureel opgedeeld in drie gelijke "strepen" (Fase A, B, C). Dit is puur een indexering; er wordt geen geleerde basis gebruikt.
Gabriel's Hoorn DC-injectie: De partitionering creëert een één-dimensionale "DC-subruimte" (de richting waarin alle fases dezelfde waarde hebben). In deze lege tunnel wordt een vast analytisch profiel geïnjecteerd: $r(p) = 1/(p+1)$ . Dit fungeert als een absolute positie-signaal dat orthogonaal is ten opzichte van RoPE (dat relatieve positie encodeert). De vorm is gebaseerd op de "Gabriel's hoorn" (een oppervlak met oneindige oppervlakte maar eindig volume), wat zorgt voor een zachte, zelfbegrenzende decay van het signaal.
PhaseRotationLayer: Tussen de Attention en de Feed-Forward Network (FFN) wordt een laag geplaatst die elke fase onafhankelijk roteert met een hoek $\theta + i \cdot (2\pi/3)$ . Dit creëert een roterend veld (analoog aan een elektrische motor). Deze rotatie is niet-residueel (het overschrijft de input), maar omdat het een orthogonale transformatie is, verdwijnen de gradiënten niet.
Phase-aligned Grouped Query Attention (GQA): Het aantal attention-heads wordt zo geconfigureerd dat ze perfect in de fasen passen (bijv. bij $N=3$ zijn het aantal query- en key-value-heads deelbaar door 3).
Phase-aware RMSNorm: In plaats van één globale RMSNorm, worden drie onafhankelijke RMSNorms toegepast, één per fase, gevolgd door concatenatie.

Belangrijk: De embedding zelf blijft vrijwel "vanilla". De drie-fase identiteit wordt gedragen door de bovenstaande vier componenten. Er is geen leerbaar sinusoidaal positie-encoding in de embedding nodig; RoPE in de attention en de Hoorn in de DC-tunnel volstaan.

3. Belangrijkste Bijdragen

Een nieuwe architecturale klasse: 3PT is een "residu-stroom structurele prior" die orthogonaal combineert met RoPE, in plaats van deze te vervangen.
Gabriel's Hoorn als absolute positie: Het introduceren van een vast, niet-leerbaar analytisch profiel ( $1/(p+1)$ ) in een structureel gecreëerde 1D-subruimte. Dit vult het gat dat RoPE laat (absolute positie) zonder interferentie.
Zelfstabilisatie: De geometrie stabiliseert zichzelf zonder expliciete "zero-sum" straffen. De combinatie van rotaties en per-fase normalisatie creëert een evenwicht dat de fases in balans houdt (een toepassing van Noether-achtige behoudswetten in neurale netwerken).
Monotone vereenvoudiging: Het onderzoek toont aan dat het verwijderen van overbodige componenten (zoals leerbare frequenties in de embedding, $\sqrt{d}$ schaling, en aux-loss) de prestaties verbetert en het aantal parameters verlaagt.

4. Experimentele Resultaten

De resultaten zijn getest op twee schalen: 5.5M parameters (TinyStories) en 123M parameters (WikiText-103).

Prestaties op 123M (WikiText-103):
- Perplexity (PPL): 3PT bereikte een 7.20% reductie in PPL ten opzichte van een gematchte RoPE-Only baseline.
- Bits Per Byte (BPB): Een verbetering van -2.62% (van 1.1148 naar 1.0855).
- Convergentie: 3PT convergeert 1.93x sneller in stappen (en 1.64x sneller in wandklok-tijd, rekening houdend met een kleine overhead).
- Parameter-efficiëntie: De verbetering wordt bereikt met slechts +1.536 trainbare parameters (0.00124% van het totaal), voornamelijk de rotatie-hoeken.
Ablatie en Analyse:
- N-sweep (Aantal fases): Bij 5.5M wint $N=1$ (geen partitionering) vaak, maar bij 123M zijn $N=1$ en $N=3$ statistisch niet te onderscheiden. De naam "Three-Phase" verwijst naar het geometrische concept, niet noodzakelijk naar $N=3$ als de enige optimale waarde bij grote schaal.
- Diepte-profiel: Er werd een U-vormig profiel ontdekt in de drift van de rotatie-hoeken over de lagen. De diepste lagen en de laagste lagen wijken het meest af van de initiële lineaire planning, terwijl de middelste lagen stabiel blijven.
- Gabriel's Hoorn: Het vasthouden van het $1/(p+1)$ profiel bleek superieur aan leerbare varianten en leverde een klein maar significant voordeel op zonder extra parameters.

5. Betekenis en Conclusie

De "Three-Phase Transformer" bewijst dat kleine, geometrisch geïnspireerde structurele wijzigingen in de residu-stroom van een transformer grote prestatiewinsten kunnen opleveren zonder de modelgrootte te vergroten.

Orthogonaliteit: Het werk toont aan dat absolute positie (via de Hoorn) en relatieve positie (via RoPE) en representatie-structuur (via de fasen) in disjuncte subruimtes kunnen bestaan en elkaar versterken.
Efficiëntie: Het is een voorbeeld van "cheap interventions" die schaalbaar zijn. De methode is niet afhankelijk van enorme rekenkracht voor training, maar van een slimme architecturale inductieve bias.
Toekomst: De paper suggereert dat de DC-tunnel een algemeen doelwit is voor andere scalar-functies (voor verschillende taken) en dat de diepte-afhankelijke rotatie-schedulering verder geoptimaliseerd kan worden.

Kortom, 3PT is geen vervanging voor bestaande technologieën, maar een complementaire architecturale laag die de efficiëntie en stabiliteit van moderne transformers aanzienlijk verbetert met verwaarloosbare kosten.