🤖 machine learning

Fixed Universal Transformers

Dit artikel introduceert "universele transformers", een klasse van modellen met vaste parameters die in staat zijn om elke transformer binnen een gegeven klasse te simuleren via een specifieke input-embedding die de beschrijving van het doelmodel codeert, waarmee wordt aangetoond dat een dergelijke universaliteit zowel constructeerbaar als generiek is, en suggereert dat de expressieve kracht van een transformer grotendeels berust in de inputrepresentatie in plaats van in de geleerde gewichten.

Oorspronkelijke auteurs: Jingwen Liu, Alexandr Andoni, Daniel Hsu

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingwen Liu, Alexandr Andoni, Daniel Hsu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk complexe machinefabriek hebt. Binnen deze fabriek staan duizenden verschillende machines, elk ontworpen voor een zeer specifieke taak: de één sorteert sokken, een ander bakt brood, en een derde repareert auto's. Normaal gesproken moet je een machine herbedraden, de tandwielen vervangen en de hersenen herprogrammeren om hem een nieuwe taak te laten uitvoeren. Dat is een traag en duur proces.

Dit artikel introduceert een nieuw idee genaamd een "Universal Transformer." Denk aan dit als een enkele, superflexibele machine die elke van die specifieke machines kan worden, simpelweg door een andere USB-stick (de "input embedding") in te pluggen.

Hier is de uitleg van hoe dit werkt, met behulp van eenvoudige analogieën:

1. Het Kernidee: De "Universele Machine"

In de wereld van computers hebben we het concept van een "Universele Turingmachine" — één enkele computer die elk ander computerprogramma kan draaien als je de juiste code geeft.

De auteurs stellen een Universal Transformer voor.

De Machine: Dit is een vast AI-model. De interne "bedrading" (de gewichten en parameters) staat vast. Het verandert nooit. Het is als een robot met een permanent brein.
De USB-stick (De Embedding): Dit is het enige dat verandert. De auteurs laten zien dat je de volledige beschrijving van een andere AI-modellen kunt coderen in deze invoergegevens.
Het Resultaat: Wanneer je de Universal Transformer een specifieke "USB-stick" voert, begint hij onmiddellijk exact te functioneren als de doelmachine. Als je de USB-stick verwisselt, wordt hij onmiddellijk een andere machine.

De Analogie: Stel je een universele afstandsbediening voor. De afstandsbediening zelf (de hardware) verandert nooit. Maar door verschillende knoppen in te drukken (de input embedding), kun je ervoor zorgen dat hij zich gedraagt als een tv-afstandsbediening, een garagepoortopener of een dronecontroller. Het artikel bewijst dat een Transformer dit kan doen voor andere Transformers.

2. Hoe Bouwen Ze Het?

Het artikel laat twee manieren zien om deze Universal Transformer te bouwen:

De "Blauwdruk"-methode (Sparse Constructie): De auteurs hebben een zeer specifieke, gestructureerde machine ontworpen. Het is alsof je een robot bouwt met een enorme, georganiseerde bibliotheek van lege slots. Wanneer je de robot een nieuwe "USB-stick" geeft, weet de robot precies welke slots hij moet vullen om de nieuwe taak na te bootsen. Deze methode is precies en gebruikt veel lege ruimte (het is "sparse"), maar het garandeert dat de klus geklaard wordt.
De "Lottery Ticket"-methode (Random Initialisatie): Hier is het verrassende deel. De auteurs ontdekten dat als je gewoon een Transformer bouwt en de interne gewichten volledig willekeurig laat (zoals het gooien van dobbelstenen om de tandwielen in te stellen), het bijna gegarandeerd een Universal Transformer zal zijn. Je hoeft de bedrading niet zorgvuldig te ontwerpen. Zolang de "USB-stick" (embedding) groot genoeg is, kan de willekeurige machine elke andere machine nabootsen door simpelweg die invoer aan te passen.

3. Het "Waarom" en de "Grootte"

Het artikel vraelt: Hoe groot moet de USB-stick zijn?

De Grootte-regel: Hoe complexer de machine die je wilt nabootsen (meer lagen, meer attention heads), hoe groter de USB-stick moet zijn. De auteurs hebben de exacte grootte berekend die nodig is. Het is alsocht zeggen: "Om een simpele rekenmachine te kopiëren, heb je een kleine USB-stick nodig. Om een supercomputer te kopiëren, heb je een enorme harde schijf nodig."
De Limiet: Ze hebben ook bewezen dat als je de USB-stick te klein maakt, het wiskundig onmogelijk is om complexe machines te kopiëren. Er is een harde limiet aan hoeveel informatie je in een kleine input kunt persen.

4. Heeft Het Gewerkt? (De Experimenten)

De auteurs hebben niet alleen wiskunde gedaan; ze hebben het getest. Ze lieten de Universal Transformer twee lastige logische puzzels oplossen:

Haakjes Balanceren: Controleren of een reeks haakjes zoals ((())) gebalanceerd is.
Multi-hop Redeneren: Een spel waarbij het model een keten van aanwijzingen moet volgen (bijv. "Als A gelijk is aan B, en B is gelijk aan C, wat is dan A?").

De Resultaten:

Ze namen hun vaste, onveranderlijke Universal Transformer.
Ze trainden alleen de "USB-stick" (de input embedding).
Succes: De machine leerde de puzzels perfect op te lossen!
Bonus: Zelfs toen ze de "Random Machine" gebruikten (waar de interne tandwielen slechts willekeurige ruis waren), werkte het bijna even goed als een volledig getrainde machine, zolang ze maar een paar standaard stabilisatoren (zoals residual connections en layer normalization) toevoegden.

5. De Belangrijkste Conclusie

De belangrijkste boodschap van dit artikel is een verschuiving in perspectief over hoe AI werkt.

Normaal gesproken denken we dat de "intelligentie" van een AI voortkomt uit de geleerde gewichten (het interne brein). Dit artikel suggereert dat een enorm groot deel van de kracht van een Transformer eigenlijk schuilt in hoe je informatie aanbiedt.

Als je een Universal Transformer hebt, hoef je niet het hele brein opnieuw te trainen voor elke nieuwe taak. Je hoeft alleen maar de juiste "sleutel" (de input embedding) te vinden om het specifieke gedrag te ontgrendelen dat je nodig hebt. Het suggereert dat het "brein" misschien meer een flexibel sjabloon is, en dat de "kennis" eigenlijk alleen maar een kwestie is van hoe je de data presenteert.

Kortom: Je hebt niet voor elke baan een nieuw brein nodig. Je hebt alleen de juiste instructiehandleiding (de embedding) nodig die je in een universele machine plugt.

Technische Samenvatting: Fixed Universal Transformers

Probleemstelling

Dit artikel behandelt de vraag of een enkele, met vaste parameters voorzien van Transformer-architectuur elke andere Transformer binnen een voorgeschreven klasse kan simuleren, mits de input-embedding op geschikte wijze wordt gewijzigd. Dit concept trekt een analogie met de Universele Turingmachine en Universele Circuits uit de computertheorie. In tegenstelling tot universele benadering (waarbij modelparameters worden afgestemd om willekeurige functies te benaderen) of Turing-volledigheid (waarbij een netwerkfamilie elke Turingmachine met specifieke parameters kan simuleren), onderzoekt dit werk universaliteit in een striktere zin: de interne gewichten (attention- en value-matrices) van de "universele" Transformer zijn vast (ofwel expliciet geconstrueerd, ofwel willekeurig geïnitialiseerd), en de simulatie van een doel-Transformer wordt bereikt door enkel de input-embeddingmatrix $E$ te wijzigen.

De auteurs worden gemotiveerd door recente empirische bevindingen (Zhong en Andreas, 2024) die suggereren dat veel capaciteiten van taalmodellen aanwezig zijn in willekeurig geïnitialiseerde Transformers, waarbij enkel getrainde embedding- en unembedding-lagen nodig zijn. Het artikel tracht dit fenomeen theoretisch te formaliseren en te bepalen onder welke condities dergelijke universaliteit standhoudt.

Methodologie

1. Formele Definitie

De auteurs definiëren een Universal Transformer (UT) als een $H$ -head, $L$ -laag Transformer met embedding-dimensie $m$ . Deze is geparametriseerd door vaste matrices $\{R^l_{Q}, R^l_{K}, R^l_{V}\}$ en een unembedding-matrix $U$ . Gegeven een doel-Transformer $T$ met parameters $\{W^l_{Q}, W^l_{K}, W^l_{V}, W^l_{O}\}$ en embedding-dimensie $d$ , simuleert de UT de $T$ indien er een embedding-matrix $E \in \mathbb{R}^{d \times m}$ bestaat zodanig dat:
$\text{UT}(X, E) = T(X)$
voor alle input-sequenties $X$ . De embedding $E$ fungeert als een "programma" dat de parameters van de doel-Transformer codeert.

2. Theoretische Constructies

Het artikel biedt twee primaire theoretische resultaten met betrekking tot het bestaan van dergelijke universele Transformers:

Expliciete Sparse Constructie: De auteurs construeren een vaste UT met $\{0, 1\}$ -waardige parameters. De embedding-dimensie $m$ is voldoende indien $m = O(Ld)$ voor single-head ( $H=1$ ) en $m = O(HLd)$ voor multi-head ( $H \ge 2$ ) settings. De constructie codeert de parameters van de doel-Transformer in de embedding $E$ en gebruikt de vaste UT-parameters om deze gewichten door een boomachtige structuur van attention-paden te routeren en te lezen. Deze constructie breidt zich ook uit naar looped (weight-tied) Transformers, waarbij parameters over lagen worden gedeeld.
Random Universaliteit: De auteurs bewijzen dat universaliteit een generiek eigenschap is. Indien de parameters van een Transformer worden getrokken uit een absoluut continue distributie (bijv. i.i.d. Gaussisch), dan is de resulterende Transformer met waarschijnlijkheid 1 universeel, mits de embedding-dimensie aan dezelfde grenzen voldoet ($m = O(HLd)$). Het bewijs berust op het aantonen dat de algebraïsche condities die vereist zijn voor simulatie alleen falen op een verzameling met maat nul (waar bepaalde matrices rang-deficient worden).

3. Ondergrenzen

Het artikel stelt een ondergrens vast voor de embedding-dimensie $m$ voor "attention-matching" benaderingen, waarbij de universele Transformer exact de attention-matrices van de doel-Transformer moet reproduceren. Stelling 4.1 toont aan dat voor $H \ge 2$ , $m$ exponentieel moet groeien met diepte $L$ (specifiek $m \ge HL/2$ ), zelfs in het eenvoudigste geval waar de input-dimensie 1 is. Dit benadrukt de complexiteit van het representeren van de exponentieel veel computationele paden die worden geïnduceerd door multi-head attention.

4. Empirische Evaluatie

De auteurs valideren hun theorie op twee algoritmische taken:

Parenthesis Balancing (Dyck-1): Bepalen of een sequentie van haakjes gebalanceerd is.
$k$ -hop Induction Heads: Een generalisatie van het induction head-mechanisme, dat recursieve retrieval van tokens vereist.

Zij vergelijken drie modellen:

Sparse Universal Transformer: Gebruikmakend van de expliciete constructie uit Theorem 3.1.
Random Universal Transformer: Gebruikmakend van willekeurig geïnitialiseerde vaste parameters.
Fully-trained Transformer: Een standaard Transformer die end-to-end is getraind.

In alle experimenten worden enkel de embedding-matrix $E$ en de unembedding-matrix $U$ getraind; alle interne attention- en value-parameters blijven vast.

Belangrijkste Resultaten

Theoretische Bevindingen

Bestaan: Universele Transformers bestaan met expliciete sparse parameters en met willekeurig geïnitialiseerde parameters.
Dimensionaliteit: De vereiste embedding-dimensie schaalt lineair met het aantal lagen en heads ($O(HLd)$).
Generaliteit: Willekeurig geïnitialiseerde Transformers zijn bijna zeker universeel, wat suggereert dat de "expressieve kracht" van de architectuur inherent is aan de structuur zelf in plaats van aan de specifieke geleerde gewichten.
Ondergrenzen: Voor strategieën gericht op "attention-matching" moet de embedding-dimensie exponentieel schalen met de diepte, wat wijst op een fundamentele limiet op het comprimeren van de ruimte van alle mogelijke Transformers in een laag-dimensionale embedding zonder de attention-patronen te matchen.

Experimentele Bevindingen

Parenthesis Balancing: Zowel sparse als random universele transformers bereikten 100% nauwkeurigheid (sparse) en 94,4% (random) in de attention-only setting, wat overeenkomt met volledig getrainde modellen.
Induction Heads: In de attention-only setting was de prestatie suboptimaal (bijv. ~30-40% voor $k$ $k$ -hop taken versus ~99% voor volledig getrainde modellen). Echter, het toevoegen van standaardcomponenten verbeterde de prestaties aanzienlijk:
- Het toevoegen van residual connections en layer normalization stelde de sparse universele transformer in staat om 100% nauwkeurigheid te bereiken op alle induction-taken en de random universele transformer om 85,7%–96,1% te bereiken.
- Het toevoegen van MLP-lagen (bevroren en willekeurig geïnitialiseerd) verbeterde de prestaties van de random universele transformer verder.
Optimalisatie: De resultaten demonstreren dat standaard gradiënt-gebaseerde optimalisatie succesvol de vereiste embeddings kan leren voor universele Transformers om complexe algoritmische taken op te lossen, mits de architectuur beschikt over stabiliserende componenten zoals residual connections en layer normalization.

Betekenis en Claims

Het artikel claimt dat een aanzienlijk deel van de expressieve kracht van een Transformer resideert in de input-representatie (de embedding) in plaats van in de geleerde interne gewichten. Door het concept van een "Universele Transformer" te formaliseren, bieden de auteurs een theoretische basis voor:

Model Reprogramming: Het vermogen om een pre-trained (of vaste) model aan te passen aan nieuwe taken door enkel de embedding-lagen te wijzigen.
Random Initialisatie: Het verklaren waarom willekeurig geïnitialiseerde Transformers vaak verrassende capaciteiten vertonen, aangezien ze inherent in staat zijn om taakspecifieke Transformers te simuleren met de juiste embedding.
Efficiëntie: Het suggereren dat men voor bepaalde klassen van problemen wellicht niet de volledige set Transformer-parameters hoeft te leren, maar een compacte embedding kan leren die een vaste, universele backbone "programmeert".

De auteurs blijven bescheiden en merken op dat hun theoretische ondergrenzen specifiek gelden voor "attention-matching" strategieën en dat het uitbreiden van deze resultaten naar meer realistische architecturen met MLP's en normalisatie (hoewel empirisch veelbelovend) een open theoretische richting blijft. Zij verduidelijken ook dat hun werk de Transformer-architectuur zelf niet verandert, maar de rol van de input-embedding herinterpreteert.