🤖 machine learning

Ouroboros: Dynamic Weight Generation for Recursive Transformers via Input-Conditioned LoRA Modulation

Het paper introduceert Ouroboros, een systeem dat een compacte Controller-hypernetwerk koppelt aan een recursieve transformer om per-stap input-afhankelijke LoRA-modulatie te genereren, waardoor de trainingsprestaties aanzienlijk verbeteren zonder de parametergrootte significant te vergroten.

Oorspronkelijke auteurs: Jaber Jaber, Osama Jaber

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jaber Jaber, Osama Jaber

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar dure robot hebt die teksten schrijft of vragen beantwoordt. Deze robot is eigenlijk een enorme stapel van 36 verdiepingen (lagen), waarbij elke verdieping een specifieke taak doet: de ene zoekt naar feiten, de andere bedenkt een grapje, en weer een andere zorgt voor de grammatica.

Het probleem? Deze robot is zo groot dat hij te duur is om te draaien op je telefoon of zelfs op een gewone server.

De oude oplossing: De "Loop" (Recursie)
Om geld te besparen, wilden onderzoekers de robot kleiner maken. In plaats van 36 verschillende verdiepingen, bouwden ze er maar één. Maar die ene verdieping zou dan 36 keer achter elkaar worden gebruikt.

Het nadeel: Het is alsof je een chef-kok hebt die 36 keer hetzelfde recept maakt. Eerst maakt hij een soep, dan weer dezelfde soep, dan weer dezelfde soep. Het resultaat wordt saai en saai, omdat de chef niet kan aanpassen aan wat er in de pan zit. Elke stap is identiek aan de vorige.

De nieuwe oplossing: OUROBOROS
De auteurs van dit paper (Jaber en Jaber) hebben een slimme oplossing bedacht, genaamd OUROBOROS (naar de slang die in zijn eigen staart bijt, een symbool van oneindigheid).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Slimme Chef (De Controller)

In plaats van dat de robot elke keer exact hetzelfde doet, hebben ze een kleine, slimme assistent (de "Controller") toegevoegd.

Hoe het werkt: Voor elke stap die de robot zet, kijkt deze assistent naar wat de robot tot nu toe heeft bedacht (de "verborgen staat").
De analogie: Stel je voor dat de robot een schilder is die steeds dezelfde verfborstel gebruikt. De assistent is een verfmeester die naar het schilderij kijkt en zegt: "Oké, nu we een boom hebben geschilderd, moet je de borstel iets meer naar links duwen. Nu we een zon hebben, moet je de borstel iets warmer maken."
De robot gebruikt dus nog steeds dezelfde borstel (dezelfde gewichten), maar de manier waarop hij hem vasthoudt en beweegt, verandert elke keer op basis van wat er nodig is. Dit maakt elke stap uniek en slim.

2. De "Gedachtenkracht" (LoRA en SVD)

De robot heeft geen ruimte voor nieuwe borstels. Daarom gebruiken de onderzoekers een truc:

Ze hebben gekeken naar de oude, verwijderde 36 verdiepingen en de "geest" van die verdiepingen vastgelegd in een paar simpele richtingen (zoals een set kant-en-klare verfkleuren).
De assistent hoeft niet te bedenken welke kleur hij moet gebruiken, hij hoeft alleen maar te zeggen: "Gebruik 80% van de rode verf en 20% van de blauwe."
Dit is heel efficiënt: de robot wordt niet zwaarder, maar hij krijgt wel de kennis van de oude, grote robot.

3. De Rem en het Gaspedaal (De Poort)

Een groot probleem bij het herhaaldelijk gebruiken van dezelfde laag is dat de robot soms "dwaalt" of in de war raakt (alsof je te veel van hetzelfde recept eet en je maag er ziek van wordt).

Ze hebben een slimme poort toegevoegd. Stel je voor dat de robot 88% van zijn vorige gedachte vasthoudt en slechts 12% nieuwe informatie toevoegt.
Dit zorgt voor stabiliteit. De robot kan langzaam "nadenken" zonder dat zijn gedachten uit elkaar vallen.

Wat hebben ze ontdekt?

Het werkt: Door deze slimme assistent toe te voegen, werd de robot 43% beter in het maken van zinnen dan een simpele, kleine robot zonder assistent.
Het is goedkoop: De assistent is zo klein dat hij maar 0,6% van de totale grootte van de robot uitmaakt. Je krijgt dus bijna de kracht van een grote robot voor de prijs van een kleine.
De beperking: De robot is nu heel goed in het oefenen met de teksten die hij heeft geleerd (zoals schoolboeken), maar hij is nog niet perfect in het toepassen van die kennis op nieuwe, vreemde teksten. Dit komt omdat de "laatste verdiepingen" (die het antwoord geven) nog steeds vastgevroren zijn en niet mee kunnen denken met de assistent.

Samenvatting in één zin

OUROBOROS is een slimme truc waarbij je een kleine, slimme assistent toevoegt aan een kleine robot, zodat die robot elke keer dat hij "nadenkt", zijn eigen gedachten aanpast aan de situatie, waardoor hij bijna net zo slim wordt als een gigantische robot, maar dan veel goedkoper.

Het is alsof je een fiets hebt die zichzelf kan aanpassen aan het terrein: op een heuvel wordt hij zwaarder, op een vlakke weg lichter, zonder dat je de fiets hoeft te vervangen.

Probleemstelling

Recursieve transformers (of "looped" transformers) zijn een efficiënte architectuur die een gedeelde blokken van gewichten herhaaldelijk toepast over meerdere dieptestappen. Dit vermindert het aantal parameters aanzienlijk in vergelijking met traditionele modellen die elke laag uniek trainen.

De fundamentele beperking van deze aanpak is echter uniformiteit: omdat dezelfde gewichten bij elke stap worden toegepast, voert elke stap dezelfde transformatie uit. Een model dat een blok 36 keer herhaalt, kan geen verschillende bewerkingen combineren zoals een model met 36 unieke lagen. Bestaande oplossingen gebruiken statische adapters of vaste aanpassingen per stap, maar deze zijn niet afhankelijk van de input; een wiskundig probleem en een gedicht krijgen dus exact dezelfde aanpassingen.

Methodologie: OUROBOROS

OUROBOROS lost dit op door een compacte Controller hypernetwork toe te voegen die dynamisch gewichtsmodulatie genereert op basis van de huidige toestand van het model. Het systeem werkt als volgt:

Architecturale Splitsing (Prelude/Recurrent/Coda):
- Een vooringesteld model (bijv. Qwen2.5-3B met 36 lagen) wordt opgesplitst in drie delen.
- Prelude (lagen 0-7) en Coda (lagen 28-35): Deze lagen zijn bevroren (frozen) en fungeren respectievelijk als invoer-embeddings en decoder.
- Recurrent Block (laag 18): Een enkele transformer-laag die $N$ keer wordt herhaald. De kennis van de verwijderde lagen wordt hierin opgeslagen via SVD-initialisatie.
SVD-Geinitialiseerde LoRA Bases:
- De gewichten van de verwijderde lagen worden vergeleken met de herhaalde laag. Het residu ( $\Delta = W_{removed} - W_{recurrent}$ ) wordt onderworpen aan een afgeknotte Singular Value Decomposition (SVD).
- De resulterende matrices $A$ en $B$ worden bevroren en vormen de basis voor Low-Rank Adaptation (LoRA). De Controller hoeft niet de richtingen te leren, maar alleen de magnitude (sterkte) van deze vooraf berekende richtingen aan te passen.
De Controller Hypernetwork:
- Deze compacte netwerkkomponent observeert de gemiddelde hidden state ( $\bar{h}$ ) en de stap-embedding ( $t$ ).
- Het genereert een diagonaal modulatievector ( $\delta_k$ ) voor 7 LoRA-doelen (Q, K, V, O projecties en FFN-projecties).
- Deze vector wordt toegepast op de bevroren LoRA-bases, waardoor de gewichtsaanpassing input-afhankelijk wordt.
Gated Recurrence en Per-Step LayerNorm:
- Gated Recurrence: Om te voorkomen dat de representatie "drift" tijdens diepe iteraties, wordt een geleerde poort gebruikt: $h^{(t)} = g^{(t)} \odot h_{new} + (1-g^{(t)}) \odot h^{(t-1)}$ . De poort is initieel ingesteld op 88% retentie (bias $b_g = -2.0$ ), wat een gradiëntweg creëert.
- Per-Step LayerNorm: Elke herhalingsstap heeft een unieke RMSNorm met een leerbare schaalparameter, wat helpt bij het differentiëren van stappen.

Belangrijkste Bijdragen

Input-Conditioned Modulation: Het eerste systeem dat dynamische, input-afhankelijke gewichtsaanpassingen toepast binnen een recursieve transformer via een hypernetwork, in plaats van statische parameters.
Efficiëntie: Het systeem voegt slechts 9,2 miljoen trainbare parameters toe (0,6% van het basismodel), bestaande uit de Controller (0,7M), de poort (8,4M) en per-stap LayerNorm (131K). De rest van het model is bevroren.
Noodzaak van Poortmechanismen: Empirisch bewijs dat gated recurrence essentieel is; zonder deze poort verslechtert de prestatie van het model bij recursieve toepassing.
Uitgebreide Ablatie: Een analyse van 13 configuraties die aantoont dat de Controller superieur is aan statische per-stap LoRA, ongeacht de diepte (1, 4, 8, 16) of rang (8, 32, 64).

Resultaten

De experimenten zijn uitgevoerd op Qwen2.5-3B (gesplitst in 17 lagen: 8 Prelude + 1 Recurrent + 8 Coda).

Training Loss: OUROBOROS verlaagt de trainingsfout met 43,4% ten opzichte van de ongewijzigde 17-laags baseline. Dit herwint 51,3% van het prestatiekloof dat ontstaat door het verwijderen van lagen.
Vergelijking met Statische LoRA: De Controller presteert overal beter dan statische LoRA. Het grootste verschil is bij diepte 1, waar OUROBOROS 1,44 punten lager scoort (betere loss) dan statische LoRA. Dit toont aan dat input-conditioning zelfs nuttig is in een enkele pass.
Robuustheid: Het systeem convergeert naar bijna identieke foutniveaus (rond 5,08) ongeacht de diepte, rang of leerfrequentie. Dit suggereert dat de Controller een stabiele "attractor" leert en dat extra doorlopen (diepte) weinig extra informatie toevoegen bij de huidige setup.
Generalisatie (Limitatie): Op vastgehouden tekst (held-out data) verbetert OUROBOROS de prestaties niet ten opzichte van de baseline. De auteurs attribueren dit aan de bevroren Coda-lagen, die niet kunnen adaptieren aan de gewijzigde verdeling van hidden states die door de Controller wordt gegenereerd.

Betekenis en Toekomstperspectief

OUROBOROS demonstreert dat recursieve transformers niet hoeven te lijden onder uniformiteit als ze worden gekoppeld aan een dynamische controller. Het biedt een pad naar zeer efficiënte modellen die "dieper kunnen denken" zonder de parameterkosten van extra lagen.

De belangrijkste beperking is de generalisatie naar nieuwe data, wat wijst op de noodzaak om de downstream lagen (Coda) aanpasbaar te maken in toekomstige werk. Desondanks is het een doorbraak in het combineren van hypernetworks, LoRA en gated recurrence voor het trainen van diepe, recursieve neurale netwerken met minimale extra parameters. De code is open-source beschikbaar gesteld.