🤖 AI

Full-bandwidth transformer

Dit artikel introduceert de full-bandwidth transformer, een nieuwe architectuur die autoregressieve decodering verbetert door de vorige verborgen toestand van de bovenste laag via latente feedback terug in het model te voeren, waardoor de prestaties over diverse taken worden verbeterd terwijl de standaard efficiëntie behouden blijft en er aanzienlijk minder trainingsdata nodig is dan bij conventionele transformers.

Oorspronkelijke auteurs: Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een echt lastige puzzel op te lossen, maar je hebt een zeer strikte regel: je mag alleen één enkel woord tegelijk fluisteren naar je toekomstige zelf. Als je een complexe stap in je plan uitwerkt, moet je deze als een woord opschrijven, wachten tot je toekomstige zelf het heeft gelezen, en dan weer opnieuw beginnen. Dit is hoe de meeste moderne AI-chatbots vandaag de dag werken. Ze zijn briljant in lezen en schrijven, maar wanneer ze nadenken, zijn ze gedwongen om hun gedachten hardop te "spreken", één woord tegelijk, zelfs als die gedachten complexe ideeën zijn. Dit is alsof je probeert een zware rugzak met informatie te dragen, maar je kunt je toekomstige zelf bij elke stap slechts één ansichtkaart uit de rugzak overhandigen.

Wetenschappers noemen deze AI-modellen "transformers". Zij zijn de motoren achter de slimme chatbots die we dagelijks gebruiken. Deze modellen werken in twee richtingen: ze lezen woorden over een pagina heen (horizontaal) en ze verwerken informatie via vele lagen van "neuronen" die op elkaar gestapeld zijn (verticaal). Het probleem is dat, hoewel ze alle woorden die ze al hebben geschreven kunnen zien, ze niet gemakkelijk hun diepe, complexe interne gedachten terug naar de onderkant van hun brein kunnen sturen om opnieuw te worden verwerkt. Zodra een gedachte is omgezet in een woord, gaan de rijke, verborgen details van die gedachte grotendeits verloren, waardoor de AI ofwel een lange, woordenrijke uitleg moet schrijven, of alles vanaf nul opnieuw moet berekenen. Onderzoekers willen weten: kunnen we de AI haar "geheime aantekeningen" laten bewaren en ze terugsturen naar het begin van haar brein zonder dat ze ze als woorden hoeft op te schrijven? Als dat zou kunnen, zou de AI sneller, slimmer en met minder woorden kunnen denken.

Dit artikel introduceert een nieuw soort AI genaamd de "full-bandwidth transformer". De onderzoekers, werkzaam bij Microsoft en topuniversiteiten, hebben een manier gevonden om die smalle "fluister"-kanaal te verbreden. In plaats van alleen één woord terug naar het begin te sturen, laten ze de AI haar volledige "hidden state" sturen — een massieve, complexe samenvatting van alles wat ze tot nu toe heeft gedacht — terug naar de onderkant van haar brein. Dit doen ze met een slimme truc genaamd "latent feedback". Stel je voor dat je, in plaats van je toekomstige zelf een ansichtkaart te overhandigen, je hele rugzak met aantekeningen direct naar je startpunt kunt teleporteren, terwijl je nog steeds de ansichtkaart houdt als verslag van wat je hebt gezegd. De AI voegt haar diepe, interne samenvatting samen met het nieuwe woord dat ze zojuist heeft gegenereerd, waardoor een supergeladen input ontstaat voor de volgende stap.

Het team trainde deze nieuwe modellen met een speciaal schema dat deze "teleporterende" vaardigheid langzaam introduceerde tijdens hun leerfase. Ze testten modellen met 1 miljard parameters op een enorme hoeveelheid tekst (tot 400 miljard tokens). De resultaten suggereren dat deze methode verrassend goed werkt. De AI werd niet alleen beter in wiskunde en programmeren; ze begon ook korter en efficiënter te denken. In veel tests presteerde de full-bandwidth transformer net zo goed als standaardmodellen die op twee keer zoveel data waren getraind, en soms evenaarde het zelfs modellen die op vijf keer zoveel data waren getraind. Misschien wel het meest opwindend: bij het oplossen van wiskundige problemen produceerden deze nieuwe modellen vaak veel kortere antwoorden terwijl ze toch het juiste resultaat behaalden, wat suggereert dat ze het harde denkwerk in hun "hoofd" deden in plaats van woorden te verspillen aan uitleg. De onderzoekers ontdekten dat deze aanpak bijna geen extra kosten met zich meebrengt voor de snelheid van de AI, wat het een veelbelovende manier maakt om slimmere en efficiëntere AI te bouwen zonder de noodzaak voor eindeloze hoeveelheden nieuwe data.

Technische Samenvatting: Full-Bandwidth Transformer

Probleemstelling

Autoregressieve transformers berekenen langs twee assen: horizontaal over gegenereerde tokens en verticaal door de modeldiepte. Hoewel dichte aandacht brede horizontale toegang biedt tot eerdere tokens, blijft het verticale feedbackkanaal tussen stappen van het decoderen smal. Bij standaard decoding comprimeert het model zijn volledige $D$ -dimensionale top-laag verborgen toestand (hidden state) naar een enkel discreet token (dat maximaal $\log_2 |V|$ bits draagt) om als input voor de volgende stap te dienen. Gevolgelijk wordt niet-verbale berekening (intermediaire activaties, onzekerheid, gedeeltelijke plannen) "diepte-bevroren" in de KV-cache; het blijft toegankelijk voor de lagen boven het punt van productie, maar kan niet terugkeren naar de onderkant van de stapel voor verdere verwerking. Dit dwingt het model om ofwel intermediaire staten token voor token te verbaliseren, ofwel ze vanaf nul opnieuw te berekenen, wat de effectieve diepte van redeneren per token beperkt.

Methodologie: Latent Feedback Decoding

De auteurs stellen de Full-Bandwidth Transformer voor, die het inter-stap feedbackkanaal verb breed maakt door de vorige top-laag verborgen toestand terug te voeren in de input, samen met de gesamplede token-embedding.

1. Latent Feedback Mechanisme

Bij elke decoding-stap $t$ wordt de input $u_t$ gevormd door de gesamplede token-embedding $e_t$ te fuseren met de vorige top-laag verborgen toestand $h^L_{t-1}$ :
$u_t = e_t \otimes h^L_{t-1}$
De fusie-operator $\otimes$ is een Gated Linear Unit (GLU):
$e_t \otimes h^L_{t-1} = (W_U h^L_{t-1}) \odot \sigma(W_G e_t)$

Asymmetrie: De verborgen toestand bezet het waardepad, terwijl het token fungeert als een multiplicatieve gate. Dit ontwerp voorkomt dat het model leert de toestand-pad te negeren (een potentieel kortsluitingspad in symmetrische fusie), waardoor het gedwongen wordt de volledige verborgen toestand te gebruiken.
Architectuur: Dit voegt slechts twee $D \times D$ matrixvermenigvuldigingen per token toe. De standaard transformer-architectuur, KV-cache lay-out en serving stack blijven ongewijzigd.
Effect: Dit stelt het model in staat om niet-verbale staten opnieuw de onderkant van de stapel binnen te laten komen met een vernieuwd dieptebudget. Elke laag, inclusief de ondiepste, heeft nu toegang tot de volledige historie zoals verwerkt door de gehele stapel, in plaats van alleen de lagen onder zich.

2. Parallelle Trainingsstrategie

Het direct trainen van deze recursie zou de parallelle teacher forcing tenietdoen, omdat de input op positie $t$ afhankelijk is van de output op $t-1$ . De auteurs introduceren een multi-pass objectief om dit op te lossen:

Temporele Parallellisme: In plaats van sequentieel over tokens te unrollen, voert het model $K$ $K$ parallelle forward passes uit over de sequentie.
- Pass 1: Standaard forward pass met gewone token-embeddings.
- Pass $k$ ( $k > 1$ ): De verborgen toestanden van Pass $k-1$ worden één positie naar rechts verschoven, gefuseerd met de token-embeddings, en parallel teruggevoerd in de stapel.
Loss Functie: Het objectief combineert de standaard Next-Token Prediction (NTP) loss van de eerste pass met aanvullende NTP losses van opeenvolgende passes. Gradiënten van latere passes propageren terug naar eerdere latente staten, wat de staten aanmoedigt om herbruikbare inputs te zijn.
Scheduling: Om stabiliteit te garanderen en rekenkosten te beheersen, gebruiken de auteurs een progressief schema:
- De training begint met standaard single-pass objectieven.
- Latent feedback wordt geïntroduceerd halverwege de training (bijv. 2-pass batches).
- Een klein deel (bijv. 3%) van de batches met hogere passes (bijv. 3-pass) wordt gemengd in. Empirisch gezien stabiliseert deze kleine fractie de geleerde feedback-map, waardoor het een contractie wordt naar een vast punt dat stabiel blijft, zelfs wanneer het wordt geëxtrapoleerd naar lange horizonten (honderden passes) tijdens inferentie.
Prefix Mix-in: Om de distributie-mismatch te behandelen tussen training (volledig gefuseerde inputs) en inferentie (plain prompt + gefuseerde generatie), randomiseert het trainingsproces de prefix-lengte waar de gefuseerde inputs beginnen, passend bij de prompt-dan-genereer structuur van inferentie.

3. Stabiliteitstechnieken

Om divergentie tijdens lange-horizon inferentie te voorkomen, hanteren de auteurs:

Diepte-schaling (Depth Scaling): Ervoor zorgen dat de norm van de top-laag toestand $O(1)$ blijft in plaats van te groeien met de diepte.
Gewichts-tying (Weight Tying): Het binden van de embedding-laag en de readout-laag gewichten om compatibiliteit tussen plain token en gefuseerde toestand inputs te garanderen.
Ruis-regularisatie (Noise Regularization): Het toevoegen van kleine jitter-ruis aan de meegevoerde verborgen toestand tijdens de training om de robuustheid te verbeteren.

Belangrijkste Resultaten

De auteurs trainden 1B-parameter modellen tot 400B tokens en evalueerden deze tegen standaard transformers getraind met 100B tot 1T tokens.

Data-efficiëntie: Full-bandwidth transformers benaderen of evenaren de prestaties van standaard transformers getraind met ongeveer 1,5× tot 2× meer tokens. Bijvoorbeeld, een 200B-token full-bandwidth model benadert de prestaties van een 400B-token standaard baseline.
Prestatiewinst:
- Validatie Loss: Verbeterd over alle schalen.
- Redeneren & Codering: Op taken met vrije vorm generatie (GSM8K, Math500, HumanEval, MBPP), presteert latent feedback decoding (SOFT en FUSED regimes) consistent beter dan standaard decoding met dezelfde gewichten.
  - SOFT (Latent Feedback): Beste voor wiskundige taken, wat suggereert dat de verborgen toestand redeneren beter draagt dan verbaliseerde tokens.
  - FUSED (Multi-pass Prefill): Beste voor coderingstaken, wat suggereert dat verfijnde prompt-representaties cruciaal zijn.
- Instructie-tuning: De winsten blijven bestaan na lang-context extensie en instructie-tuning.
Beknoptheid: Op basismodellen (vóór instructie-tuning) produceert latent feedback merkbaar kortere redeneersporen bij gelijke of betere nauwkeurigheid. Het model voert berekeningen "stil" uit in de verborgen toestand in plaats van het token voor token te narreren. Dit effect neemt af na instructie-tuning, waarschijnlijk omdat de tuning-data de verbale standaard redenering imiteert.
Toegankelijkheid van Toestand: Probing-experimenten bevestigen dat recursieve prefilling globale toestandsinformatie veel effectiever blootstelt aan ondiepe lagen (Laag 0) dan standaard prefilling, wat de claim van "full-bandwidth" valideert.

Betekenis en Claims

De paper claimt dat de Full-Bandwidth Transformer een nieuwe schaal-as biedt voor Large Language Models: het toewijzen van meer berekening per token in plaats van alleen meer tokens of parameters.

Heroverweging van Schaling: Nu hoogwaardige unieke data een beperkende factor wordt, pleiten de auteurs voor het extraheren van meer leer-signaal uit elk token. Latent feedback bereikt dit door het model toe te staan te itereren op zijn interne toestand zonder de bottleneck van verbalisering.
Inferentie-efficiëntie: De aanpak biedt prestatiewinsten met verwaarloosbare per-token decoding overhead (slechts twee matrixvermenigvuldigingen). De extra berekening wordt primair in rekening gebracht tijdens optionele multi-pass prefilling of training, niet tijdens de sequentiële generatie van elk token.
Architecturale Minimalisme: De methode behoudt de standaard transformer-architectuur en KV-cache, waarbij alleen een wijziging in de constructie van de input en een specifiek trainingsschema vereist is.
Stabiliteit: Het werk demonstreert dat recursieve feedbackloops effectief getraind kunnen worden in transformers met behulp van parallelle multi-pass objectieven, waarbij de instabiliteit die vaak geassocieerd wordt met het trainen van recursieve netwerken wordt overwonnen.

De auteurs concluderen dat full-bandwidth transformers een verschuiving vertegenwoordigen van het uitsluitend vertrouwen op datagrootte naar het benutten van recursieve, feedback-gebaseerde berekening om de kwaliteit van representaties en redeneerefficiëntie te verbeteren.