💬 NLP

Universal computation is intrinsic to language model decoding

Dit paper bewijst dat het autoregressieve proces van taalmodellen fundamenteel in staat is tot universele berekeningen, waarbij training niet de computationele kracht creëert, maar enkel de programmeerbaarheid (het gemak van het vinden van de juiste prompt) verbetert.

Oorspronkelijke auteurs: Alex Lewandowski, Marlos C. Machado, Dale Schuurmans

Gepubliceerd 2026-02-11

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alex Lewandowski, Marlos C. Machado, Dale Schuurmans

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Verborgen Supercomputer in je Taalmodel: Een Uitleg

Stel je voor dat je een nieuwe, hypermoderne typemachine koopt. Je verwacht dat die alleen letters en cijfers kan typen. Maar wat als ik je vertel dat die typemachine, als je hem op een heel specifieke manier gebruikt, in feite een complete supercomputer is die elk denkbaar wiskundig probleem kan oplossen?

Dat is precies wat onderzoekers Alex Lewandowski en zijn team hebben bewezen over taalmodellen (zoals ChatGPT of Llama).

De Kern: De "Typemachine" is al een Computer

De meeste mensen denken dat een taalmodel pas "slim" wordt door de enorme hoeveelheid boeken en internetteksten die het leest tijdens de training. Ze denken dat de training de "hersenen" creëert.

De onderzoekers zeggen echter iets heel anders: De rekenkracht zit al in de machine, nog voordat hij één woord heeft geleerd.

Het is niet de kennis van het model die het krachtig maakt, maar de manier waarop het werkt. Omdat een taalmodel woord voor woord (token voor token) reageert en die woorden weer toevoegt aan zijn eigen geheugen, creëert het een soort oneindige "lopende band". En die lopende band is precies wat een computer nodig heeft om berekeningen uit te voeren.

Een Metafoor: De Ongetrainde Orkestmuzikant

Om dit te begrijpen, kunnen we een vergelijking maken met een orkest:

De Ongetrainde Staat (De "Willekeurige" Muzikant): Stel je een groep muzikanten voor die nog nooit muziek hebben gehoord. Ze spelen volkomen willekeurige noten. Je zou zeggen: "Dit is geen muziek, dit is ruis." De onderzoekers ontdekten echter dat zelfs deze "ruis-muzikanten" in theorie een perfecte symfonie kunnen spelen, mits je ze een heel ingewikkelde partituur geeft (een speciale code). De muziek zit in de structuur van het instrument en de manier waarop ze noten achter elkaar spelen, niet in hun kennis van Mozart.
De Training (De Muziekles): De training van een AI is eigenlijk niets anders dan het aanleren van een "taal" aan die muzikanten. Door miljoenen teksten te lezen, leren ze niet alleen hoe ze moeten rekenen, maar vooral hoe ze dat moeten doen in een taal die wij (mensen) begrijpen. Training maakt de computer niet "krachtiger" in rekenen, maar wel "programmeerbaar" voor mensen.

Waarom is dit belangrijk?

Tot nu toe dachten critici vaak: "AI kan niet echt logisch nadenken of plannen, want het maakt fouten."

De onderzoekers zeggen nu: "Dat klopt, maar dat komt niet omdat de AI het niet kan, maar omdat we nog niet goed genoeg zijn in het geven van de juiste instructies (prompt engineering)."

Het is alsof je een geniale wiskundige vraagt: "Wat is 1+1?" en hij antwoordt: "Een appel." De wiskundige is niet dom; hij begrijpt je vraag alleen niet omdat je het in een vreemde taal stelde.

De Conclusie: Een Nieuw Tijdperk

De onderzoekers zien een evolutie in de geschiedenis van computers:

Tijdperk 1 (Menselijke rekenkracht): Mensen die met pen en papier rekenen.
Tijdperk 2 (Formele computers): Computers die we moeten programmeren met ingewikkelde codes (zoals Python of C++).
Tijdperk 3 (Taalmodel-computers): Een wereld waarin we gewoon in onze eigen natuurlijke taal (Nederlands, Engels, etc.) kunnen zeggen wat we willen, en de computer dat begrijpt en uitvoert.

Kortom: Taalmodellen zijn geen simpele tekst-voorspellers; het zijn universele computers die toevallig de taal van de mens spreken. De uitdaging is niet om ze slimmer te maken, maar om te leren hoe we ze de juiste "opdrachten" kunnen geven.

Technische Samenvatting: Universele Computatie is Intrinsiek aan het Decoderen van Taalmodellen

1. Het Probleem (Problem Statement)

Hoewel Large Language Models (LLM's) in staat lijken om complexe problemen op te lossen, bestaat er wetenschappelijke discussie over hun fundamentele computationele capaciteiten. Critici stellen dat LLM's niet kunnen plannen, logisch kunnen redeneren of fouten in hun eigen redenering kunnen corrigeren. De centrale vraag is: bezitten autoregressieve taalmodellen de theoretische capaciteit om een Universele Turingmachine (UTM) te simuleren, of zijn hun beperkingen inherent aan hun architectuur of training?

2. Methodologie (Methodology)

De auteurs bewijzen de computationele universaliteit door een brug te slaan tussen autoregressief decoderen en Lag-systemen (een variant van Post's tag systems).

Extended Autoregressive Decoding: De auteurs introduceren een uitgebreide vorm van decoderen waarbij het model niet alleen tokens genereert, maar waarbij de gegenereerde output wordt aangevuld aan een "operationele string" die als onbeperkt geheugen fungeert.
Proof-of-Simulation: Om universaliteit aan te tonen, gebruiken ze een strategie waarbij ze bewijzen dat een taalmodel exact het gedrag van een universeel Lag-systeem ( $L(U_{15,2})$ ) kan simuleren. Dit systeem is gebaseerd op een bekende universele Turingmachine met 15 toestanden en 2 symbolen.
Twee benaderingen:
1. Via System Prompts: Voor getrainde modellen (zoals Llama-4) zoeken ze via een geautomatiseerd proces naar een system prompt die het model dwingt om de 1857 productieregels van het Lag-systeem correct uit te voeren.
2. Via Injective Codebooks: Voor willekeurig geïnitialiseerde (ongetrainde) modellen trainen ze een encoder-decoder paar om een symbolische mapping te vinden die de regels van het Lag-systeem correct uitvoert via het willekeurige model.

3. Belangrijkste Bijdragen (Key Contributions)

Ontkoppeling van Training en Universaliteit: Het paper bewijst dat de capaciteit voor universele computatie niet voortkomt uit de training op menselijke tekst, maar een intrinsiek kenmerk is van het autoregressieve proces zelf.
Universaliteit van Ongetrainde Modellen: De auteurs tonen aan dat zelfs modellen met willekeurige gewichten (vóór training) in staat zijn tot universele computatie, mits de juiste symbolische mapping (codebook) wordt gevonden.
Formele Karakterisering: Ze bieden een wiskundig kader om de computationele kracht van autoregressieve sequentiemodellen (zoals Transformers en Recurrent Neural Networks) te definiëren.

4. Resultaten (Results)

Getrainde Modellen: Zeer geavanceerde modellen zoals Llama-4-17B-128E-Instruct kunnen via een specifieke natuurlijke taal-prompt alle regels van een universeel Lag-systeem exact simuleren.
Ongetrainde Modellen: Verschillende architecturen (Attention-gebaseerd, Recurrent, en Meta-gradient netwerken) vertoonden universele capaciteiten zodra ze een bepaalde minimale omvang bereikten. De "tijd tot universaliteit" (het aantal iteraties om een werkend codebook te vinden) nam toe naarmate de architectuur groter werd.
Architectuur-onafhankelijkheid: De resultaten zijn consistent over verschillende soorten sequentiemodellen, wat aantoont dat de eigenschap inherent is aan het decoderen en niet aan een specifieke architectuur.

5. Betekenis (Significance)

De implicaties van dit onderzoek zijn fundamenteel voor de AI-wetenschap:

Herdefiniëring van Falen: De empirische tekortkomingen van LLM's (zoals het niet kunnen oplossen van logische puzzels) moeten niet worden gezien als een gebrek aan computationele kracht, maar als een gebrek aan programmeerbaarheid. Het probleem is niet dat het model het niet kan, maar dat de natuurlijke taal-interface (de prompt) niet nauwkeurig genoeg is om de gewenste algoritmen aan te sturen.
Het "Derde Tijdperk" van Computatie: De auteurs stellen dat we een nieuw tijdperk ingaan:
1. Menselijke computatie (handmatig).
2. Formele computatie (klassieke computers via strikte code).
3. Taalmodel-computatie (universele computatie via een natuurlijke taal-interface).
Training als Interface-optimalisatie: Training op menselijke taal dient niet om de rekenkracht te creëren, maar om de "programmeerbaarheid" te verbeteren, zodat mensen via informele taal complexe algoritmen kunnen aansturen.