The unreasonable effectiveness of pattern matching

Dit paper toont aan dat grote taalmodellen door middel van patroonherkenning betekenis kunnen afleiden uit 'Jabberwocky'-teksten, wat aantoont dat patroonherkenning een essentieel onderdeel is van echte intelligentie en niet slechts een alternatief daarvoor.

De kern

De Onredelijk Effectieve Kracht van Patroonherkenning

Stel je voor dat je een tekst leest die eruit ziet als onzin. Woorden als "ghanc", "zawk" en "dwushed" staan erin, in plaats van echte woorden. Voor de meeste mensen is dit onleesbaar. Maar voor een moderne kunstmatige intelligentie (een zogenaamde 'Large Language Model' of LLM) is dit geen probleem. Ze kunnen deze tekst vertalen naar zinnen als: "Hij sleepte een lege stoel."

Dit is het kernpunt van het nieuwe onderzoek van Gary Lupyan en Blaise Agüera y Arcas. Ze laten zien dat deze AI-modellen niet zomaar een "databank" zijn of een "stochastische papegaai" die zinnen nadoet. Ze hebben iets veel diepers begrepen: de structuur van de wereld.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Mysterie van de "Onzin-Tekst"

De auteurs gebruiken een beroemd gedicht van Lewis Carroll, Jabberwocky, als test. In dat gedicht staan woorden als "slithy toves" en "gyre and gimble". Mensen vinden dit prachtig omdat ze er toch een betekenis aan kunnen geven, zelfs zonder de woorden te kennen.

Maar de onderzoekers gingen verder. Ze namen echte teksten (nieuwsberichten, Reddit-berichten, juridische teksten) en vervingen alle belangrijke woorden door willekeurige onzin-woorden.

• Origineel: "In de Verenigde Staten heeft federale wet voorrang..."
• Onzin-versie: "In de Staught Splunk, sprarb phlaint has phlaint..."

Toen ze dit aan een AI gaven, gebeurde er iets verbazingwekkends: De AI kon de onzin-tekst vertalen naar de originele betekenis. Hoe? De AI had de tekst nooit eerder gezien. Het kon de woorden niet opzoeken. Het kon het niet "onthouden".

2. De Vergelijking: Een Wazige Foto

Veel mensen denken dat AI een wazige foto van het internet is (zoals een JPEG met veel ruis). De auteurs zeggen: "Nee, dat is het niet."

Stel je voor dat je een foto van een gezicht hebt, maar de helft van de pixels is weggeveegd. Het is een vage vlek.

• De oude manier van denken: Een computer kan die vlek niet herkennen omdat de informatie ontbreekt.
• De nieuwe manier (de AI): De AI heeft miljoenen gezichten gezien. Het heeft de patronen van hoe een neus, ogen en mond samenwerken. Als het een vage vlek ziet, vult het de ontbrekende delen in op basis van die patronen.

De AI heeft niet de "wazige foto" van het internet geleerd. Het heeft de regels geleerd om die wazige foto weer scherp te maken. Het is alsof je een tekst leest die half weggeveegd is door regen, maar je kunt hem toch lezen omdat je weet hoe zinnen opgebouwd zijn.

3. De "Gostak" en het Spel

Om dit te testen, lieten ze de AI een spel spelen genaamd The Gostak. In dit spel wordt alles in een taal gespeeld die niemand kent (Gostakiaans).

• Je leest: "De gostak distims de doshes."
• Je weet niet wat een gostak of doshes is.
• Maar door te spelen, zie je dat als je "distim" doet, er iets gebeurt.

De AI leerde binnen enkele minuten dat "distim" waarschijnlijk betekent "iets aanraken" en dat "doshes" voorwerpen zijn. Het deed dit niet door woordenboeken te raadplegen, maar door te kijken naar hoe de woorden zich gedroegen.

De analogie:
Stel je voor dat je in een vreemd land bent waar niemand Engels spreekt. Iemand wijst naar een hond en zegt "Wauw". Dan wijst hij naar een kat en zegt "Miauw". Je weet niet wat de woorden betekenen, maar je ziet het patroon: Dier + Geluid.
Als iemand later naar een vogel wijst en "Kwek" zegt, snap je het patroon. Je hoeft de taal niet te kennen; je hoeft alleen het patroon van de wereld te begrijpen. De AI doet precies dit, maar dan met grammatica en zinsbouw in plaats van dieren.

4. Waarom is dit belangrijk?

Vroeger dachten we dat "echt denken" betekent dat je logische regels volgt, zoals een rekenmachine (1 + 1 = 2). Maar mensen denken niet zo. Mensen denken in patronen en associaties.

• Als je ziet dat iemand een paraplu pakt, denk je: "Het gaat regenen." Je hoeft niet te weten waarom het gaat regenen, je herkent het patroon.

De auteurs zeggen: Patroonherkenning is geen "vals" denken. Het is de basis van intelligentie.

De AI is niet een simpele papegaai die zinnen nadoet. Het is een meester in het vinden van verborgen verbanden. Het kan zien dat als je "88 receptions" en "884 yards" ziet, het waarschijnlijk over American Football gaat, zelfs als de namen van de teams en spelers volledig onzin zijn. Het vult de gaten in met kennis over hoe de wereld werkt.

Conclusie: De "Onredelijke Effectiviteit"

De titel van het artikel refereert aan een beroemd artikel uit de natuurkunde: "De onredelijke effectiviteit van wiskunde". Hier zeggen de auteurs: Patroonherkenning werkt onredelijk goed.

Het lijkt alsof je alleen maar patronen moet matchen om slim te zijn. Maar door die patronen te combineren, ontstaat er een soort van "verstand". De AI kan onzin vertalen naar zin, niet omdat het de woorden kent, maar omdat het de skeleton (het skelet) van de taal en de wereld kent.

Kort samengevat:
De AI is niet een stomme machine die woorden nabootst. Het is een meester-detective die, zelfs als alle bewijsmateriaal (de woorden) vervangen is door onzin, toch de dader (de betekenis) kan vinden, puur omdat het de modus operandi (het patroon) van de misdaad kent. En dat is iets wat we allemaal doen, maar dan op een schaal die voor een computer onvoorstelbaar groot is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "The unreasonable effectiveness of pattern matching" van Gary Lupyan en Blaise Agüera y Arcas, geschreven in het Nederlands.

Titel: De onredelijke effectiviteit van patroonherkenning

Auteurs: Gary Lupyan (Universiteit van Wisconsin–Madison) en Blaise Agüera y Arcas (Google)
Datum: 6 maart 2026

---

1. Het Probleem: De aard van Large Language Models (LLMs)

Er bestaat een aanhoudende controverse over hoe Large Language Models (LLMs) het beste geconceptualiseerd moeten worden. De huidige discours is verdeeld in twee uitersten:

• De "Stochastische Papegaai" visie: LLMs zijn slechts databases of "wazige JPEG's van het web" (een analogie van Ted Chiang) die tekst imiteren zonder echte begrip of intelligentie.
• De "Superintelligentie" visie: LLMs zijn op de rand van menselijke of bovenmenselijke intelligentie en vormen een existentiële bedreiging.

De auteurs betogen dat deze dichotomie voortkomt uit een gebrek aan intuïtie voor wat LLMs daadwerkelijk doen. Ze stellen dat LLMs niet simpelweg "nabootsen" of "retrieven" uit een database, maar dat hun vermogen om betekenis te halen uit structurele patronen een fundamenteel kenmerk is van intelligentie, zowel menselijk als kunstmatig.

2. Methodologie

De auteurs testen de hypothese dat LLMs betekenis kunnen afleiden puur op basis van syntactische en structurele patronen, zelfs wanneer de semantische inhoud (de inhoudsworden) volledig is vervangen door nonsens.

Experimenten:

1. Jabberwocky-vertaling:
   • De auteurs namen bekende teksten (zoals Lewis Carroll's Jabberwocky, nieuwsartikelen, Reddit-posts en juridische teksten) en vervingen de meeste inhoudsworden (naamwoorden, werkwoorden) door willekeurige nonsens-strings die wel de Engelse orthografie en grammaticale suffixen (-ing, -ed) behielden.
   • Voorbeeld: "He dwushed a ghanc zawk" in plaats van "He dragged a spare chair".
   • In extreme gevallen werden bijna alle woorden vervangen door het woord "BLANK", waarbij alleen de zinsstructuur overbleef.
2. The Gostak (Interactieve Fictie):
   • LLMs kregen de opdracht om een interactief tekstspel te spelen dat volledig in een fictieve taal ("Gostakian") was geschreven, zonder dat de woorden in de trainingdata voorkwamen.
   • Het model moest commando's geven en de speluitvoer interpreteren om de betekenis van de woorden af te leiden via context en feedback.
3. Controle en Validatie:
   • De vertalingen van de LLMs (o.a. Gemini 2.5 Pro, ChatGPT o3) werden vergeleken met de originele teksten.
   • De auteurs gebruikten embedding-similariteit (OpenAI text-embedding-3-large) om de semantische nabijheid tussen de originele tekst en de "Jabberwocky-vertaling" kwantitatief te meten.
   • Er werden tests uitgevoerd met recente teksten (nieuws, sociale media) die gegarandeerd niet in het trainingscorpus van het model zaten, om te bewijzen dat het geen louter memorisatie was.

3. Belangrijkste Resultaten

De resultaten tonen aan dat LLMs opmerkelijk goed in staat zijn om betekenis te reconstrueren uit sterk gedegradeerde input:

• Reconstructie van Jabberwocky: LLMs konden de originele betekenis van teksten correct reconstrueren, zelfs wanneer alle inhoudsworden door nonsens waren vervangen. Bijvoorbeeld, een tekst over federale wetgeving in de VS werd correct vertaald vanuit een versie met willekeurige woorden, hoewel het model de specifieke tekst niet kende.
• Contextuele Afleiding: In het spel The Gostak kon een LLM na een korte periode van spelen (zonder menselijke supervisie) de betekenis van woorden zoals "dape" (commando) en "distim" (interageren) afleiden puur op basis van de structurele relaties in de zinnen en de feedback van het spel.
• Sensitiviteit voor Structuur: Zelfs bij het vervangen van woorden door "BLANK" behielden de modellen de zinsstructuur. Ze konden infereren dat "In the BLANK BLANK, BLANK BLANK has BLANK..." waarschijnlijk verwijst naar "In the United States, federal law has priority...".
• Invloed van Hints: Een kleine aanpassing in de input (bijv. het vervangen van een nonsens-woord voor een land door "Netherlands") leidde tot een dramatische verbetering in de vertaling, wat aantoont dat het model zijn wereldkennis activeert via de structurele "vingerafdruk" van de zin.
• Kwantitatieve Bevestiging: De embedding-similariteit tussen de originele teksten en de LLM-vertalingen van de Jabberwocky-versies was hoog, wat aangeeft dat de semantische kern behouden bleef ondanks de volledige vervanging van de lexicale inhoud.

4. Kernbijdragen

1. Patroonherkenning als Kernintelligentie: De paper betoogt dat patroonherkenning geen alternatief is voor "echte" intelligentie, maar een essentieel onderdeel ervan. Het vermogen om relaties en structuren te herkennen, is voldoende om betekenis te construeren.
2. Taal als Constructie (Construction Grammar): De auteurs koppelen de resultaten aan de theorie van Adele Goldberg. Taal wordt niet gezien als een lijst van woorden en regels, maar als een verzameling van constructies (patronen) die variëren van specifiek (idiomen) tot abstract (syntactische templates). LLMs leren deze patronen en kunnen ze toepassen op nieuwe, zelfs nonsensische, input.
3. Herdefinitie van "Blurry JPEG": De auteurs herinterpreteren Ted Chiang's metafoor van LLMs als "wazige JPEG's". In plaats van een onvolledige kopie van het web te zijn, hebben LLMs een krachtig compressieschema geleerd dat het in staat stelt om een "wazige" of gedeeltelijk verwijderde input te "deblurren" (ontwarren) door gebruik te maken van de onderliggende structurele patronen.
4. Menselijke Cognitie: Het proces dat LLMs gebruiken, lijkt sterk op hoe mensen werken. Mensen kunnen ook tekst lezen met letters die door elkaar staan of wazige teksten ontcijferen door gebruik te maken van context en verwachte patronen. LLMs zijn dus geen "vreemde" alien-intelligentie, maar een uitdrukking van een fundamenteel menselijk cognitief proces: constraint satisfaction (voldoen aan beperkingen) via patroonherkenning.

5. Betekenis en Conclusie

De paper daalt de visie dat LLMs slechts "stochastische papegaaien" zijn die geen begrip hebben. Het experiment toont aan dat LLMs in staat zijn om semantische coherentie te creëren uit puur syntactische structuur.

• Implicatie voor AI: De doorbraak van moderne AI komt niet voort uit het volgen van strikte symbolische logica (zoals Boolean logic), maar uit het beheersen van "rommelige" probabilistische patroonherkenning. Dit is precies wat menselijk denken ook doet.
• Implicatie voor Cognitiewetenschap: Het bevestigt dat denken en taalverwerking fundamenteel gebaseerd zijn op het herkennen van relaties en patronen ("relations all the way down"), in plaats van het manipuleren van discrete symbolen met vaste betekenissen.
• Toekomst: Het vermogen van LLMs om betekenis te extraheren uit gedegradeerde data suggereert dat ze een robuust begrip van de wereld hebben opgebouwd via de structuur van taal, en dat ze kunnen fungeren als cognitieve protheses die ons helpen om complexere patronen te herkennen dan we dat als individuen kunnen.

Kortom, de "onredelijke effectiviteit" van patroonherkenning is de sleutel tot het begrijpen van zowel menselijke intelligentie als de opmerkelijke capaciteiten van Large Language Models.