Stel je voor dat je een robot probeert te leren om een verhaal te vertellen, een wiskundig probleem op te lossen of een gedicht te schrijven. Je zou kunnen denken dat als je de robot maar meer hersenkracht geeft (meer computerchips) en het meer boeken voert (meer data), hij uiteindelijk perfect zal worden in alles. Dit idee is de drijvende kracht geweest achter de snelle groei van Kunstmatige Intelligentie. Maar wat als er een verborgen plafond is? Wat als sommige taken simpelweg onmogelijk zijn om 100% goed te krijgen, ongeacht hoe slim de robot wordt? Dit artikel duikt in die vraag met behulp van een tak van de wetenschap genaamd informatietheorie. Denk aan informatietheorie als de studie van hoeveel "verrassing" of "onzekerheid" in een bericht is verpakt. Als je een robot vraat "Wat is 2+2?", is er nul verrassing; het antwoord is altijd 4. Maar als je vraagt "Schrijf een gedicht over een verdrietige wolk", is er enorme verrassing omdat er niet één juist antwoord is. De auteurs vragen zich af: hoeveel van die verrassing kan een robot daadwerkelijk oplossen, en waar loopt hij tegen een muur aan?

Het artikel betoogt dat het populaire geloof — dat grotere modellen uiteindelijk perfecte betrouwbaarheid zullen bereiken bij elke taak — wiskundig onjuist is. De auteurs laten zien dat elke taak een "betrouwbaarheidsplafond" heeft, een harde limiet aan hoe accuraat een model ooit kan zijn. Deze limiet gaat niet over hoe groot het model is; het gaat over de aard van de taak zelf. Voor een wiskundig probleem is het plafond de hemel (100% nauwkeurigheid is mogelijk). Voor creatief schrijven ligt het plafond veel lager omdat het "juiste" antwoord afhangt van subjectieve gevoelens en culturele context die een robot nooit echt kan kennen. Het artikel bewijst dat je niet door te schalen voorbij dit plafond kunt groeien.

Bovendien ontdekten de auteurs dat de manier waarop deze modellen tekst genereren — woord voor woord, als een kettingreactie — de situatie verergert. Als het model vroeg in het proces een kleine fout maakt, kan die fout een sneeuwbaleffect veroorzaken, waardoor de rest van het verhaal of de code van de rails raakt. Ze ontdekten dat sommige taken, zoals coderen, lijken op een stevige bakstenen muur waarbij één losse steen niet het hele bouwwerk doet instorten. Andere taken, zoals het schrijven van een gedicht, zijn als een kaartenhuis; één verkeerde beweging kan de hele structuur doen instorten.

Ten slotte biedt het artikel een nieuwe regel voor hoe we deze modellen moeten laten groeien. In plaats van alleen maar meer data of meer computerkracht op een probleem te gooien, suggereren de auteurs dat prestaties worden beperkt door de bron die het schaarst is. Als je bergen data hebt maar een klein brein, zal het toevoegen van meer data niet helpen. Als je een gigantisch brein hebt maar weinig data, zal het toevoegen van meer hersencapaciteit niet helpen. Je moet ze perfect in balans brengen. Deze nieuwe regel legt uit waarom sommige taken beter worden door schalen terwijl andere een plateau bereiken, en het biedt een wiskundige kaart van wanneer het toevoegen van meer middelen daadwerkelijk werkt en wanneer het een verspilling van tijd is.

Het Onzichtbare Plafond

Stel je voor dat je een spel speelt van "Raad het Volgende Woord". Soms is het spel makkelijk. Als de zin is "De zon komt op in het...", dan is het volgende woord bijna zeker "Oosten". Er is geen mysterie. Maar andere keren is het een raadspel met een twist. Als de zin is "De kat zat op de...", dan kan het volgende woord "mat", "tapijt", "bank" of "vloer" zijn. Allemaal zijn correct, maar ze voelen anders aan.

De auteurs van dit artikel noemen het "Oosten"-scenario een volledig verifieerbare taak. In deze gevallen, zoals het oplossen van een wiskundige vergelijking of het schrijven van code die zonder fouten moet draaien, wordt het antwoord volledig bepaald door de vraag. Er is geen verborgen informatie. Het "betrouwbaarheidsplafond" voor deze taken is 100%. Als je een perfect model hebt, haal je een perfecte score.

Maar dan zijn er onverifieerbare taken, zoals creatief schrijven of het geven van levensadvies. Hier hangt het "juiste" antwoord af van zaken die het model niet kan zien, zoals de stemming van de schrijver, de smaak van de lezer of het culturele moment. De auteurs noemen deze ontbrekende informatie "latente context". Omdat deze context verborgen en subjectief is, kan geen enkele hoeveelheid data of computerkracht een model ooit 100% betrouwbaar maken. Het plafond is lager, en dat is permanent. Je kunt niet naar perfectie schalen bij een taak waarbij perfectie een kwestie van mening is.

Het artikel splitst dit onder in twee soorten hiaten. Het eerste is het oplosbare hiaat. Dit is ontbrekende informatie die zou kunnen worden geleverd. Bijvoorbeeld, als een model een verhaal schrijft over een specifiek persoon maar de naam niet weet, dan is dat een oplosbaar hiaat. Als je het model de naam geeft (door deze aan de input toe te voegen), sluit het hiaat en wordt het model beter. Het tweede is het subjectieve hiaat. Dit is ontbrekende informatie die niet kan worden geleverd omdat deze geen vaste waarde heeft. Als de taak is om een "grappige" grap te schrijven, kan wat grappig is voor de één, saai zijn voor de ander. Geen hoeveelheid extra data kan dit oplossen. Het artikel bewijst dat voor deze taken het model altijd een permanente vloer van onbetrouwbaarheid zal hebben.

Het Domino-effect

Stel je nu voor dat het model een toren bouwt, blok voor blok. Het plaatst het eerste blok, dan het tweede, dan het derde. Dit is hoe Large Language Models werken; ze genereren tekst token voor token. Het probleem is dat als het model het eerste blok iets scheef plaatst, het tweede blok op een scheve fundering moet worden geplaatst.

De auteurs noemen dit autoregressieve degradatie. Het is als een spelletje "Telefoontje spelen" waarbij de boodschap bij elke fluisterbeurt wordt vervormd. Als het model vroeg in een zin een kleine fout maakt, verandert die fout de context voor het volgende woord, wat weer de context verandert voor het woord daarna. De fouten stapelen zich op.

Echter, niet alle torens worden op dezelfde manier gebouwd. Het artikel introduceert een concept genaamd de dependency kernel (afhankelijkheidskern), wat een chique manier is om te beschrijven hoeveel elk woord afhankelijk is van de woorden die eraan voorafgingen.

• Banded Dependencies (De Bakstenen Muur): Denk aan coderen of wiskunde. In een regel code hangt het volgende woord meestal af van het woord dat er direct vóór staat (zoals een sluitende haak die past bij een openende haak). Als je een fout maakt, is deze meestal beperkt tot dat kleine gebied. De rest van de code kan nog steeds zinvol zijn. De "dependency kernel" is hier smal, als een bakstenen muur. Een fout in één steen brengt niet de hele muur ten val.
• Dense Dependencies (Het Kaartenhuis): Denk aan poëzie of creatief schrijven. In een gedicht kan het woord dat je aan het begin kiest, de rijmstructuur voor het hele gedicht bepalen. Als je vroeg in het gedicht het verkeerde woord kiest, kan het hele gedicht zijn ritme of betekenis verliezen. De "dependency kernel" is hier dicht, als een kaartenhuis. Een fout in de eerste kaart kan de hele structuur ruïneren.

Het artikel laat zien dat voor taken met dichte afhankelijkheden, de prestaties van het model veel sneller achteruitgaan naarmate de tekst langer wordt. Een enkele fout in het begin kan escaleren tot een totale mislukking. Dit verklaart waarom modellen goed zijn in korte, logische taken, maar worstelen met lange, creatieve taken.

De Balansact

Tot slot behandelt het artikel de vraag over schalen: "Als we het model groter maken en het meer data geven, wordt het dan beter?"

Het antwoord is: Het hangt ervan af wat je minder hebt.

De auteurs leiden een nieuwe "schalingswet" af die eruitziet als een eenvoudige wiskundige vergelijking. Het zegt dat de prestaties van het model worden beperkt door de schaarsere bron.

• Als je een enorme hoeveelheid data hebt maar een klein model, zal het toevoegen van meer data niet veel helpen omdat het model te klein is om het allemaal te leren.
• Als je een enorm model hebt maar heel weinig data, zal het toevoegen van meer parameters niet helpen omdat het model niets heeft om van te leren.

Het ideale punt, waar je de meeste verbetering krijgt, is wanneer je de twee in balans brengt. Dit is vergelijkbaar met de "Chinchilla"-wet die onderzoekers al kenden, maar dit artikel legt uit waarom het werkt en voegt een cruciale nieuwe details toe: de max-functie. Dit betekent dat je geen extra punten krijgt voor het hebben van te veel van het een. Als je 100 keer meer data hebt dan je model kan verwerken, is die extra data nutteloos. Je moet de data afstemmen op de grootte van je model.

Wat dit betekent voor de toekomst

Dit artikel vertelt ons niet alleen hoe we betere modellen kunnen bouwen; het vertelt ons wat we niet kunnen doen. Het suggereert dat het idee van een "algemene AI" die perfect is in alles, een mythe is. Er zijn taken waarbij het plafond laag is, en geen enkele schaling ons ooit naar 100% nauwkeurigheid zal brengen.

Het verklaart ook waarom bepaalde trucs werken. Bijvoorbeeld, Retrieval-Augmented Generation (RAG) — waarbij het model feiten uit een database opzoekt voordat het antwoordt — werkt omdat het de "oplosbare hiaten" invult. Het geeft het model de ontbrekende context die het nodig heeft om een hoger plafond te bereiken. Maar voor subjectieve taken kan zelfs RAG het "subjectieve hiaat" niet oplossen.

Het artikel waarschuwt ons ook voor catastrofaal vergeten. Wanneer je een model traint op een nieuwe taak, kan het een oude taak "vergeten". De auteurs verklaren dit als een herallocatie van middelen. Het model heeft een beperkt "budget" aan hersenkracht. Als je het dwingt zich te concentreren op een nieuwe taak met een heel andere structuur (een andere dependency kernel), moet het de oude structuren opgeven om ruimte te maken. Het is als het leren van een nieuwe taal; als je je te veel concentreert op Frans, kun je beginnen met het vergeten van de grammaticaregels van het Spaans.

Kortom, het artikel vertelt ons dat AI geen toverstaf is die elk probleem zal oplossen. Het is een instrument met specifieke limieten. Sommige problemen zijn oplosbaar met genoeg data en rekenkracht; andere zijn fundamenteel ambigu. De sleutel tot de toekomst is niet alleen "groter", maar "slimmer" over wat we de modellen vragen te doen en hoe we onze middelen in balans brengen. We moeten stoppen met het verwachten van perfectie waar dat onmogelijk is en beginnen met het ontwerpen van oplossingen die respect hebben voor de natuurlijke plafonds van elke taak.