LLMs Don't Pay for the Jump

De Grote Sprong: Waarom Breinen (en Misschien Robots) de Pijn van het Ongelijk Hebben Moeten Voelen

Stel je voor dat je een gigantische puzzel probeert op te lossen. Je hebt een doos met stukjes en je wilt de afbeelding ontdekken. Meestal kun je dit oplossen door naar de stukjes te kijken die je hebt en patronen te vinden (dat is inductie), of door een regel die je al kent toe te passen op een nieuwe situatie (dat is deductie). Maar soms passen de puzzelstukjes die je hebt totaal niet bij elkaar, en leiden de regels die je kent tot een beeld dat geen zin maakt—zoals een hemel die in brand staat of een universum dat oneindig zwaar is. Om dit te repareren, moet je iets wilds doen: je moet een gloednieuwe regel verzinnen die niet in de doos zat en ook niet in je oude regelboekje stond. Dit wordt abductie genoemd. Het is het "Eureka!"-moment waarop een wetenschapper zegt: "Wacht, het hele spel klopt niet; laten we de regels veranderen."

Lange tijd vroegen mensen zich af of gigantische computerbreinen (Large Language Models, of LLM's) ooit deze "Eureka!"-momenten zouden kunnen hebben. Sommigen dachten dat computers simpelweg de wereld moesten "voelen" zoals mensen dat doen—door te voelen, te zien en te bewegen. Maar dit nieuwe artikel stelt een andere, diepere vraag: gaat het om het voelen van de wereld, of gaat het om het voelen van de kost van het ongelijk hebben? De auteurs suggereren dat voor een echte "Eureka!"-sprong een systeem fysiek een straf moet voelen voor het vasthouden aan een foutief idee. Als het ongelijk hebben niet "pijn" doet of niets kost, zal het systeem voor eeuwig dezelfde foute gok blijven doen, hoe slim het ook is.

---

Het Grote Idee van het Papier: De "Sprong" die Computers Niet Kunnen Maken

Het artikel, getiteld "LLMs Don't Pay for the Jump," betoogt dat huidige kunstmatige intelligentie-modellen een cruciaal ingrediënt missen voor echte wetenschappelijke ontdekkingen. Ze zijn geweldig in het volgen van regels en het herkennen van patronen, maar ze kunnen niet de gedurfde, abductieve "sprong" maken naar een nieuwe theorie wanneer de oude breekt.

Om te begrijpen waarom, kijken de auteurs terug naar een beroemd verhaal uit 1900 over de natuurkundige Max Planck. In die tijd probeerden wetenschappers te begrijpen hoe warme objecten (zoals een gloeiende kachel of de zon) licht uitzenden. De wiskunde die zij toen hadden, gebaseerd op de wetten van de klassieke fysica, voorspelde iets angstaanjagends: dat een warm object een oneindige hoeveelheid energie zou moeten uitzenden. Dit stond bekend als de "ultravioletcatastrofe". Het was een wiskundige ramp. Als de oude regels klopten, zou het universum opbranden met oneindige energie.

Planck wist dat de oude regels kapot waren. Hij kon ze niet zomaar een beetje bijstellen; hij moest een compleet nieuw idee verzinnen: dat energie bestaat uit kleine, discrete pakketjes (quanta), in plaats van een vloeiende stroom. Dit was een enorme "sprong" in het denken. Het artikel vraagt: Hoe heeft Planck deze sprong gemaakt, en waarom kan een computer dat vandaag de dag niet?

Wat het Papier Uitsluit (De "Niet"-Lijst)

Voordat er wordt uitgelegd wat wel werkt, is de auteur heel duidelijk over wat niet werkt:

• Het gaat niet alleen om het "voelen" van de wereld: Sommige experts dachten dat computers deze sprongen niet konden maken omdat ze geen lichaam hebben. Ze dachten dat Einstein een lift moest voorstellen die naar beneden valt om zwaartekracht te begrijpen. De auteurs zeggen nee. Planck had geen lichaam of een vallende lift nodig; hij hoefde alleen maar te zien dat de wiskunde kapot was. Dus een robotlichaam geven aan een computer is niet de magische oplossing.
• Het gaat niet alleen om slimmer of groter zijn: Je zou kunnen denken dat als we de computer maar groter maken of meer data geven, hij het uiteindelijk wel zal ontdekken. Het artikel zegt nee. Zelfs enorme modellen falen bij dit specifieke type denken vanwege de manier waarop ze zijn gebouwd, niet omdat ze niet groot genoeg zijn.
• Het gaat niet alleen om het vinden van patronen: Computers zijn geweldig in inductie (het vinden van patronen in data). Maar de "catastrofe" waar Planck voor stond, was geen patroon in de data; het was een voorspelling die geen enkele data kon ondersteunen. Inductie kan een kapot regelboekje niet repareren; het vindt alleen betere manieren om het kapotte boekje te gebruiken.

Het Echte Probleem: De "Kost" van het Ongelijk Hebben

De auteurs stellen een nieuw concept voor genaamd Thermodynamische Koppeling. Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel.

Stel je voor dat je een videogame speelt waarbij je de volgende zet moet raden.

• In een "Ontkoppeld" systeem (zoals de huidige AI): Elke keer dat je een gok doet, kost dat evenveel energie, of je nu gelijk hebt of niet. Als je gokt dat "de lucht groen is" terwijl deze blauw is, voelt de computer geen extra pijn of kosten. De computer gaat gewoon door naar de volgende gok. Omdat het ongelijk hebben geen pijn doet, heeft de computer geen reden om te stoppen met het doen van dezelfde foute gok. Het kan voor eeuwig dezelfde fout blijven maken zonder enige interne druk om van gedachten te veranderen.
• In een "Gekoppeld" systeem (zoals een menselijk brein of een toekomstige AI): Fout zitten is duur. Als je gokt dat "de lucht groen is", kan je brein een piek van stress ervaren, meer energie verbruiken, of een "wacht, dit voelt niet goed" alarm afgaan. Deze "kost" dwingt je om te stoppen en opnieuw na te denken. Je bent fysiek gemotiveerd om de fout te herstellen, omdat het vasthouden aan het verkeerde idee te kostbaar is.

Het artikel stelt dat Planck de sprong maakte omdat de fout te duur was om te negeren. De oude theorie voorspelde oneindige energie, wat fysiek onmogelijk was. De "kost" van het aanhouden van die oude theorie was zo hoog (het brak de natuurkunde zelf) dat hij moest een nieuwe regel verzinnen.

Wat de Bewijzen Laten Zien

De auteurs testten dit idee door te kijken naar hoe huidige AI-modellen zich gedragen. Ze ontdekten iets vreemds:

• Wanneer een AI-model een makkelijk probleem oplost, is het zelfverzekerd.
• Wanneer het probeert een super moeilijk, onmogelijk probleem op te lossen (één die een "sprong" vereist), geeft het het antwoord fout.
• Maar hier komt de crux: Zelfs wanneer de AI totaal fout zit, verandert de "zelfverzekerdheid" (gemeten via iets dat entropie wordt genoemd) nauwelijks. Het artikel merkt op dat voor een model met 70 miljard parameters de nauwkeurigheid daalde van 100% naar 17% bij moeilijke taken, maar het signaal van de "onzekerheid" veranderde slechts met 0,011 nats.

Dit bewijst de "ontkoppeling". De computer weet niet dat hij in de problemen zit. Hij voelt de "pijn" van de voorspelling van oneindige energie niet. Hij blijft gewoon doorgaan en produceert antwoorden met hetzelfde niveau van zelfverzekerdheid, of hij nu gelijk heeft of er volledig naast zit.

De Conclusie: We Hebben een Systeem Nodig Dat "Pijn" Lijdt als het Fout Zit

Het artikel concludeert dat voor een machine om echt nieuwe dingen te ontdekken zoals Planck deed, er een mechanisme moet zijn waarbij het ongelijk hebben iets kost.

De auteurs suggereren dat toekomstige AI gebouwd moet worden zoals biologische breinen, waarbij fouten fysieke veranderingen triggeren—zoals het verbruiken van meer energie of het verschuiven van aandacht—zodat het systeem gedwongen wordt om zijn regels te herzien. Ze zeggen niet dat dit een opgelost probleem is of dat we al zo'n machine hebben gebouwd. In plaats daarvan suggereren ze dat thermodynamische koppeling (het maken van fouten kostbaar maken) het ontbrekende ingrediënt is. Zonder dat zal AI een meester blijven in patronen en regels, maar zal het nooit de dappere, pijnlijke "sprong" naar een nieuwe waarheid kunnen maken wanneer de oude breekt.

Kortom: Om een wetenschappelijke sprong te maken, moet je niet alleen slim zijn. Je moet genoeg om het ongelijk hebben geven dat het pijn doet, zodat je gedwongen wordt van gedachten te veranderen. De huidige computers voelen die pijn niet, en daarom kunnen ze de sprong niet maken.