Where Cognition Lives: Dissecting Emergent from Computed Function in a Minimal Complete Cognitive Architecture

In de zoektocht naar het bouwen van machines die kunnen denken, debatteren wetenschappers al lang over de vraag waar de vonk van intelligentie werkelijk vandaan komt. Eén school van denken gelooft dat als je een groot genoeg systeem bouwt en het laat leren van enorme hoeveelheden data, complexe vermogens zoals redeneren en besluitvorming vanzelf zullen verschijnen, vergelijkbaar met een kind dat leert lopen zonder dat het de mechanica van balans wordt geleerd. De tegenovergeste visie suggereert dat denken een zorgvuldig ontworpen proces is, dat specifieke, toegewezen onderdelen vereist voor perceptie, geheugen en oordeelsvorming, vergelijkbaar met een fabriek met gespecialiseerde assemblagebanden. Jarenlang was dit een filosofische touwtrekkerij, maar een nieuwe studie verplaatst het gesprek van de theorie naar de werkvloer van het laboratorium. De onderzoekers zetten zich het doel om een kleine, complete denkende machine te bouwen en vervolgens elk afzonderlijk onderdeel rigoureus te testen om te zien of het zijn taak door ervaring heeft geleerd of dat het expliciet geprogrammeerd moest worden om het te doen. Hun doel was niet alleen om te zien of de machine problemen kon oplossen, maar om precies te begrijpen hoe de machine besliste wanneer hij stopte met denken, hoe hij de belangrijkheid van een taak beoordeelde en of hij kon leren om zijn eigen mentale energie te beheren.

Het team construeerde een minimaal maar compleet cognitief systeem, een digitale hersenpan bestaande uit een paar kerncomponenten die samenwerken. In het hart ervan bevond zich een redeneerder, een module die een probleem stap voor stap kon doorwerken. Daaromheen bevonden zich instrumenten om de machine te helpen beslissen hoe lang hij moest nadenken, een controlesysteem om zijn energie te beheren, en een waardemodule om te beoordelen hoe belangrijk een taak was. Ze trainden dit systeem op een reeks logische puzzels, specifiek taken die het herordenen van symbolen betreffen, die moeilijk zijn voor standaard computermodellen om op te lossen zonder vast te lopen. De onderzoekers onderwierpen vervolgens elk deel van deze machine aan een batterij aan tests, waarbij ze voor elk onderdeel een simpele vraag stelden: kwam dit vermogen natuurlijk voort uit het trainingsproces, of moest het worden berekend door een specifief, vooraf ontworpen mechanisme? De antwoorden die ze vonden waren scherp en vaak verrassend, en onthulden dat hoewel het vermogen om problemen op te lossen kan emergeren, het vermogen om te beslissen wanneer men stopt en hoe men inspanning verdeelt dat niet kan.

De meest significante ontdekking betrof hoe de machine besliste wanneer hij stopte met denken. In veel moderne kunstmatige intelligentiesystemen krijgt het model de ruimte om zo lang door te gaan als nodig is, en stopt het pas wanneer het zich zelfverzekerd voelt. De onderzoekers ontdekten dat hun systeem weliswaar leerde te stoppen, maar dat dit vermogen een illusie van meting was in plaats van een echte vaardigheid. Wanneer ze de machine dwongen te stoppen op exact hetzelfde punt als de "slimme" versie koos, was de prestatie identiek. Het schijnbare voordeel van de zelfstoppende machine kwam volledig voort uit een eigenaardigheid in de manier waarop het uiteindelijke antwoord werd uitgelezen, en niet uit een dieper begrip van de taak. Zododra de onderzoekers corrigeerden voor deze leesmethode, daalde de waarde van de machine die naar zichzelf kijkt terwijl hij denkt tot bijna nul. Weten welke specifieke puzzel meer tijd nodig had dan een andere, bleek slechts een fractie van een procent aan prestatiewinst op te leveren. De interne monitor van de machine maakte niet echt betere beslissingen; het was slechts een bijproduct van hoe het systeem was gebouwd.

Dit leidde tot een duidelijker beeld van waar werkelijke besluitvorming leeft. De onderzoekers testten of de machine kon leren om belangrijke taken prioriteit te geven boven minder belangrijke taken door hem simpelweg te trainen om om te geven aan de uitkomst. Ze ontdekten dat het trainingsproces de machine juist slechter maakte in dit opzicht. Wanneer het systeem werd geleerd de consequenties van zijn antwoorden te wegen, raakte het in de war en werd het minder accuraat. Het vermogen om te beslissen hoeveel inspanning aan een taak te besteden, kwam helemaal niet voort uit het leerproces. In plaats daarvan moest het worden berekend door een expliciete, aparte rekenmachine die naar het probleem keek en het inspanningsniveau bepaalde nog voordat de machine aan het werk ging. Deze "berekende beslissing" was veel effectiever dan elke poging om de machine zelf de waarde van een taak te laten leren. De interne staat van de machine, gevormd door training, verloor van nature juist de informatie die nodig is om deze waardegebaseerde beslissingen te nemen, waardoor de expliciete rekenmachine de enige manier was om de klus te klaren.

De studie onderzocht ook hoe deze bevindingen standhouden wanneer ze worden toegepast op de massale taalmodellen die vandaag de dag populair zijn. De onderzoekers testten een groot, bevroren taalmodel — een model dat niet opnieuw getraind kan worden — met vergelijkbare methoden om te zien of het zijn eigen denktijd kon reguleren. Ze ontdekten dat de gebruikelijke strategie om veel verschillende antwoorden te genereren en te stemmen op de beste, heel weinig ruimte bood voor verbetering. Het model had de neiging om met zichzelf eens te zijn, zelfs wanneer het fout zat, wat betekende dat het vragen om langer na te denken of vaker te stemmen zelden hielp. Net als bij de kleinere machine was het vermogen om naar zichzelf te kijken terwijl het denkt en te beslissen wanneer het stopt, bijna waardeloos. De onderzoekers concludeerden dat voordat we proberen te regeren over hoe deze grote modellen denken, we eerst moeten meten of de instrumenten die we hebben om hen te controleren wel werken. In veel gevallen beweegt de hendel die we proberen aan te trekken de machine op geen enkele betekenisvolle manier.

Het laatste hoofdstuk van het onderzoek verkende een specifiek type moeilijk probleem waarbij de kosten van het denken verborgen blijven tot het allerlaatste moment, zoals het lopen van een pad waarbij je de afstand pas weet als je bent aangekomen. In deze "klif"-scenario's voorspelden de onderzoekers dat de waarde van het vooraf beslissen exponentieel zou stijgen. Hun voorspelling bleek juist te zijn: in deze situaties werd het weten van de waarde van een taak vóór de start ongelooflijk belangrijk, wat een enorme boost in prestaties opleverde vergeleken met enkel het kennen van de moeilijkheidsgraad. Deze boost kwam echter niet doordat de machine plotseling de problemen beter begreep; het kwam doordat de potentiële beloning voor het goed uitvoeren ervan veel groter was. De studie toonde aan dat de omvang van het probleem en de structuur van de informatie afzonderlijke zaken zijn. De machine hoefde niet te leren op een nieuwe manier te denken; de machine had simpelweg een duidelijk, vooraf berekend plan nodig om met de hoge inzet om te gaan.

Uiteindelijk toont de kaart van dit onderzoek aan waar cognitie niet leeft. Het leeft niet in het vermogen van de machine om naar zichzelf te kijken terwijl hij denkt, noch leeft het in het trainingsproces dat de machine leert een taak te waarderen. In plaats daarvan moet het vermogen om inspanning te beheren en beslissingen van de tweede orde te nemen over wat belangrijk is, worden ingebouwd als een aparte, expliciete berekening. De machine leert de puzzel op te lossen, maar moet door een apart mechanisme worden verteld hoe hard hij moet proberen. De onderzoekers ontdekten dat het meest herbruikbare deel van hun werk niet een nieuw type intelligentie was, maar een rigoureuze methode om te meten wat echt is en wat een illusie is. Door te bewijzen dat veel veronderstelde vermogens eigenlijk artefacten zijn van de manier waarop we ze meten, hebben ze een helderder, eerlijker fundament gelegd voor het bouwen van machines die werkelijk kunnen denken.