Reasoning Models of Artificial Intelligence Think Like Humans Do

Decennialang hebben wetenschappers gedebatteerd over hoe de geest problemen oplost die nooit expliciet zijn aangeleerd. Wanneer een kind leert een auto te herkennen aan een afbeelding, of wanneer een student een nieuw wiskundig probleem uitwerkt zonder de exacte stappen te hebben gezien, voelt het vaak alsof er plotseling een verborgen, "afgeleide" verbinding in de hersenen is verschenen. Sommige theorieën suggereren dat deze verbindingen spontaan ontstaan, buiten directe instructie om. Een ander perspectief stelt echter dat niets werkelijk ontstaat zonder een geschiedenis van versterking. Dit standpunt, bekend als de mediatietheorie, stelt dat wat lijkt op een plotseling inzicht eigenlijk het result van een reeks kleine, tussenliggende stappen is. Deze stappen—vaak stille woorden of mentale beelden—worden geoefend en versterkt door hun eigen consequenties, zelfs als de leraar of onderzoeker ze niet specifiek de bedoeling had te trainen. Het is de vraag of de geest bruggen bouwt tussen ideeën via onzichtbare, versterkte gewoonten of via een mysterieuze sprong van logica.

Deze vraag is onlangs de stap gemaakt van de studie van menselijk gedrag naar het hart van kunstmatige intelligentie. Een nieuw perspectief van onderzoekers van het Claremont Graduate University, het Florida Institute of Technology en de California State University Los Angeles suggereert dat de meest geavanceerde computerprogramma's nu precies hetzelfde punt bewijzen dat gedragswetenschappers al lang tijd hebben beargumenteerd. Door te kijken naar hoe moderne grote taalmodellen complexe taken oplossen, laten de auteurs zien dat deze machines niet direct naar een antwoord springen. In plaats daarvan gaan ze een stapsgewijs proces aan dat het menselijke gedrag uit de mediatietheorie weerspiegelt. De onderzoekers betogen dat het "redeneren" dat in deze systemen wordt gezien, geen magie of een plotselinge opkomst van intelligentie is, maar het result van training die elke tussenliggende stap van een oplossing versterkt, net zoals een menselijke leerling zijn eigen interne gedachten versterkt.

Het artikel begint met het herzien van het idee van afgeleide relaties, wat verbindingen zijn tussen zaken die een persoon niet direct heeft geleerd te koppelen. In traditionele experimenten kan een kind bijvoorbeeld geleerd worden dat een plaatje van een auto bij het woord "auto" hoort, en later, zonder verdere training, kan het kind later correct naar de auto wijzen wanneer het gevraagd wordt de "auto" te vinden tussen andere objecten. Dit wordt vaak stimulus-equivalentie genoemd. De auteurs dagen het idee uit dat deze link ongetraind of onversterkt is. Ze stellen voor dat wanneer het kind het woord "auto" hoort, het het woord stil of hardop tegen zichzelf herhaalt. Deze handeling van het herhalen van het woord is een mediërend gedrag. Omdat het kind in de aanwezigheid van de auto is, wordt het zeggen van het woord "auto" versterkt door de overeenkomst tussen wat het hoort en wat het zegt. Deze versterking vindt direct plaats, zelfs als de onderzoeker niet expliciet van plan was om het kind te belonen voor het uitspreken van het woord. De verbinding is geen mysterie; het is een direct resultaat van het eigen gedrag van het kind dat door de omgeving wordt versterkt.

De auteurs breiden deze logica uit naar hoe computers nu worden geleerd te denken. Vroege versies van kunstmatige intelligentie waren als eenvoudige voorspellingsmachines. Ze keken naar een zin en raadden het volgende woord op basis van statistische patronen, net zoals een persoon het volgende woord in een bekende frase zou raden. Deze systemen konden vragen beantwoorden, maar deden dat in één snelle beweging, zonder het probleem op te splitsen. Ze misten het vermogen om een complex vraagstuk door te redeneren. De verschuiving naar "redeneermodellen" vond plaats toen ingenieurs beseften dat het dwingen van de computer om zijn werk te tonen de prestaties verbeterde. In plaats van alleen een antwoord te geven, wordt de computer geprompt om een keten van gedachten te genereren, een sequentie van stappen die leiden tot de oplossing. Deze verandering in de manier waarop de computer wordt getraind, komt perfect overeen met de mediatietheorie van menselijk gedrag.

De training van deze redeneermodellen vindt plaats in fasen, waarbij elke fase het leren van de machine verfijnt. Eerst wordt het model blootgesteld aan enorme hoeveelheden tekst, waarbij het de basispatronen van taal leert. Daarna wordt het verfijnd met voorbeelden van behulpzame en veilige antwoorden geleverd door menselijke experts. Ten slotte, en het belangrijkste voor dit argument, ondergaat het model reinforcement learning (versterkend leren). In deze fase wordt de computer niet alleen beoordeeld op of zijn uiteindelijke antwoord juist of onjuist is; het wordt geëvalueerd op de stappen die het heeft genomen om daar te komen. Wanneer een model een probleem correct oplost, versterkt het systeem de gehele keten van stappen die tot dat antwoord hebben geleid. Echter, in standaardmodellen die alleen het uiteindelijke antwoord belonen, wordt het systeem de hele keten als een groep versterkt, wat betekent dat een foutieve stap versterkt kan worden als het uiteindelijke antwoord toevallig correct is. Om dit aan te pakken, zijn specifieke "process reward"-modellen ontwikkeld die de nauwkeurigheid van elke stap afzonderlijk controleren. In deze geavanceerde systemen, als een stap onjuist is, wordt de waarschijnlijkheid ervan verlaagd, zelfs als het uiteindelijke antwoord correct is, wat ervoor zorgt dat de machine leert om correcte tussenliggende stappen te nemen in plaats van op een juiste conclusie uit te komen door geluk.

De onderzoekers wijzen erop dat dit precies is hoe menselijke probleemoplossing werkt. Wanneer een persoon een moeilijke taak tegenkomt, produceert hij meestal niet het uiteindelijke antwoord in één ononderbroken uitbarsting. In plaats daarvan breekt hij het probleem af, pratend tegen zichzelf of door stappen op te schrijven. Elke stap dient als een aanwijzing voor de volgende en wordt versterkt door de voortgang die het maakt richting de oplossing. De auteurs merken op dat wanneer computeringenieurs observeerden dat hun modellen plotseling begonnen met het controleren van hun eigen werk of het corrigeren van hun eigen fouten, zij dit "emergent" gedrag noemden. De onderzoekers beweren dat dit een misnaam is. Niets is voortgekomen dat niet versterkt was. De modellen leerden hun werk te controleren omdat het doen van dat werk vaker tot correcte antwoorden leidde, en het systeem beloonde die ketens van gedrag. De "emergentie" was simpelweg een gat in de kennis van de waarnemer over de trainingsgeschiedenis, en niet een gat in het werkingsmechanisme.

Deze convergentie van computerwetenschap en gedragswetenschap biedt een krachtig inzicht. De ingenieurs die deze systemen bouwden, kwamen tot dezelfde conclusie als gedragswetenschappers: de meest effectieve manier om een complex probleem op te lossen, is door een sequentie van mediërende stappen te gebruiken die gaandeweg worden versterkt. Het artikel suggereert dat dit geen toeval is, maar een fundamentele waarheid over hoe problemen worden opgelost, of het nu door een menselijk brein of een siliconen chip is. Het "redeneren" dat we in deze geavanceerde modellen zien, is simpelweg het resultaat van een trainingsgeschiedenis die de noodzakelijke tussenliggende gedragingen versterkt om een doel te bereiken. Door dit te begrijpen, kunnen we zien dat het complexe, stapsgewijze denken dat we bewonderen in zowel mensen als machines, gebouwd is op dezelfde basisprincipes van leren en versterking. Het mysterie van hoe we denken ligt niet in een verborgen sprong van logica, maar in de stille, versterkte stappen die we zetten om daar te komen.