On the use of foundation models in cognitive science
Dit artikel stelt een vierfasig inferentieel kader voor om Foundation Models rigoureus te evalueren als cognitieve en ontwikkelingsmodellen, waarbij wordt betoogd dat gedragsmatige afstemming alleen onvoldoende is en gegrond moet zijn in expliciete theoretische commitments, verbindende hypothesen en systematische vergelijkende evaluatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die probeert het mysterie op te lossen van hoe het menselijk brein werkt. Decennialang hebben wetenschappers kleine, vereenvoudigde computerprogramma's gebouwd om als "modellen" van onze geest te fungeren, waarbij ze deze testten tegen puzzels zoals wiskundeproblemen of taalspelletjes. Als de computer dezelfde fouten maakt als een kind, of een puzzel in dezelfde tijd oplost, suggereert dit dat de computer een vergelijkbaar "denkproces" gebruikt. Nu is er een nieuw, superkrachtig type computerbrein gearriveerd: het Foundation Model. Dit zijn de enorme AI-systemen die verhalen kunnen schrijven, complexe logische problemen kunnen oplossen en kunnen chatten als mensen. Ze zijn zo goed in het nabootsen van menselijk gedrag dat sommige onderzoekers een opwindende vraag stellen: "Zijn deze AI-systemen daadwerkelijk aan het denken zoals wij, of zijn ze gewoon heel goed in het veinzen ervan?" Dit artikel stapt in dit debat, niet om de AI aan te moedigen, maar om op te treden als een strikte scheidsrechter, met de vraag: "Alleen omdat de AI het juiste antwoord geeft, bewijst dat dan dat we begrijpen hoe het daar gekomen is?"
De auteurs, een team van onderzoekers van Georgia Tech, UC San Diego en Stanford, betogen dat het simpelweg observeren van een AI die het juiste antwoord geeft, niet genoeg is om het een model van menselijke cognitie te noemen. Ze stellen een nieuw, vierstaps "detective-framework" voor om ervoor te zorgen dat wanneer we zeggen dat een AI overeenkomt met menselijk denken, we dat ook echt op een wetenschappelijke en diepgaande manier bedoelen, in plaats van dat het slechts een gelukkige samenloop van omstandigheden is.
De Vierstaps Detectivekit
Het artikel suggereert dat je, om echt te testen of een AI een model van de menselijke geest is, niet zomaar een vraag aan de AI kunt werpen en kunt kijken wat er gebeurt. Je hebt een gestructureerd onderzoek nodig met vier afzonderlijke fasen, als een spelletje "Simon Says" voor wetenschappers:
- De Vertaling (Adaptatie): Eerst moet je de menselijke test vertalen zodat de AI kan meespelen. Stel je voor dat een mens een visuele puzzeltest doet met vormen en kleuren. Een AI die alleen tekst kan lezen, kan die vormen niet zien. Daarom moeten onderzoekers de visuele puzzel omzetten in een tekstuele beschrijving (zoals "een rode cirkel naast een blauw vierkant") zonder de logica van de puzzel te veranderen. Als de vertaling onhandig is, kan de AI falen om de verkeerde redenen, of slagen om de verkeerde redenen.
- Het Woordenboek (Verbindingshypothese): Dit is de meest cruciale stap. Je hebt een woordenboek nodig om te vertalen wat de AI "zegt" naar wat een mens "doet". Betekent de interne wiskunde van de AI dat het "hard nadenkt"? Betekent de aarzeling dat het "verward" is? Het artikel waarschuwt dat er veel manieren zijn om dit woordenboek te bouwen. Je kunt kijken naar het uiteindelijke antwoord van de AI (zoals een meerkeuzetoets), of je kunt kijken naar hoe lang het duurde om te "denken" (zoals het meten van de reactietijd), of je kunt zelfs kijken naar het interne "denkproces" van de AI (zoals het lezen van zijn dagboek). De auteurs benadrukken dat je keuze voor een woordenboek het hele verhaal verandert. Als je het verkeerde woordenboek gebruikt, denk je misschien dat de AI een genie is, terwijl hij eigenlijk gewoon aan het gokken is.
- Het Scorebord (Evaluatie): Nu vergelijk je de prestaties van de AI met echte menselijke data. Maar hier komt de crux: kijk niet alleen naar de gemiddelde score. Als de AI 90% goed heeft en mensen 90% goed hebben, is dat een begin. Maar een goed model moet ook op precies dezelfde manieren fouten maken in precies dezelfde situaties. Als mensen worstelen met een specif doodlopend type lastige puzzel, zou de AI daar ook mee moeten worstelen. Als de AI daar moeiteloos doorheen gaat terwijl mensen struikelen, dan is de AI geen model van het menselijk denken; dan gebruikt de AI een andere, wellicht makkelijkere, afkorting.
- De Vergelijking (Contrast): Ten slotte moet je "Wat als?" spelen. Je kunt niet slechts één AI testen. Je moet verschillende versies testen: een kleinere AI, een grotere AI, of een AI waarbij je een specifiek deel van zijn brein hebt verwijderd. Als je een stuk van de AI verwijdert en hij plotseling ophoudt als een mens te handelen, heb je een aanwijzing gevonden over welk deel van het "denkproces" daadwerkelijk belangrijk is. Deze stap helpt wetenschappers te begrijpen waarom de AI werkt, niet alleen dat de AI werkt.
De Valstrik van het "Veinzen"
Het artikel is zeer voorzichtig in het wijzen op een grote valstrik: Gedragsmatige afstemming is niet hetzelfde als hetzelfde zijn.
Stel je twee mensen voor die een doolhof oplossen. De een gebruikt een kaart en logica (de menselijke manier). De ander rent simpelweg tegen elke muur op totdat hij de uitgang vindt door puur geluk (de AI-manier). Als ze beiden de uitgang bereiken in dezelfde tijd, zien ze er aan de buitenkant identiek uit. Maar van binnen zijn ze totaal verschillend. De auteurs betogen dat veel huidige studies lijken op het kijken naar de finishlijn en vervolgens aannemen dat beide hardlopers dezelfde strategie gebruikten. Ze waarschuwen dat alleen omdat een AI menselijk gedrag kan reproduceren (zoals het oplossen van een wiskundeprobleem of het leren van een woord), niet betekent dat hij ook dezelfde mentale machinerie gebruikt.
Het artikel benadrukt ook dat deze AI-modellen getraind zijn op enorme bergen tekst, terwijl mensen leren door interactie met de wereld, door te praten met ouders en door op te groeien. Omdat hun "jeugd" (training) zo verschillend is, kan de AI patronen leren die mensen nooit zien, of patronen missen waar mensen wel op vertrouwen. De auteurs suggereren dat we heel voorzichtig moeten zijn bij het vergelijken van AI-ontwikkeling met menselijke ontwikkeling, omdat de paden die zij afleggen om daar te komen fundamenteel verschillend zijn.
De Kernboodschap
De auteurs zeggen niet dat AI ons niets kan leren over de menselijke geest. Sterker nog, ze vinden deze modellen ongelooflijk veelbelovende instrumenten. Maar ze zeggen dat we moeten stoppen met ze te behandelen als magische dozen die gewoon "het goed doen". In plaats daarvan moeten we ze behandelen als wetenschappelijke instrumenten die een zorgvuldige kalibratie vereisen.
Het artikel concludeert dat voor een AI een echt model van menselijke cognitie te zijn, het meer moet doen dan alleen onze antwoorden na te bootsen. Het moet een rigoureuze test doorstaan waarbij het op dezelfde manieren faalt als wij, slaagt op dezelfde manieren als wij, en vertrouwt op dezelfde interne "redeneerstappen" die wij gebruiken. Pas wanneer we kunnen bewijzen dat het "brein" van de AI op een manier werkt die overeenkomt met onze theorieën over hoe onze eigen hersenen werken — via deze vier zorgvuldige stappen — kunnen we zeggen dat we echte wetenschappelijke vooruitgang boeken. Tot die tijd is de AI misschien slechts een zeer overtuigende acteur, en moeten we ervoor waken dat we niet worden misleid door de uitvoering.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.