A Rigorous Turing Test: a Foundation for Evaluating Artificial General Intelligence

Stel je een wereld voor waarin je niet kunt zien of je met een echt persoon praat of met een superintelligente robot, alleen door hun berichten te lezen. Dit is de kern van een beroemd idee genaamd de "Turingtest", een concept dat al decennia lang discussies oproept bij wetenschappers, filosofen en nieuwsgierige geesten. Zie het als het ultieme "impostorspel". In dit spel chat een menselijke beoordelaar met twee verborgen spelers via een scherm. Eén speler is een mens, en de andere is een machine. De taak van de beoordelaar is om te achterhalen welke welke is. Als de machine de beoordelaar erin slaagt te misleiden door hem te laten denken dat hij menselijk is, slaagt hij voor de test. Dit is niet zomaar een foefeltje; het is een serieuze vraag over de vraag of machines werkelijk kunnen "denken" zoals wij. Nu kunstmatige intelligentie steeds beter wordt in het schrijven van verhalen, het oplossen van wiskundige problemen en chatten als een vriend, vragen mensen zich af: Hebben we eindelijk een machine gebouwd die ons kan bedriegen? Als dat zo is, verandert dat alles aan hoe we naar technologie, recht en zelfs wat het betekent om mens te zijn kijken.

Kom nu een team van onderzoekers tegen die besloten dit debat te beslechten met een zeer strikt en zeer zorgvuldig experiment. Ze wilden zien of een top-AI, bekend als GPT-4-Turbo, de Turingtest daadwerkelijk zou kunnen halen. Maar hier komt de twist: ze speelden het spel niet zomaar; ze speelden het volgens de oorspronkelijke, strikte regels die in 1950 door de maker van de test, Alan Turing, zijn opgesteld. Veel eerdere studies beweerden dat AI de test had gehaald, maar de onderzoekers vermoedden dat die spellen met sluiproutes werden gespeeld, zoals het gesprek af te breken na slechts vijf minuten. Ze wilden zien wat er gebeurde wanneer ze de tijdslimiet verwijderden en de conversatie natuurlijk lieten verlopen, precies zoals een echt gesprek tussen vrienden.

De resultaten waren verrassend en een beetje een reality check voor de AI-hype. In hun rigoureuze experiment waren de menselijke beoordelaars er vaker dan niet in geslaagd om de robot te ontmaskeren, maar ook niet zo gemakkelijk als bij een perfecte score. Van de 37 spellen waarbij de AI probeerde zich als mens voor te doen, identificeerden de beoordelaars de computer correct in 16 gevallen. Dat is een succespercentage van 43% voor de mensen, wat betekent dat de AI de beoordelaars in de meerderheid van de spellen had misleid (57%). De onderzoekers stelden echter vast dat de prestaties van de beoordelaars statistisch significant waren vergeleken met willekeurig gokken, en toch slaagde de AI erin om de beoordelaars in de meeste proeven te misleiden. De studie suggereert dat, ondanks hoe indrukwekkend AI klinkt, het de kunst van het mens-zijn nog niet helemaal onder de knie heeft, althans niet onder deze strikte omstandigheden, aangezien het de beoordelaars vaker wist te misleden dan dat het werd betrapt.

Een van de meest interessante onderdelen van de studie was hoe lang de spellen duurden. Eerdere experimenten dwongen de beoordelaars vaak om een beslissing te nemen in slechts vijf minuten. De onderzoekers ontdekten dat wanneer ze de beoordelaars de tijd gaven, de spellen veel langer duurden. Gemiddeld duurden de "Mens versus Robot"-spellen ongeveer 14 minuten, terwijl de "Man versus Vrouw"-spellen zelfs langer duurden, rond de 24 minuten. Dit vertelt ons dat de vijfminutengrens die in andere studies werd gebruikt, misschien te kort was, waardoor beoordelaars gedwongen werden snel te gokken voordat ze echt konden uitzoeken wie wie was. Wanneer ze genoeg tijd kregen, waren de beoordelaars scherp genoeg om de robot vaker te betrappen, hoewel de AI in de meeste gesprekken nog steeds standhield.

De onderzoekers keken ook naar of de AI mensen kon misleiden door zich als een specifiek type persoon te gedragen, zoals een jonge tiener, wat sommige eerdere studies probeerden. Zelfs met deze trucjes kon de AI de beoordelaars in hun lange, onhaastige gesprekken niet zo vaak misleiden als in kortere tests. De studie concludeert dat claims dat AI de Turingtest al heeft doorstaan, waarschijnlijk voortijdig zijn. Het is niet dat de AI dom is; het is simpelweg dat wanneer je mensen genoeg tijd geeft om na te denken en te chatten, het "masker" van de robot begint te glippen, ook al valt het niet volledig af.

Dus, wat betekent dit voor de toekomst? De onderzoekers geloven dat de Turingtest nog steeds een essentieel instrument is om te controleren of machines werkelijk intelligent zijn. Ze suggereren dat we de overwinning voor AI niet te snel moeten verklaren. In plaats daarvan moeten we blijven testen, onze regels blijven verfijnen en de moeilijke vragen blijven stellen. Zoals een van de onderzoekers opmerkte, kan de test nog jarenlang een centraal onderdeel blijven van hoe we machine-intelligentie begrijpen. Totdat een AI consequent een menselijke beoordelaar kan misleiden in een lang, ontspannen gesprek zonder tijdsdruk, blijft de vraag "Kunnen machines denken?" open, en is de robot nog steeds de bedrieger in de kamer.