Stel je voor dat je in een drukke kamer zit en luistert naar een verhaal over twee vrienden, Alex en Jamie. Je kent de hele waarheid: je hebt Jamie een koekje in een pot zien verstoppen, en daarna heb je gezien hoe Alex stiekem binnenkwam en dat koekje naar een doos verplaatste. Maar hier komt het lastige deel: de vraag is niet wat jij weet. De vraag is: "Waar zal Alex naar de koek zoeken?" Om dit correct te beantwoorden, moet je iets doen wat mensen van nature doen, maar wat verrassend moeilijk is voor computers: je moet doen alsof je niet weet wat je weet. Je moet in de schoenen van Alex gaan staan, de doos vergeten en alleen de pot onthouden. Deze mentale superkracht wordt "Theory of Mind" genoemd. Het is het vermogen om te begrijpen dat andere mensen hun eigen gedachten, overtuigingen en geheimen hebben die anders kunnen zijn dan die van jou.

Al een lange tijd proberen wetenschappers Artificial Intelligence (specifiek, Large Language Models of LLM's) te leren hoe ze dit kunnen doen. Deze AI-modellen zijn als superintelligente studenten die bijna alles op het internet hebben gelezen, maar als het aankomt op het raden van wat iemand anders denkt, gaan ze het vaak fout. Ze hebben de neiging om te antwoorden op basis van de "echte" waarheid (het koekje zit in de doos) in plaats van de "onjuiste" overtuiging van het personage (het koekje zit in de pot). Dit papier pakt dit probleem aan door een nieuwe manier te vinden om deze AI-modellen te helpen de echte waarheid te vermijden en te beginnen met denken als een personage in een verhaal.

Het Probleen: De "Hide and Seek" Valstrik

In het verleden probeerden onderzoekers dit AI-probleem op te lossen door een spelletje "Hide and Seek" (Verstoppertje) met het verhaal te spelen. Ze zeiden tegen de AI: "Oké, voordat je de vraag beantwoordt, verwijder elke zin in het verhaal die het personage niet heeft gezien." Als het personage de kamer verliet, moest de AI alles wissen wat er gebeurde terwijl zij weg waren. Dit wordt "event hiding" (gebeurtenisverberging) genoemd.

Denk aan een leraar die een toets afneemt van een leerling en zegt: "Kijk niet op deze pagina, hier staat het antwoord dat je moet negeren." Het idee was dat als de AI de waarheid niet kon zien, de AI niet in de verleiding zou komen om deze te gebruiken. Maar deze aanpak had een grote tekortkoming. Het dwong de AI om zeer strikte regels te volgen, zoals het schrijven van gedachten in een specifie�k codetje of een rigide lijst. Het was alsof je tegen een creatieve schrijver zei: "Je mag je verhaal alleen schrijven met opsommingstekens en zonder bijvoeglijke naamwoorden." Deze striktheid maakte de AI vaak in de war, waardoor het fouten maakte, simpelweg omdat het zo hard probeerde aan de opmaakregels te voldoen. Soms verwijderde de AI per ongeluk de verkeerde zin of liep de AI vast door te proberen gedachten in een doosje te passen dat te klein was.

Het Nieuwe Idee: "Onthul, Verberg Niet"

De auteurs van dit papier, Eojin Jeon en SangKeun Lee, besloten een compleet andere aanpak te proberen. In plaats van de waarheid te verbergen voor de AI, besloten ze de AI alles te laten zien—maar vroegen de AI vervolgens om expliciet te benoemen wat het personage niet weet.

Stel je voor dat je een spel speelt waarbij je moet raden wat je vriend denkt. In plaats van de ogen van je vriend af te dekken zodat hij de aanwijzingen niet ziet, zeg je tegen je vriend: "Ik weet dat het koekje in de doos zit, maar jij weet dat niet. Jij weet alleen dat het in de pot zit." Door dit hardop te zeggen, herinner je je vriend eraan om de doos te negeren.

De onderzoekers noemen hun nieuwe methode PICTURE. Het staat voor "Perspective-taking with Generated Lack of Knowledge in Chain-of-Thought Reasoning." Dat is een mond vol, dus laten we het even ontleden:

1. Geen Verberging: De AI krijgt het volledige verhaal, inclusclusief alle geheimen en bewegingen.
2. De "Gebrek aan Kennis" Stap: Voordat de AI antwoordt, wordt de AI gevraagd een vrije tekstuele uitleg te schrijven (zoals een normaal gesprek) waarin het precies opsomt wat het personage wel weet en, cruciaal, wat het personage niet weet.
3. Het "Stop"-teken: Door op te schrijven "Liam weet niet dat Owen de radijs heeft verplaatst," creëert de AI een mentaal "Stop"-teken. Het zegt tegen zichzelf: "Oké, ik zie deze gebeurtenis, maar Liam ziet dit niet, dus ik kan dit niet gebruiken om de vraag te beantwoorden."

Wat Ze Vonden

Het team testte dit idee op verschillende soorten verhalende puzzels, waaronder scenario's waarin personages objecten verplaatsen, kamers verlaten of gesprekken voeren. Ze vergeleken hun nieuwe "PICTURE"-methode met de oude "Hide and Seek"-methoden en enkele standaard AI-trucs.

De resultjes waren zeer veelbelovend. Gemiddeld beantwoordde de AI die de PICTURE-methode gebruikte 7,3% meer vragen correct op de "false-belief" puzzels (de puzzels waarbij het personage het mis heeft over de waarheid) vergeleken met de oude methoden. Dit is een grote prestatie in de wereld van AI-onderzoek.

Belangrijker nog, het paper suggereert dat dit werkt omdat het de AI een vaardigheid leert die "inhibitory control" (remmende controle) wordt genoemd. In de psychologie is dit het vermogen om jezelf te stoppen met reageren op iets dat recht voor je neus staat, maar dat niet gebruikt zou moeten worden. Bijvoorbeeld, in een beroemde test, als je het woord "ROOD" in blauwe inkt ziet staan, en je wordt gevraagd de kleur van de inkt te zeggen, moet je jezelf stoppen met het lezen van het woord "ROOD". Het paper laat zien dat door expliciet te benoemen wat een personage niet weet, de AI leert de drang te onderdrukken om het "echte" antwoord te gebruiken en in plaats daarvan vast te houden aan het perspectief van het personage.

Waarom het Er Toe Doet

Dit paper suggereert dat we AI niet blind hoeven te maken voor de waarheid om het slimmer te maken in het begrijpen van mensen. Sterker nog, de waarheid verbergen kan de zaken juist slechter maken door de AI in rigide, verwarrende formaten te dwingen. In plaats daarvan, door de AI alles te laten zien en de AI vervolgens te vragen om de hiaten in de kennis van een personage duidelijk te articuleren, helpen we de AI om zelf informatie te filteren.

De auteurs ontdekten dat deze methode goed werkt bij verschillende soorten AI-modellen, van kleinere open-source modellen tot de enorme, krachtige modellen. Hoewel de AI nog steeds fouten maakt (vooral in zeer complexe verhalen met veel personages), lijkt de PICTURE-methode een significante stap voorwaarts te zijn. Het laat zien dat soms de beste manier om een machine te leren de menselijke geest te begrijpen, is door het de hele context te laten zien, en het vervolgens voorzichtig te herinneren aan wat elke persoon in die context mist.