Human-Like Anaphor Resolution in Large Language Models
Deze studie evalueert vijf open-weight Large Language Models om te bepalen of zij menselijke patronen in anafoorresolutie vertonen, waarbij wordt vastgesteld dat hoewel sommige modellen een gevoeligheid voor discoursstructuur en afstand vertonen die vergelijkbaar is met die van mensen, zij een vergelijkbare gevoeligheid voor semantische interferentie-effecten missen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een mysterie-roman leest. De auteur introduceert een personage genaamd "De Bakker" in het eerste hoofdstuk. Tien pagina's later vermeldt het verhaal weer "hij". Je brein raadt niet zomaar wie "hij" is; het grijpt direct terug naar je geheugen, pakt het beeld van de Bakker en legt de verbinding. Dit mentale trucje wordt anaphora-resolutie genoemd. Het is hoe we bijhouden waar we het over hebben of wie we bespreken terwijl een verhaal zich ontvouwt.
Wetenschappers bestuderen dit al lang bij mensen. Ze weten dat als de Bakker het hoofdonderwerp van het verhaal was (topicaal), je hem sneller vindt. Als "hij" direct na de Bakker verschijnt, is het makkelijk. Maar als "hij" verschijnt na een lange, verwarrende kloof, of als er een andere bakker in de buurt is om je te verwarren, struikelt je brein. Nu komen Large Language Models (LLM's) in beeld. Dit zijn superintelligente computerprogramma's die getraind zijn op bergen tekst en verhalen kunnen schrijven, vragen kunnen beantwoorden en kunnen chatten zoals mensen. Maar hier komt de grote vraag: denken deze AI-hersenen echt als menselijke hersenen wanneer ze deze puzzels oplossen, of zijn ze gewoon heel goed in het raden op basis van patronen? Dit artikel duikt in dat mysterie om te zien of AI en mensen op dezelfde mentale golflengte zitten.
De Grote AI-geheugentest
De onderzoekers besloten vijf verschillende AI-modellen — GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B en Mistral-24B — door een reeks geheugenspelletjes te halen die specifiek voor mensen zijn ontworpen. Ze wilden zien of de AI moe werd, in de war raakte of vertraagde op precies dezelfde manieren als een menselijke lezer.
Om dit te meten, gebruikten ze twee slimme trucs. Eerst keken ze naar surprisal (verrassing). Denk aan dit als de "hersensweet" van de AI. Wanneer een computer een woord leest dat hij niet verwachtte, gaat de "surprisal" omhoog. Bij mensen betekent een hoge surprisal meestal dat we langer pauzeren om na te denken. Dus, als de AI "zweterig" wordt (hoge surprisal) op precies de momenten dat mensen vastlopen, is dat een goed teken dat ze het verhaal op een vergelijkbare manier verwerken. Ten tweede stelden ze de AI begrijpelijkheidsvragen, zoals "Wie schopte tegen de stoel?", om te zien of ze zich daadwerkelijk de juiste persoon herinnerden.
De Geheugenspelletjes
Het team voerde drie verschillende experimenten uit, die elk een specifieke regel van het menselijk geheugen testten:
1. De "Focus"- en "Afstand"-test
Stel je een spotlight voor. Als een personage onder de spotlight staat (de titel van het verhaal noemt hen), vinden mensen hen gemakkelijk. Als ze in het donker staan, is het moeilijker. Ook, als een personage slechts één zin verderop is, is het makkelijk. Als het tien zinnen verderop is, is het moeilder.
- De Resultaten: De meeste AI-modellen gedroegen zich hier als mensen! Wanneer het personage door de titel werd geaccentueerd en dichtbij was, was de "hersensweet" van de AI laag en gaven ze de juiste antwoorden. Wanneer het personage verborgen en ver weg was, raakte de AI in de war. Het is alsof de aandachtsspanne van de AI net als de onze uitrekt en inkrimpt.
2. De "Ruimte en Tijd"-test
Dit was lastiger. Stel je voor dat het verhaal zich afspeelt in een groot kasteel. Als het personage van de keuken naar de volgende kamer beweegt (korte afstand) of van de keuken naar de toren (lange afstand), maakt dat uit? Wat als ze 10 minuten wachten of 2 uur? Mensen worden langzamer en maken meer fouten wanneer de kloof in ruimte of tijd enorm is.
- De Resultaten: De resultaten waren gemengd. Sommige modellen, zoals Llama-3.1-8B en Mistral-7B, leken de afstand en tijd te voelen door "zweterig" te worden wanneer de kloof groot was. Anderen leken weinig om de tijd of ruimte-kloven te geven. Dit suggereert dat hoewel sommige AI's beginnen te begrijpen hoe de "tijdlijn" van een verhaal voelt, anderen er gewoon overheen stappen.
3. De "Verwarrende Aanwijzing"-test
Dit is het moeilijkste deel. Stel je voor dat het verhaal een "metalen stoel" vermeldt. Later zegt het "het metalen meubilair". Dat is makkelijk. Maar wat als het verhaal ook een "houten bureau" (een ander type meubel) vlak daarvoor vermeldt? Mensen raken in de war omdat "meubilair" zowel de stoel als het bureau kan zijn. Als het verkeerde item een zeer typisch voorbeeld is van de categorie (zoals een bureau voor meubilair), vertraagt dit ons.
- De Resultaten: Dit is waar de AI vooral faalde om menselijk te zijn. Wanneer de onderzoekers een verwarrend "afleider"-item toevoegden, werden de AI-modellen niet trager of verwarder op de manier waarop mensen dat doen. Ze leken er moeiteloos langs te gaan. Dit suggereert dat hoewel de AI kan bijhouden waar dingen zich in een verhaal bevinden, ze niet helemaal de chaotische, overlappende strijd begrijpen die in ons brein plaatsvindt wanneer we proberen de juiste herinnering te kiezen.
Het eindoordeel: Een gedeelde match
Dus, wat is de eindscore? Het artikel suggereert dat deze AI-modellen selectief menselijk lijken. Ze zijn erg goed in het begrijpen van hoe de structuur van een verhaal (zoals hoe ver een woord verwijderd is of wat de titel zegt) het geheugen beïnvloedt. Als je het verhaal langer maakt of het personage verbergt, wordt de AI een beetje "zweterig", net als een vermoeide lezer.
Ze zijn echter geen perfecte klonen van de menselijke geest. Wanneer het gaat om het rommelige, semantische jongleerwerk — waarbij vergelijkbare woorden om aandacht vechten in ons geheugen — struikelt de AI niet zoals wij dat doen. Ze lijken de specifieke soort "mentale frictie" te missen die optreedt wanneer ons brein moet kiezen tussen twee zeer vergelijkbare herinneringen.
De auteurs benadrukken voorzichtig dat dit geen "opgelost" probleem is. De studie gebruikte een relatief klein aantal verhalen (16 tot 19), dus de resultaten zijn meer als sterke hints dan als absoluut bewijs. Ook was de algemene nauwkeurigheid van de AI op de vragen soms vrij laag, wat betekent dat ze misschien correct raden om de verkeerde redenen. Maar de kernboodschap is opwindend: deze digitale breinen beginnen dezelfde patronen van moeilijkheid te vertonen als menselijke breinen, althans wat betreft de afstand en focus van een verhaal. Ze zijn niet alleen woord-zoekende machines; ze beginnen de eerste tekenen te vertonen van een "situatiemodel" — een mentale kaart van de wereld van het verhaal, net zoals wij die hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.