Human-Like Anaphor Resolution in Large Language Models

Stellen Sie sich vor, Sie lesen einen Kriminalroman. Der Autor führt im ersten Kapitel einen Charakter namens „den Bäcker“ ein. Zehn Seiten später erwähnt die Geschichte wieder „er“. Ihr Gehirn rät nicht einfach, wer „er“ ist; es greift sofort in Ihr Gedächtnis zurück, holt sich das Bild des Bäckers und verknüpft die Punkte. Dieser mentale Zaubertrick wird Anaphern-Resolution genannt. Es ist die Art und Weise, wie wir im Auge behalten, über wen oder was wir sprechen, während sich eine Geschichte entfaltet.

Wissenschaftler untersuchen dies schon lange beim Menschen. Sie wissen: Wenn der Bäcker der Hauptfokus der Geschichte war (topikal), findet man ihn schneller. Wenn „er“ direkt nach dem Bäcker erscheint, ist es einfach. Aber wenn „er“ nach einer langen, verwirrenden Lücke erscheint, oder wenn es einen anderen Bäcker in der Nähe gibt, der einen verwirren könnte, gerät das Gehirn ins Straucheln. Nun kommen die Large Language Models (LLMs) ins Spiel. Dies sind superintelligente Computerprogramme, die auf Bergen von Texten trainiert wurden und Geschichten schreiben, Fragen beantworten und wie Menschen chatten können. Aber hier stellt sich die große Frage: Denken diese KI-Gehirne tatsächlich wie menschliche Gehirne, wenn sie solche Rätsel lösen, oder sind sie nur sehr gut darin, basierend auf Mustern zu raten? Dieses Paper taucht in dieses Geheimnis ein, um zu sehen, ob KI und Menschen auf derselben mentalen Wellenlänge liegen.

---

Der große KI-Gedächtnistest

Die Forscher beschlossen, fünf verschiedene KI-Modelle – GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B und Mistral-24B – durch eine Reihe von Gedächtnisspielen zu schicken, die speziell für Menschen entwickelt wurden. Sie wollten sehen, ob die KI müde wird, verwirrt wird oder genau in den gleichen Arten langsamer wird, wie ein menschlicher Leser dies tun würde.

Um dies zu messen, nutzten sie zwei clevere Tricks. Erstens betrachteten sie die Surprisal (Überraschungswert). Denken Sie an dies als den „Schweißausbruch“ der KI. Wenn ein Computer ein Wort liest, das er nicht erwartet hat, steigt seine „Surprisal“ an. Beim Menschen bedeutet hohe Surprisal meistens, dass wir länger innehalten, um nachzudenken. Wenn die KI also „schweißgebadet“ ist (hohe Surprisal) an denselben Momenten, in denen Menschen stecken bleiben, ist das ein gutes Zeichen dafür, dass sie die Geschichte ähnlich verarbeiten. Zweitens stellten sie der KI Verständnisfragen, wie zum Beispiel „Wer hat den Stuhl getreten?“, um zu sehen, ob sie sich tatsächlich an die richtige Person erinnert.

Die Gedächtnisspiele

Das Team führte drei verschiedene Experimente durch, von denen jedes eine spezifische Regel des menschlichen Gedächtnisses testete:

1. Der „Fokus“- und „Distanz“-Test
Stellen Sie sich ein Scheinwerferlicht vor. Wenn ein Charakter unter dem Scheinwerfer steht (der Titel der Geschichte erwähnt ihn), finden Menschen ihn leicht. Wenn er im Dunkeln steht, ist es schwieriger. Außerdem: Wenn der Charakter nur einen Satz entfernt ist, ist es einfach. Wenn er zehn Sätze entfernt ist, ist es schwieriger.

• Das Ergebnis: Die meisten der KI-Modelle verhielten sich hier wie Menschen! Wenn der Charakter durch den Titel hervorgehoben und in der Nähe war, war die „Surprisal“ der KI niedrig und sie antworteten korrekt. Wenn der Charakter versteckt und weit weg war, wurde die KI verwirrt. Es ist, als ob sich die Aufmerksamkeitsspanne der KI genauso dehnte und zusammenzog wie unsere.

2. Der „Raum und Zeit“-Test
Dies war kniffliger. Stellen Sie sich vor, die Geschichte spielt in einem riesigen Schloss. Wenn sich der Charakter von der Küche in den nächsten Raum (kurze Distanz) oder von der Küche in den Turm (lange Distanz) bewegt, macht das einen Unterschied? Was wäre, wenn er 10 Minuten oder 2 Stunden wartet? Menschen werden langsamer und machen mehr Fehler, wenn die Lücke in Raum oder Zeit riesig ist.

• Das Ergebnis: Die Ergebnisse waren gemischt. Einige Modelle, wie Llama-3.1-8B und Mistral-7B, schienen das Gewicht der Distanz und der Zeit zu spüren und wurden „schweißgebadet“, wenn die Lücke groß war. Andere schienen die Zeit- oder Raumunterschiede kaum zu beachten. Dies deutologiert, dass einige KIs zwar beginnen, das „Gefühl“ für den Zeitablauf einer Geschichte zu verstehen, andere aber einfach darüber hinwegspringen.

3. Der „Verwirrende Hinweis“-Test
Dies ist der schwierigste Teil. Stellen Sie sich vor, die Geschichte erwähnt einen „Metallstuhl“. Später heißt es „die Metallmöbel“. Das ist einfach. Aber was, wenn die Geschichte kurz zuvor auch einen „Holztisch“ (ein anderes Möbelstück) erwähnt hat? Menschen werden verwirrt, weil „Möbel“ sowohl der Stuhl als der Tisch sein könnten. Wenn das falsche Objekt ein sehr typisches Beispiel für die Kategorie ist (wie ein Schreibtisch für Möbel), verlangsamt uns das.

• Das Ergebnis: Hier versagten die KI-Modelle meistens darin, menschlich zu agieren. Als die Forscher ein verwirrendes „Distraktor“-Objekt hinzufügten, wurden die KI-Modelle nicht langsamer oder verwirrter, wie es Menschen tun würden. Sie schienen an der Verwirrung einfach vorbeizuziehen. Dies deutet darauf hin, dass sie zwar tracken können, wo Dinge in einer Geschichte sind, aber nicht ganz das chaotische, sich überschneidende Kräftemessen verstehen, das in unserem Gehirn stattfindet, wenn wir versuchen, uns an die richtige Erinnerung zu erinnern.

Das Urteil: Eine teilweise Übereinstimmung

Also, wie lautet die Endwertung? Das Paper legt nahe, dass diese KI-Modelle selektiv menschenähnlich sind. Sie sind großartig darin, zu verstehen, wie die Struktur einer Geschichte (wie weit ein Wort entfernt ist oder was der Titel sagt) das Gedächtnis beeinflusst. Wenn man die Geschichte länger macht oder den Charakter versteckt, wird die KI etwas „schweißgebadet“, genau wie ein müder Leser.

Sie sind jedoch keine perfekten Klone menschlicher Geister. Wenn es um das chaotische, semantische Jonglieren geht – wo ähnliche Wörter um die Aufmerksamkeit in unserem Gedächtnis kämpfen –, stolpert die KI nicht so wie wir. Es scheint ihnen an der spezifischen Art von „mentaler Reibung“ zu fehlen, die entsteht, wenn unser Gehirn zwischen zwei sehr ähnlichen Erinnerungen wählen muss.

Die Autoren betonen vorsichtig, dass dies kein „gelöstes“ Problem ist. Die Studie verwendete eine relativ geringe Anzahl von Geschichten (16 bis 19), sodass die Ergebnisse eher starke Hinweise als absolute Beweise sind. Zudem war die allgemeine Genauigkeit der KI bei den Fragen manchmal recht niedrig, was bedeutet, dass sie möglicherweise aus den falschen Gründen richtig geraten haben. Aber die Erkenntnis ist spannend: Diese digitalen Gehirne beginnen, dieselben Muster von Schwierigkeiten zu zeigen, die auch menschliche Gehirne aufweisen, zumindest wenn es um die Distanz und den Fokus einer Geschichte geht. Sie sind nicht nur Wortverknüpfungsmaschinen; sie zeigen erste Anzeichen eines „Situationsmodells“ – einer mentalen Landkarte der Welt der Geschichte, genau wie wir es haben.