Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing
Diese Studie zeigt, dass der Abruf des menschlichen semantischen Gedächtnisses ein variableres und explorativeres Suchmuster aufweist als aktuelle große Sprachmodelle, wie die höhere Entropie, größere semantische Schritte und eine breitere Dispersion in verbalen Flüssigkeitstests belegen, die durch keine Temperatur-Tuning-Konfiguration vollständig repliziert werden konnten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Ihr Gehirn wie eine riesige, belebte Bibliothek vor, in der jedes Buch ein Wort oder ein Konzept ist. Wenn Sie ein Spiel spielen wie „Nenne so viele Tiere wie möglich in einer Minute“, navigieren Sie nicht einfach nur zufällig durch die Regale; Sie navigieren durch die Bibliothek. Sie fangen vielleicht in der Abteilung „Haustiere“ an, greifen nach ein paar Büchern (Katze, Hund, Hamster) und entscheiden sich dann plötzlich, einen riesigen Sprung in die Abteilung „Ozean“ zu machen, um einen Hai zu schnappen. Das ist die Art und Weise, wie Ihr Gehirn die Umgebung erkundet.
Ein Team von Forschern beschloss zu untersuchen, ob die superintelligenten KI-Chatbots, die wir heute nutzen (wie GPT-4o, Gemini und Claude), diese Bibliothek auf die gleiche Weise durchqueren wie Menschen. Sie brachten 82 echte Menschen und drei verschiedene KI-Modelle zu einem Test, bei dem sie aufgefordert wurden, Tiere aufzulisten. Um die KI mehr wie einen Menschen agieren zu lassen, baten sie die Bots sogar, so zu tun, als wären sie unterschiedliche Arten von Menschen (wie ein Koch oder ein Pilot), bevor sie die Tiere auflisteten. Sie drehten auch an einem „Zufälligkeitsknopf“ (genannt Temperature), der von 0,0 (super robotisch und vorhersehbar) bis 1,0 (super chaotisch und wild) reichte.
Hier ist, was sie herausfanden, und es ist eine kleine Wendung in der Handlung.
Der menschliche „Dschungelturnplatz“ vs. der KI-„Seiltänzer“
Die Forscher maßenen drei Dinge, um zu sehen, wie der „Spaziergang“ durch die Bibliothek aussah:
- Schrittgröße: Wie groß war der Sprung zwischen den Wörtern? (z. B. ist der Sprung von „Katze“ zu „Hai“ ein großer Sprung; „Katze“ zu „Hund“ ist ein kleiner Sprung).
- Überraschungsfaktor (Entropie): Wie unvorhersehbar waren Ihre Schritte? Wechselten Sie zufällig die Abteilungen oder war Ihr Pfad sehr stetig?
- Wandertrieb (Distanz zum Zentroiden): Wie weit kamen Sie vom Zentrum der Bibliothek weg? Blieben Sie auf dem Hauptweg oder erkundeten Sie die staubigen, vergessenen Ecken?
Die große Entdeckung:
Menschen waren die ultimativen Entdecker. Unsere Pfade waren chaotisch, unvorhersehbar und voller Riesensprüngen. Wir machten größere Schritte zwischen den Wörtern, unser Pfad war unvorhersehbarer und wir wanderten weiter weg vom Zentrum der Kategorie. Wir waren wie Kinder auf einem Dschungelturnplatz, die von einer Stange zur nächsten schwingen und manchmal weit entfernt von dort landen, wo sie gestartet sind.
Die KI-Modelle hingegen waren wie Seiltänzer. Sie blieben viel näher am Zentrum des Ganges. Ihre Schritte waren kleiner, ihr Pfad war vorhersagbarer und sie wagten sich selten in die „tiefen Wälder“ der Bibliothek. Selbst als die Forscher den „Zufälligkeitsknopf“ auf das Maximum (1,0) drehten, um die KI wilder zu machen, konnten die Bots den menschlichen Stil immer noch nicht ganz erreichen. Sie waren immer noch zu vorsichtig und zu konzentriert.
Die „Temperatur“-Falle
Sie denken vielleicht: „Wenn ich die Zufälligkeit der KI nur hoch genug drehe, wird sie genau wie ein Mensch handeln!“ Die Arbeit legt nahe, dass dies nicht wahr ist.
Die Forscher testeten die KI bei acht verschiedenen Temperatureinstellungen (0,0, 0,15, 0,3, 0,45, 0,6, 0,75, 0,9 und 1,0).
- Bei bestimmten Einstellungen sah die KI in nur einem Test tatsächlich menschlich aus. Zum Beispiel nahm das Claude-Modell bei einer Temperatur von 0,75 Schritte, die etwa so groß waren wie die der Menschen.
- Aber hier ist der Haken: Keine einzige Einstellung ließ die KI in allen Punkten gleichzeitig menschlich erscheinen. Man konnte die Schrittgröße richtig bekommen, aber dann wurde die KI zu vorhersehbar. Oder man konnte sie weit wandern lassen, aber dann hörte sie auf, große Sprünge zu machen.
Es ist, als würde man versuchen, ein Radio auf einen bestimmten Sender abzustimmen. Man bekommt vielleicht die Lautstärke richtig oder die Klarheit richtig, aber man kann nicht die perfekte menschliche Stimme aus dem Lautsprecher herausholen, egal wie sehr man am Regler dreht. Das „Gehirn“ der KI ist anders aufgebaut, daher kann sie den vollen, chaotischen, schönen Tanz des menschlichen Gedächtnisses nicht replizieren.
Was das für „Roboter-Menschen“ bedeutet
Lange Zeit hofften Wissenschaftler, wir könnten KI einfach als „Silizium-Teilnehmer“ nutzen – im Grunde als Roboter-Menschen, um psychologische Theorien zu testen. Wir könnten die KI eine Frage stellen, sehen, was sie sagt, und davon ausgehen, dass sie wie ein Mensch denkt.
Dieses Paper argumentiert gegen diese Idee. Es legt nahe, dass KI zwar großartig darin ist, flüssig und klug zu klingen, aber Informationen nicht auf die gleiche Weise sucht, wie wir es tun. Die KI wird darauf trainiert, das nächste Wort basierend auf Statistiken vorherzusagen, wie ein superschneller Ratender, der immer die wahrscheinlichste Option wählt. Menschen hingegen nutzen eine Mischung aus Strategie und Überraschung. Wir haben ein „Arbeitsgedächtnis“, das uns hilft, uns daran zu erinnern, was wir bereits gesagt haben, und zu entscheiden, wann wir zu einer völlig neuen Idee springen sollen. Die KI scheint selbst dann, wenn man sie anweist, einen Menschen vorzutäuschen, diese spezifische Art der „mentalen Gymnastik“ zu vermissen.
Das Fazrazit
Die Studie hat nicht bewiesen, dass die KI „kaputt“ ist oder dass sie niemals nützlich sein kann. Stattdessen deutet sie darauf hin, dass aktuelle KI-Modelle eine systematische Verzerrung haben, die dazu führt, dass sie sicher und nah am Ursprung bleiben. Sie sind exzellent in der lokalen Erkundung (im „Haustiere“-Gang bleiben), aber sie kämpfen mit der globalen Erkundung (in den „Ozean“-Gang springen), die Menschen ganz natürlich vollziehen.
Also, obwohl wir die KI so anpassen können, dass sie in spezifischen Momenten ein bisschen wie ein Mensch agiert, haben wir keinen Weg gefunden, um das komplexe, wandernde und überraschende Navigieren unseres Gehirns durch die Welt der Wörter vollständig nachzuahmen. Die KI ist ein mächtiges Werkzeug, aber sie ist noch kein perfektes Abbild eines menschlichen Geistes.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.