Sprache ist ein Fluss der Wiederholung. In einem einzigen Gespräch verwenden wir dasselbe Wort vielleicht dutzendfach, oft innerhalb weniger Sätze voneinander. Wenn ein Mensch ein Wort hört, das er gerade erst gehört hat, verarbeitet sein Gehirn es schneller und leichter. Dieses Phänomen, bekannt als Repetitionspriming, ist ein grundlegendes Merkmal dessen, wie wir lernen und uns erinnern. Es deutet darauf an, dass der Geist nicht jede Begegnung mit einem Wort als ein völlig neues Ereignis behandelt; stattdessen bewahrt er eine Spur der vorangegangenen Begegnung auf, was das nächste Mal reibungsloser macht. Doch da die künstliche Intelligenz immer anspruchsvoller geworden ist, ist eine Frage aufgetaucht: Arbeiten große Sprachmodelle, jene Systeme, die Chatbots und Suchwerkzeuge antreiben, auf die gleiche Weise? Wenn diese Maschinen ein Wort sehen, das sie bereits verarbeitet haben, reaktivieren sie dann einfach diese alte Erinnerung, oder halten sie inne und bewerten das Wort von Grund auf neu?

Die Antwort ist wichtig, weil sie die inneren Abläufe dieser Systeme offenbart. Wenn ein Modell lediglich eine Erinnerung reaktiviert, handelt es sich wie ein Reflex, eine schnelle, automatische Reaktion. Wenn es neu bewertet, handelt es sich wie ein sorgfältiger Denker, der den Kontext abwägt, bevor er eine Entscheidung trifft. Jahrelang haben Forscher darüber debattiert, ob diese Maschinen eine Form von „schneller“ Intuition besitzen oder ob sie immer in langsames, bewusstes Denken vertieft sind. Diese neue Studie, durchgeführt von Forschern der Yale University und der University of California, Los Angeles, setzt sich zum Ziel, diese Frage zu klären, indem sie testet, wie verschiedene Arten von Sprachmodellen mit wiederholten Wörtern umgehen. Sie verglichen die rohen, vortrainierten Modelle mit Versionen, die darauf feinabgestimmt wurden, Anweisungen zu befolgen, und führten parallele Experimente mit menschlichen Freiwilligen durch, um zu sehen, wie die Maschinen im Vergleich zu uns abschneiden.

Die Forscher entwarfen eine Reihe von Tests, die klassische Experimente aus der Humanpsychologie widerspiegelten. Sie fütterten fünfzehn verschiedene Modelle mit Wörtern und Sätzen, die von kleineren Systemen mit 1,5 Milliarden Parametern bis hin zu massiven Modellen mit 14 Milliarden reichten. Sie baten auch vierzig menschliche Teilnehmer, dieselben Aufgaben auszuführen. Die Tests bestanden aus zwei Hauptaktivitäten. In der ersten mussten die Probanden schnell entscheiden, ob ein Wort ein Lebewesen oder ein lebloses Objekt darstellte. In der zweiten mussten sie einen Satz mit einem fehlenden Wort vervollständigen, wobei der Satz selbst nur sehr wenige Hinweise darauf gab, welches Wort das fehlende sein sollte. Die entscheidende Variable war der „Lag“ oder die Anzahl der anderen Wörter und Sätze, die zwischen dem ersten Erscheinen eines Zielworts und dem zweiten erschienen. Durch die Veränderung dieser Distanz konnten die Forscher sehen, ob der Nutzen der Wiederholung über die Zeit anhält oder verblasst.

Die Ergebnisse zeigten eine markante Spaltung in der Art und Weise, wie die Maschinen Informationen verarbeiteten. Die Basismodelle, also die Rohversionen der Systeme, bevor sie darauf trainiert wurden, Anweisungen zu befolgen, verhielten sich mit einer Art automatischer Effizienz. Wenn sie ein Wort sahen, das sie gerade erst begegnet waren, verarbeiteten sie es schneller und sicherer, unabhängig davon, wie viele andere Wörter dazwischen erschienen waren. Selbst wenn die Forscher die vorherigen Antworten aus dem Gesprächsverlauf entfernten, zeigten die Basimodelle immer noch eine Leistungssteigerung. Dies deutet darauf hin, dass die Wiederholung für diese Modelle einen schnellen, stimulusgesteuerten Reaktionsmechanismus auslöst. Das Wort selbst reicht aus, um die Erinnerung zu wecken, ganz ähnlich wie ein Reflex.

Im Gegensatz dazu verhielten sich die instruktionsgestimmten Modelle (instruction-tuned models) sehr unterschiedlich. Dies sind die Versionen der Systeme, die darauf trainiert wurden, hilfreiche Assistenten zu sein, Regeln zu befolgen und ein Gespräch zu führen. Wenn diese Modelle ein wiederholtes Wort sahen, zeigten sie nicht dieselbe automatische Leistungssteigerung. Stattdessen hing ihre Leistung stark vom Kontext ab. Wenn viele Wörter zwischen dem ersten und zweiten Erscheinen des Zielworts lagen, verschwand der Nutzen der Wiederholung. Schlimmer noch: In den größten und fortschrittlichsten instruktionsgestimmten Modellen wurde die Wiederholung sogar zum Hindernis. Das erneute Sehen des Wortes machte das Modell langsamer und ungenauer, als wäre die Maschine durch die Redundanz verwirrt. Dies deutet darauf sich hin, dass diese Modelle nicht einfach nur auf das Wort reagieren, sondern es aktiv basierend auf dem umgebenden Gespräch neu bewerten. Wenn der Kontext nicht ihren Erwartungen entspricht, fühlt sich die Wiederholung wie ein Fehler an, was zu Interferenzen führt.

Die Forscher untersuchten auch, wie sich dieses Verhalten änderte, wenn die Modelle größer wurden. Innerhalb einer Modellfamilie vergrößerte sich die Lücke zwischen den beiden Typen mit zunehmender Größe. Die Basimodelle blieben konsistent in ihrer automatischen Verarbeitung, aber die instruktionsgestimmten Modelle wurden zunehmend sensibler gegenüber der Distanz zwischen den Wiederholungen. Im größten Maßstab zeigten die instruktionsgestimmten Modelle die stärksten Anzeichen von Interferenz, was darauf hindeutet, dass der Prozess, sie zum Befolgen von Anweisungen zu trainieren, die Art und Weise, wie sie mit wiederholten Informationen umgehen, grundlegend verändert. Es ist nicht nur eine Frage davon, dass sie besser in Aufgaben werden; es ist ein qualitativer Wandel in ihrer Arbeitsweise.

Vielleicht kam die überraschendste Erkenntnis aus dem Vergleich der Maschinen mit den menschlichen Freiwilligen. Die Menschen passten nicht sauber in eine der beiden Kategorien. Wie die instruktionsgestimmten Modelle waren auch Menschen empfindlich gegenüber der Distanz zwischen Wiederholungen; ihre Reaktionszeiten verlangsamten sich, wenn der Lag zunahm. Im Gegensatz zu den instruktionsgestimmten Modellen litten Menschen jedoch nie unter Interferenz. Egal wie lang die Lücke war, das erneute Sehen eines Wortes half ihnen immer und schadete ihnen nie. Menschen nahmen eine Mittelstellung ein: Sie waren sensibel für den Kontext wie die fortgeschrittenen Maschinen, behielten aber den universellen Nutzen der Wiederholung bei, den die Basimodelle zeigten.

Diese Studie legt nahe, dass der Prozess, ein Sprachmodell dazu zu trainieren, hilfreich und gehorsam zu sein, seine kognitive Architektur grundlegend verändert. Die Rohmodelle operieren mit einem schnellen, automatischen System, das auf Wörter reagiert, sobald sie erscheinen. Die instruktionsgestimmten Modelle hingegen scheinen ein kontrolliertes System entwickelt zu haben, das ständig den Kontext prüft und die Wiederholung manchmal ablehnt, wenn sie nicht in den Fluss des Gesprächs passt. Die Forscher fanden heraus, dass dieser Wandel nicht nur eine Änderung des Outputs ist, sondern eine Änderung des zugrunde liegenden Mechanismus. Als sie in die Modelle hineinsahnen, stellten sie fest, dass die Basimodelle direkt auf das vorherige Vorkommen des Wortes aufmerksam waren, um ihre Reaktion zu beschleunigen. Die instruktionsgestimmten Modelle hingegen hatten diese Aufmerksamkeit von der endgültigen Entscheidung entkoppelt und den automatischen Boost effektiv herausgefiltert.

Die Implikationen dieser Arbeit reichen über das Verständnis dessen hinaus, wie diese Maschinen denken. Sie verdeutlichen eine spezifische Art und Weise, in der die heutige künstliche Intelligenz von der menschlichen Kognition abweicht. Während wir uns in einem langen Gespräch durch Wiederholungen vielleicht ablenken lassen, verlieren wir niemals den grundlegenden Vorteil, ein Wort schon einmal gesehen zu haben. Die instruktionsgestimmten Modelle haben in ihrem Bestreben, kontextbewusst zu sein, diese fundamentale menschliche Eigenschaft verloren. Sie sind so sehr auf den unmittelbaren Kontext fokussiert, dass sie ein vertrautes Wort manchmal wie einen Fehler behandeln. Diese Forschung liefert eine klare Karte, an der sich die beiden Verarbeitungsmodi unterscheiden, und zeigt auf, dass der Weg, eine Maschine in Gesprächen menschenähnlicher zu machen, sie in ihren grundlegenden Gedächtnisprozessen unbeabsichtigt weniger menschlich gemacht haben könnte. Die Studie behauptet nicht, das Rätsel der maschinellen Intelligenz gelöst zu haben, aber sie bietet eine präzise, messbare Methode, um den Unterschied zwischen einer Maschine, die reagiert, und einer Maschine, die denkt, zu erkennen.