Das geheime Leben der Wiederholung in KI-Gehirnen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine Geschichte zu erzählen. Sie geben ihm einen Prompt, wie etwa einen Satzanfang, und bitten ihn, das nächste Wort zu erraten. So funktionieren viele moderne Systeme der Künstlichen Intelligenz (KI), die als Large Language Models bekannt sind. Sie sind wie superstarke Autocomplete-Engines, die fast alles im Internet gelesen haben. Um herauszufinden, ob sie tatsächlich etwas „wissen“, nutzen Wissenschaftler oft einen Trick namens „Cloze-Test“. Es ist wie ein Lückentext-Rätsel: Sie zeigen der KI einen Satz mit einem fehlenden Wort und schauen, ob sie das richtige erraten kann.

Jahrelang glaubten Forscher an eine einfache Regel darüber, wie diese KI-Gehirne mit Wiederholungen umgehen. Sie dachten, wenn man ein Wort immer wieder in den Prompt schreibt, würde die KI bei diesem Wort zuversichtlicher werden, so wie ein Mensch ein Konzept besser versteht, je öfter er es hört. Dies wird als „Priming“ bezeichnet. Wenn man „Apfel, Apfel, Apfel“ sagt, sollte die KI denken: „Okay, hier geht es definitiv um Äpfel!“ und das Wort „Apfel“ mit hoher Konfidenz vorhersagen. Wissenschaftler gingen davon aus, dass diese Zuversicht weiter steigen würde, je mehr Kopien des Wortes man hinzufügte, egal an welcher Stelle im Satz man die KI nach ihrer Vermutung fragt. Aber was, wenn diese Annahme falsch ist? Was, wenn das Gehirn einer KI je nach dem, wo man sie fragt, anders funktioniert? Dies ist die Frage, die sich Han-yu Wangs Arbeit stellt, indem sie ein seltsames Phänomen untersucht, bei dem „mehr“ Wiederholung tatsächlich zu „weniger“ Zuversicht führt – aber nur unter bestimmten Bedingungen.

Wenn mehr zu weniger wird: Der vergessliche Punkt der KI

In dieser Studie stellte der Forscher ein kluges kleines Experiment auf, um zu testen, wie KI-Modelle auf Wiederholungen reagieren. Stellen Sie sich vor, Sie haben ein magisches Wort, sagen wir „Katze“. Sie können dieses Wort der KI auf zwei verschiedene Arten zeigen, aber Sie halten den Anfang der Geschichte exakt gleich.

Der „Direkt daneben“-Test (Adjacent Probe):
Zuer {% b %} schreiben Sie eine lange Liste von „Katze“-Wörtern direkt bis zum Ende des Satzes: „Katze, Katze, Katze, Katze... [errate hier].“ Sie bitten die KI, das unmittelbar nächste Wort zu erraten.

• Was passierte: Genau wie die alte Regel es vorhersagte, wurde die KI immer zuversichtlicher. Je mehr „Katze“-Wörter Sie hinzufügten, desto sicherer wurde sie sich, dass das nächste Wort „Katze“ sein würde. Es war wie ein Trommelwirbel, der immer lauter wurde.

Der „Neustart“-Test (Displaced Probe):
Dann war der Forscher hinterhältig. Er schrieb dieselbe lange Liste von „Katze“-Wörtern am Anfang, fügte dann aber einen Punkt und einen ganz neuen Satzrahmen hinzu, bevor er nach der Vermutung fragte. Es sah so aus: „Katze, Katze, Katze, Katze... . Der Himmel ist blau. [errate hier].“

• Was passierte: Hier versagte der Zaubertrick. Anstatt zuversichtlicher zu werden, vollbrachte die Zuversicht der KI einen seltsamen Rückwärtssalto. Zuerst half es, ein paar „Katze“-Wörter hinzuzufügen. Aber sobald die Liste zu lang wurde (etwa 5 bis 10 Kopien), verlor die KI ihre Zuversicht. Als man bei 30 „Katze“-Wörtern angekommen war, war die KI tatsächlich weniger wahrscheinlich bereit, „Katze“ zu erraten, als es bei nur wenigen Kopien der Fall gewesen wäre.

Der Forscher nennt diese Form ein „invertiertes U“. Es ist, als würde die KI anfangs ein wenig begeistert sein, aber dann durch die schiere Menge an Wiederholungen überfordert oder verwirrt werden, wenn sie zu einem neuen Satz springen muss, um die Antwort zu finden.

Die große Entdeckung: Es kommt darauf an, wo man sucht

Die wichtigste Erkenntnis dieser Arbeit ist, dass die Position der Frage eine immense Bedeutung hat. Dieselbe Liste von wiederholten Wörtern kann die KI schlauer machen, wenn man sie unmittelbar nach der Liste fragt, aber sie dümmer machen, wenn man sie einen Satz später fragt.

Die Studie testete dies an 13 verschiedenen KI-Modellen, von kleinen bis hin zu sehr großen. Sie fanden heraus, dass dieses „invertierte U“-Muster in jedem einzelnen von ihnen auftrat. Es war kein Zufallstreffer bei einem spezifischen Computergehirn. Sie testeten es sogar in vier anderen Sprachen – Spanisch, Chinesisch, Deutsch und Französisch – und dasselbe seltsame Muster erschien. Dies deutet darauf hin, dass dies kein Fehler darin ist, wie die KI Englisch spricht, sondern eine grundlegende Eigenheit der Art und Weise, wie diese Modelle wiederholte Informationen verarbeiten.

Was es NICHT ist (und was es IST)

Der Forscher hörte nicht nur auf, das Muster zu finden; er spielte Detektiv, um herauszufinden, warum es geschah. Er wollte sicherstellen, dass es nicht einfach daran lag, dass der Satz zu lang wurde, oder weil die KI „müde“ war, oder weil sie über Wörter nachdachte, die mit „Katze“ verwandt sind (wie „Kätzchen“ oder „Schnurren“).

• Es geht nicht um die Länge: Sie testeten Sätze mit der gleichen Anzahl an Wörtern, aber verwendeten anstelle der Wiederholung von „Katze“ zufällige, langweilige Füllwörter. Der seltsame Abfall der Zuversicht trat nicht auf.
• Es geht nicht um verwandte Wörter: Sie ersetzten die wiederholten „Katze“-Wörter durch Wörter, die dasselbe bedeuten oder damit verwandt sind. Auch hier gab es keinen Abfall der Zuversicht.
• Es geht um exakte Wiederholung: Der Abfall trat nur auf, wenn das exakt gleiche Wort immer wiederholt wurde.

Das bedeutet, dass die KI nicht einfach nur durch langen Text „langweilig“ oder „verwirrt“ wird. Etwas Spezifisches passiert, wenn das exakt gleiche Token (der digitale Baustein eines Wortes) zu oft wiederholt wird, bevor ein neuer Satz beginnt.

Im Inneren des KI-Gehirns

Um zu verstehen, was vorging, blickte der Forscher in die „Attention“-Mechanismen (Aufmerksamkeitsmechanismen) der Modelle. Man kann sich „Attention“ wie einen Scheinwerfer vorstellen, den die KI auf verschiedene Teile des Satzes richtet.

• Der Scheinwerfer schrumpft: Als die Liste der „Katze“-Wörter wuchs, wurde die Menge der Aufmerksamkeit, die die KI jedem einzelnen „Katze“-Wort schenkte, kleiner. Das ergibt Sinn; wenn man ein festes Kontingent an Scheinwerferlicht hat und es auf 30 Dinge richten muss, bekommt jedes Ding weniger Licht.
• Das Gesamtbudget wächst (in einigen Modellen): Überraschenderweise stieg in den Modellen, die den größten Zuversichtsabfall zeigten, die gesamte Menge der Aufmerksamkeit, die die KI der gesamten „Katze“-Blockgruppe schenkte, an, während die Liste länger wurde. Es war, als würde die KI immer lauter „Schaut euch all diese Katzen an!“ rufen, aber irgendwie machte dieses Schreien es schwieriger, das spezifische Wort „Katze“ zu erinnern, wenn sie zu dem neuen Satz springen musste.

Warum sollten Sie das interessieren?

Diese Arbeit ist ein Warnhinweis für jeden, der versucht, zu testen, wie intelligent diese KI-Modelle sind. Wenn Sie ein Wissenschaftler sind, der sehen möchte, ob eine KI ein Faktum kennt, und Sie eine Methode verwenden, die ein Wort viele Male wiederholt, um die KI zu „primen“, erhalten Sie möglicherweise das Gegenteil von dem, was Sie erwarten. Wenn Sie die Frage einen Satz später stellen, könnten Sie die KI versehentlich weniger wahrscheinlich dazu bringen, die richtige Antwort zu geben.

Die Studie zeigt, dass wir die Position einer Frage nicht als neutrales Detail behandeln können. Wo man die Frage stellt, verändert die Antwort. Es ist eine Erinnerung daran, dass diese KI-Gehirne komplex und manchmal kontraintuitiv sind: Manchmal hilft es nicht, ein Wort zu oft zu hören, um es sich zu merken; es kann dazu führen, dass man es vergisst, besonders wenn man einen Moment warten muss, bevor man antwortet.

Der Forscher testete dies an 13 Modellen und fand den Effekt in allen Modellen. Er überprüfte dies in 42 verschiedenen Kombinationen von Modellen und Sprachen, und das Muster blieb jedes Mal bestehen. Obwohl sie nicht genau sagen können, warum das Gehirn der KI so arbeitet (es ist eine Korrelation, keine vollständige Erklärung des Mechanismus), haben sie bewiesen, dass dieser „Mehr wird zu weniger“-Effekt real, konsistent und allgegenwärtig ist. Es ist ein kleines, aber entscheidendes Puzzleteil beim Verständnis dessen, wie diese digitalen Gehirne tatsächlich denken.