In der Welt der künstlichen Intelligenz werden große Sprachmodelle oft als universelle Werkzeuge behandelt: Man stellt eine Frage, und sie liefern eine Antwort. Seit Jahren wissen Forscher, dass die Art und Weise, wie man diese Frage stellt, also die spezifischen Wörter, die Formatierung oder der Stil des Prompts, das Ergebnis drastisch verändern kann. Ein Prompt, der ein Modell brillant aussehen lässt, kann ein anderes unbedarft erscheinen lassen, und selbst kleine, bedeutungslose Änderungen am Text können die Ranglisten verschieben, wer das „beste“ Modell ist. Dieses Phänomen, bekannt als Prompt-Modell-Interaktion, ist bei Aufgaben wie dem Lösen von Mathematikproblemen oder dem Schreiben von Code gut dokumentiert. Doch ein bleibendes Rätsel blieb: Gehört diese Sensibilität zur komplexen Mechanik, die das Modell zur Ausführung von Aufgaben nutzt, oder ist sie eine fundamentale Eigenschaft der Art und Weise, wie das Modell Informationen selbst verarbeitet? Um dies zu beantworten, mussten Wissenschaftler das Modell beobachten, wenn es gerade gar nichts tut. Sie mussten die Maschine in einem Zustand reiner, aufgabenfreier Existenz beobachten, befreit von Anweisungen, Zielen oder dem Druck, korrekt zu sein.

Ein Team unabhängiger Forscher setzte sich zum Ziel, dies zu untersuchen, indem es die Aufgabe gänzlich entfernte. Anstatt das Modell ein Problem lösen zu lassen, fütterten sie es mit einer kurzen Textsequenz und beobachteten, was geschah, wenn das Modell gezwungen war, das nächste Wort vorherzusagen, dann das darauffolgende Wort, in einer kontinuierlichen Schleife. Da das Modell nicht zufällig sampelte, sondern stattdessen einer strikten, deterministischen Regel folgte, um das wahrscheinlichste nächste Wort zu wählen, glich der Prozess dem Rollen eines Balls einen Hügel hinunter, bis er sich in einem Tal einpendelte. In einigen Fällen würde der Ball in ein einzelnes, stabiles Tal rollen und dort für immer verweilen; in anderen Fällen könnte er in einer Schleife stecken bleiben oder ziellos umherwandern. Die Forscher maßen, wie oft die Vorhersagen des Modells in diesen stabilen Zustand übergingen, eine Metrik, die sie den Fixed-Point-Anteil nannten. Sie testeten dann, wie sich dieses Verhalten änderte, wenn sie einen kurzen Text-Präfix, nur neun Wörter oder Token, vor den Beginn der Sequenz setzten. Das Ziel war simpel: zu sehen, ob ein winziges Stück zusätzlicher Text die interne Trajektorie des Modells grundlegend verändern konnte, selbst wenn das Modell nicht versuchte, etwas zu erreichen.

Die Ergebnisse waren beeindruckend und widersprachen den Erwartungen der Forscher. Sie fanden heraus, dass die Interaktion zwischen dem Prompt und dem Modell diese aufgabenfreie Auslesung mit voller Wucht erreichte. Das Hinzufügen von nur neun Token an Konditionierungstext war ausreichend, um die gemessene Auslesung über fast ihren gesamten möglichen Bereich zu bewegen. Für einige Modelle verwandelte diese kleine Ergänzung ein chaotisches, umherwanderndes Vorhersagemuster in ein perfekt stabiles eines. Für andere tat es genau das Gegenteil und schickte die Vorhersagen in eine Schleife. Der Effekt war so mächtig, dass er die strukturelle Klassifizierung des Verhaltens eines Modells vollständig verändern konnte. Um dies einzuordnen, verglichen die Forscher diese Verschiebung mit der Auswirkung des Instruction-Tunings, eines massiven Trainingsprozesses, der die Leistung eines Modells in Standard-Benchmarks typischerweise um über sechzig Punkte steigert. Während dieses schwerhandwerkliche Training die Aufgabenleistung des Modells signifikant bewegte, ließ es diese spezifische strukturelle Auslesung völlig unverändert. Im Gegensatz dazu konnte ein bloßer neun Wörter langer Präfix die gemessene Auslesung von einem Extrem zum anderen kippen lassen. Dies bewies, dass die Prompt-Modell-Interaktion nicht nur eine Eigenart ist, wie Modelle Anweisungen folgen; sie ist eine tiefe, strukturelle Tatsache darüber, wie ein Modell ein Textfragment liest.

Die Forscher versuchten dann zu erklären, warum dies geschah, und schlugen mehrere natürliche Theorien vor, die plausibel erschienen. Sie fragten sich, ob die Länge des hinzugefügten Textes die Ursache war, oder ob der Inhalt, also ob einfacher Prosatext oder formatiertes Code, der Treiber war. Sie erwogen auch, ob der Effekt universell war, was bedeutete, dass er Modelle immer in dieselbe Richtung drückte, oder ob es eine spezifische Eigenschaft bestimmter Arten von Modellen war, wie etwa jener, die darauf trainiert wurden, Anweisungen zu folgen. Sie testeten diese Ideen rigoros, beginnend mit kleinen Gruppen von Modellen und erweiterten ihre Stichprobe dann auf vielfältigere Architekturen und Texttypen. Die fünf spezifischen Faktorisierungen, die sie als Kandidaten-Erklärungen aufstellten, scheiterten alle, als sie ihre Stichprobe erweiterten. Der Effekt war nicht einfach eine Frage der Textlänge; tatsächlich war die Beziehung nicht glatt oder vorhersehbar, wobei einige Modelle heftig auf ein einziges zusätzliches Wort reagierten, während andere es ignorierten. Auch der Inhalt des Textes konnte das Muster nicht erklären; was für ein Modell funktionierte, schlug bei einem anderen oft fehl, und die Richtung der Änderung kehrte sich je nach der spezifischen Kombination von Text und Modell um. Selbst die Idee, dass Instruktions-trainierte Modelle diesen Änderungen widerstehen würden, erwies sich als falsch, als sie eine größere Vielfalt an Texten testeten.

Was übrig blieb, nachdem all diese fünf Erklärungen zerfallen waren, war eine einfache, hartnäckige Realität: Der Effekt gehörte zum spezifischen Paar aus Prompt und Modell, nicht zu einem von beiden einzeln. Ein einzener, fester neun Wörter langer Präfix konnte vier verschiedene Modelle in einen Zustand totaler Stabilität treiben, während er zwei andere Modelle in völliges Chaos stürzte. Derselbe Text, der die Vorhersagen eines Modells in eine feste Position brachte, ließ die Vorhersagen eines anderen kollabieren. Dieses Verhalten blieb bestehen, selbst als die Forscher Texte verwendeten, die in der realen Welt üblich sind, was bewies, dass es nicht nur ein Artefakt der Verwendung seltsamer oder zufälliger Wörter war. Die Forscher betrachteten auch die internen Mechanismen der Modelle, speziell die Frage, wie viel Aufmerksamkeit das Modell dem allerersten Token der Sequenz schenkte. Eine populäre Theorie besagte, dass frühe Token als „Sink“ fungieren, also Aufmerksamkeit absorbieren und das Ergebnis diktieren. Als sie dies jedoch maßen, konnte die Theorie die Richtung der Änderung nicht vorhersagen. In einigen Modellen nahm der Attention-Sink zu und die Stabilität stieg; in anderen nahm der Attention-Sink zu, aber die Stabilität stürzte ab. Die mechanische Erklärung war für reale Texte korrekt, brach aber bei den für ihren Probeversuch verwendeten Zufalls-Inputs vollständig zusammen, was darauf hindeutete, dass die Forscher außerhalb des Bereichs operierten, in dem diese mechanische Theorie Anwendung findet.

Die Studie kommt zu dem Schluss, dass die Erklärungseinheit für dieses Phänomen das Prompt-Modell-Paar selbst ist. Es gibt keine einzelne Regel über die Textlänge, den Inhalt oder den Modelltyp, die vorhersagen kann, wie ein spezifisches Modell auf einen spezifischen Prompt reagieren wird. Die Forscher fanden heraus, dass ihre eigenen Versuche, eine universelle Regel zu finden, oft durch einen subtilen Fehler gestoppt wurden: die Anwendung eines starren Kriteriums auf eine Größe, die keinen Raum für Variation ließ. Beispielsweise dachten sie anfangs, sie hätten eine universelle Richtung gefunden, in der sich alle Modelle auf die gleiche Weise bewegten, nur um zu erkennen, dass ihre kleine Stichprobe die Ausnahmen verborgen hatte. Indem sie ihre Stichprobe erweiterten und sich weigerten, Muster zu akzeptieren, die nicht scheitern konnten, stellten sie sicher, dass ihre Ergebnisse ehrlich waren. Das abschließende Bild ist eines von tiefgreifender Spezifität. Die Art und Weise, wie ein Modell ein Textfragment liest, ist keine generische Eigenschaft des Modells, noch ist es eine generische Eigenschaft des Textes. Es ist eine einzigartige Interaktion, die nur entsteht, wenn dieser spezifische Text auf dieses spezifische Modell trifft. Die Forscher laden die wissenschaftliche Gemeinschaft ein, dies weiter zu testen, aber bis ein neuer Faktor die gleiche rigorose Erweiterung der Stichprobe übersteht, bleibt die Antwort, dass die Interaktion ein paar-spezifisches Ereignis ist, das sich einer einfachen Kategorisierung entzieht.