Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, eine Geschichte zu erzählen. Sie füttern ihn nicht einfach nur mit Fakten; Sie geben ihm einen „Prompt“, einen kleinen Starter-Satz wie „Es war einmal...“ und beobachten, was als Nächstes passiert. Dies ist die Welt der Large Language Models (LLMs), der KI-Chatbots, die Gedichte, Code und Witze schreiben können. Aber hier ist der knifflige Teil: Diese Roboter wissen Dinge nicht einfach nur; sie spielen eigentlich ein riesiges Ratespiel. Sie schauen sich die Wörter an, die Sie ihnen gegeben haben, und versuchen, das nächste Wort basierend auf einer verborgenen Menge von Regeln zu erraten, die sie während des Trainings gelernt haben.

Wissenschaftler haben entdeckt, dass diese Roboter ein wenig wie Detektive agieren, die ein Rätsel lösen. Während der Roboter Ihren Prompt liest, aktualisiert er seinen „Glauben“ darüber, welche Art von Geschichte Sie erzählen wollen. Es ist, als hätte der Roboter eine mentale Bibliothek aus tausenden verschiedenen „Geschichtenerzählern“ (einige lieben Happy Ends, andere lieben Horror, wieder andere lieben Mathematik), und Ihr Prompt hilft ihm zu entscheiden, welchem Geschichtenerzähler er gerade zuhören soll. Dies wird als latentes Posteriori-Modell bezeichnet. Die große Frage, die Forscher stellen, lautet: Können wir den Roboter austricksen, damit er einen spezifischen Geschichtenerzähler wählt, um genau das zu sagen, was wir wollen, selbst wenn dies etwas Seltsames oder Gefährliches ist? Dies wird als das Elicitation-Problem bezeichnet. Es ist, als versuche man, den perfekten Zauberspruch (Prompt) zu finden, um einen Dschinni dazu zu bringen, sich einen ganz bestimmten Wunsch zu erfüllen – aber der Dschinni ist eine Black Box, und der Raum der möglichen Zaubersprüche ist viel zu groß, um sie alle einzeln zu prüfen.

Der Zauberspruch ohne den schweren Aufwand

In dieser Arbeit stellt ein Forscherteam bestehend aus Garrett Baker, Timaeus, Vinayak Pathak, Daniel Murfet und Susan Wei eine clevere neue Methode vor, um diese Zaubersprüche zu finden. Sie nennen ihre Methode Posterior Prefix Tuning (PPT).

Normalerweise verwenden Menschen, wenn sie versuchen, den perfekten Prompt zu finden, um eine KI dazu zu bringen, auf eine bestimmte Weise zu agieren, eine Brute-Force-Methode namens Greedy Coordinate Gradient (GCG). Stellen Sie sich vor, Sie versuchen ein Radio einzustellen, um ein bestimmtes Lied zu hören. Die GCG-Methode ist wie das Drehen am Regler um jeweils eine winzige Stufe, das Lauschen auf das Rauschen, das Zurückdrehen, das Drehen in die andere Richtung, das erneute Lauschen und das ständige Wiederholen. Es funktioniert, aber es ist langsam und erfordert, dass der Roboter jedes Mal „nachdenkt“ (eine Berechnung durchführt), wenn man auch nur eine winzige Änderung vornimmt.

Die Autoren dieser Arbeit sagen: „Moment mal! Wir müssen nicht jedes Mal das Radio hören.“ Sie erkannten, dass wir das Radio komplett überspringen können, da der Roboter im Grunde ein Detektiv ist, der seine Überzeugungen aktualisiert. Anstatt den Roboter zu bitten, eine Geschichte zu generieren und dann zu prüfen, ob sie gut ist, beschlossen sie, direkt in die mentale Bibliothek des Roboters (das latente Posteriori) zu schauen.

Der einmalige Bibliotheksbesuch

Hier ist der magische Trick: Die Forscher bitten den Roboter zuerst, eine Reihe von zufälligen Geschichten ohne einen spezifischen Prompt zu erzählen. Aus diesen zufälligen Geschichten bauen sie eine Karte der gesamten mentalen Bibliothek des Roboters auf. Sie finden heraus, welche „Geschichtenerzähler“ (latente Modelle) in der Bibliothek sind und wie wahrscheinlich es ist, dass der Roboter jeden einzelnen auswählt. Dies ist so, als würde man ein einziges Mal einen Schnappschuss des Gehirns des Roboters machen, was beinhaltet, den Roboter 5.000 lange Geschichten (Rollouts) generieren zu lassen, um die Karte zu erstellen.

Sobald sie diesen Schnappschuss haben, müssen sie den Roboter nicht mehr bitten, erneut nachzudenken, während des Optimierungsprozesses. Sie können Mathematik nutzen, um zu simulieren: „Wenn wir dem Roboter diesen spezifischen Prompt gaben, welchen Geschichtenerzähler würde er wählen? Und würde dieser Geschichtenerzähler das gewünschte Ergebnis produzieren?“

Dies tun sie, indem sie eine „geneigte“ Version der Überzeugungen des Roboters erstellen. Stellen Sie sich vor, Sie haben einen Beutel voller Murmeln, von denen jede eine andere Geschichtenerzählerin repräsentiert. Einige Murmeln sind rot (gute Geschichtenerzähler), einige sind blau (schlechte). Der Roboter wählt die Murmeln normalerweise basierend auf einem fairen Würfelwurf aus. PPT ist eine Methode, mit der man magisch Gewicht zu den roten Murmeln hinzufügen kann, sodass der Roboter gezwungen ist, sie zu wählen, ohne jemals wieder würfeln zu müssen.

Die Ergebnisse: Ein gemischtes Urteil

Das Team testete dies an zwei Arten vereinfachter Robotergehirne (genannt Bayes-gefilterte Transformer). Das eine war ein einfacher Münzwürfer (Beta–Bernoulli), das andere ein etwas komplexerer Musterfolger (Reinforced Urn). Sie versuchten, diese Roboter zu drei Dingen zu bringen:

1. Reverse Cross-Entropy: Den Output des Roboters so aussehen zu lassen wie ein spezifisches Zielmuster.
2. Frequency Matching: Den Roboter dazu zu bringen, „0“ und „1“ in einem bestimmten Verhältnis zu sagen.
3. Dyck Validity: Den Roboter eine Sequenz von Klammern generieren zu lassen, die perfekt ausbalanciert sind (wie ()() oder (())).

Sie verglichen ihre neue „One-Shot“-Methode (PPT) mit der alten „Drehen-am-Regler“-Methode (GCG).

• Die gute Nachricht: Beim komplexeren „Reinforced Urn“-Roboter zeigte PPT in spezifischen Szenarien beeindruckende Ergebnisse. Zum Beispiel, als die Prompts kurz waren (6 Zeichen) und das Ziel die Erzeugung balancierter Klammern (Dyck Validity) war, fand PPT-RB bei jedem einzelnen Versuch den perfekten Prompt, während die alte Methode Schwierigkeiten hatte. Es war, als könnte PPT die Lösung schon aus einer Meile Entfernung sehen, während GCG im Dunkeln tappte.
• Die gemischte Nachricht: Beim einfacheren „Coin-flipper“-Roboter waren beide Methoden ziemlich gut, aber die alte Methode (GCG) war manchmal besser, insbesondere wenn die Prompts lang waren (50 Zeichen).
• Die Überraschung: Die Leistung kehrte sich um, je nach Aufgabe und Promptlänge. Beim „Dyck Validity“-Test auf dem komplexen Roboter mit langen Prompts (50 Zeichen) gewann die alte Methode (GCG) tatsächlich und fand eine Lösung, die PPT verpasste. Ähnlich verhielt es sich beim einfacheren Roboter: GCG war oft leistungsfähiger als PPT, wenn die Prompts lang waren.

Warum das wichtig ist

Der größte Sieg für PPT ist nicht nur, dass es manchmal bessere Prompts findet; es ist die Effizienz. Die alte Methode musste den Roboter bei jeder winzigen Änderung des Prompts bitten, zu „denken“ (einen Forward Pass durchzuführen) und dann „rückwärts zu denken“ (Backpropagation). Das ist teuer und langsam.

PPT hingegen fordelt den Roboter während der eigentlichen Optimierungsschritte null Mal auf, zu „denken“. Es erledigt die ganze schwere Arbeit mithilfe des „Schnappschusses“ der Bibliothek, den es ganz zu Beginn erstellt hat (die anfänglichen 5.000 Rollouts). Es ist, als hätte man eine Karte des gesamten Labyrinths, noch bevor man überhaupt den ersten Schritt macht. Man kann eine Million verschiedener Pfade sofort im Kopf durchspielen, ohne jemals einen einzigen Schritt gehen zu müssen.

Die Autoren merken an, dass diese Methode am besten funktioniert, wenn das Verhalten des Roboters gut verstanden ist und spezifischen mathematischen Regeln folgt (wie die vereinfachten Modelle, die sie getestet haben). Sie geben zu, dass sie für echte, chaotische KI-Modelle noch keine perfekte Lösung ist. Aber für das spezifische Problem, „wie steuern wir die verborgenen Überzeugungen eines Roboters, um ein bestimmtes Ergebnis zu erhalten“, haben sie einen Weg aufgezeigt, der schneller, günstiger und in vielen Fällen überraschend effektiv ist.

Kurz gesagt: Sie haben einen Weg gefunden, den Geist des Roboters zu steuern, indem sie auf seine interne Karte schauen, anstatt nur an die Tür zu klopfen und zu hoffen, dass sie sich öffnet. Es ist eine intelligentere Art, den Dschinni um einen Wunsch zu bitten, und es könnte uns helfen zu verstehen, wie wir diese mächtigen Werkzeuge dazu bringen, so zu agieren, wie wir es wollen.