The Story Shapes the Agent: Narrative Priors in LLM Behavior
Diese Arbeit zeigt, dass das narrative Framing einer Aufgabe einen signifikant stärkeren Einfluss auf das Verhalten von LLM-Agenten ausübt als die zugewiesene Persona, was offenbart, dass „narrative Priors“ systematische Handlungstendenzen vorantreiben, während ein effektiver narrativenübergreifender Transfer darauf angewiesen ist, Instruktionen in konkreten Handlungen anstatt in abstrakten Beschreibungen zu verankern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Regisseur einer riesigen, hochtechnologischen Theaterkompanie. Ihre Schauspieler sind unglaublich intelligent, aber sie sind auch unbeschriebene Blätter, die auf ein Skript warten. In der Welt der Künstlichen Intelligenz sind diese Schauspieler Large Language Models (LLMs), und die „Skripte“, die wir ihnen geben, um ihr Verhalten zu steuern, nennt man Personas. Eine Persona ist wie eine Charakterbeschreibung: Sie könnten der KI sagen: „Du bist ein methodischer Detektiv, der gerne Hinweise liest“, oder „Du bist ein geselliger Freund, der durch Reden lernt“. Lange Zeit gingen Entwickler davon aus, dass, wenn sie einer KI eine starke Persönlichkeit gaben, diese Persönlichkeit bestehen bliebe, egal welche Aufgabe die KI gerade erledigte. Sie dachten, der „Charakter“ sei das Wichtigste. Aber es gibt eine Wendung: Jede Aufgabe bringt auch eine Geschichte oder ein Setting mit sich. Ist der Detektiv dabei, einen Mord in einem gruseligen Herrenhaus aufzuklären? Ist derselbe Detektiv dabei, einen kaputten Computer in einem Tech-Büro zu reparieren? Oder untersucht er ein seltsames Virus in einem tropischen Labor? Die große Frage, die Forscher beantworten wollten, war simpel: Wenn die KI in eine neue Geschichte eintaucht, bleibt ihre Persönlichkeit dann gleich, oder übernimmt die Geschichte selbst das Kommando und verändert ihr Verhalten?
Dieses Paper mit dem Titel „The Story Shapes the Agent“ taucht genau in dieses Mysterium ein. Die Forscher gestalteten ein kluges Experiment mit drei verschiedenen „Spielen“, die sich oberflächlich betrachtet völlig unterschiedlich sehen, aber im Kern eigentlich identisch sind. Stellen Sie sich das wie drei verschiedene Videospiele vor: Eines ist ein medizinisches Rätsel, eines ist ein Computerreparatur-Job und eines ist ein klassischer Mordfall. Obwohl die Geschichten völlig verschieden sind, sind die Regeln der Spiele exakt dieselben. In jedem Spiel hat der Spieler die gleichen vier Züge: Er kann Dokumente lesen, mit Menschen sprechen, Dinge testen (wie eine Diagnose oder einen Labortest durchzuführen) oder sich bewegen. Die Forscher gaben drei verschiedenen KI-Modellen dieselben 10 unterschiedlichen „Persönlichkeiten“, um alle drei Spiele zu spielen, wodurch fast 2.000 einzigartige Sitzungen entstanden.
Die Ergebnisse waren eine riesige Überraschung. Die Forscher fanden heraus, dass die Geschichte (das Narrativ) der wahre Boss war, nicht die Persönlichkeit. Tatsächlich erklärte die Geschichte das Verhalten der KI um das 5- bis 31-fache stärker als die zugewiesene Persona. Wenn Sie einer KI sagten, sie solle „sozial und gesellig“ sein, würde sie sich in einem Mordrätsel so verhalten, aber in einem Computerreparatur-Spiel würde die Geschichte des „Tech-Reparierens“ dazu führen, dass sie Menschen ignoriert und stattdessen Handbücher liest. Die KI passte ihre Persönlichkeit nicht an; sie fiel vielmehr in eine Falle von „narrativen Priors“. Das sind wie unsichtbare Gewohnheiten, die die KI während ihres Trainings aus allen Büchern und Filmen gelernt hat. Wenn die Geschichte nach einem Krankenhaus klang, handelte die KI wie ein Arzt (mit Menschen sprechen). Wenn sie nach einem Tatort klang, handelte sie wie ein Detektiv (Tests durchführen).
Der entscheidende Punkt ist: Diese geschichtengesteuerten Gewohnheiten machten die KI oft sogar schlechter im Spiel. In zwei von drei Geschichten schadete die „natürliche“ Reaktion der KI auf das Setting tatsächlich ihren Chancen zu gewinnen. Die Forscher entdeckten auch, dass einige Persönlichkeiten tatsächlich über verschiedene Geschichten hinweg konsistent bleiben konnten, aber nur, wenn sie auf verhaltensbasierten Ankern aufgebaut waren. Dies sind spezifische, konkrete Anweisungen wie „Ich bevorzuge es zu sprechen“ (was direkt mit der Aktion „sprechen“ verknüpft ist). Wenn eine Persönlichkeit mit vagen, abstrakten Worten beschrieben wurde, wie etwa „Ich bin ein Weitblickender“, vergaß die KI diese Anweisung vollständig, sobald sich die Geschichte änderte. Um dies zu beweisen, nahmen sie eine Persönlichkeit, die gut funktionierte, entfernten die konkreten Aktionswörter und schrieben sie so um, dass sie zwar edel, aber vage klang. Das Ergebnis? Die Konsistenz der KI sank um 95 %.
Was ist also die Lehre daraus? Wenn Sie wollen, dass sich eine KI in verschiedenen Situationen gleich verhält, können Sie ihr nicht einfach nur eine coole Persönlichkeitsbeschreibung geben. Sie müssen ihr konkrete, aktionsbasierte Anweisungen geben, die zu den Werkzeugen passen, die sie besitzt. Die Geschichte, die sich um eine Aufgabe legt, ist mächtig genug, um das Skript umzuschreiben, und solange Sie Ihre Anweisungen nicht in spezifischen Handlungen verankern, wird die KI die Geschichte das Steuer übernehmen lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.