🤖 AI

Personalizing Large Language Model Agents with Small Policy Models

Das Papier stellt FABLE vor, eine leichtgewichtige, faktorisierte Policy-Schicht, die die Online-Personalisierung eingefrorener Large Language Model Agents ermöglicht, indem sie nutzerspezifische Ausführungspräferenzen aus skalaren Rückmeldungen mittels Bayesianischem kontextuellem Thompson-Sampling lernt und dadurch präferenzsensible Verhaltensweisen ohne kostspieliges Fine-Tuning verbessert.

Ursprüngliche Autoren: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

Veröffentlicht 2026-08-04

📖 7 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter, der fast alles weiß. Dieser Roboter ist wie eine riesige Bibliothek, die lesen, schreiben und sogar Werkzeuge wie einen Webbrowser oder einen Taschenrechner benutzen kann. Aber hier ist der Haken: Der Roboter ist „eingefroren“. Sie können sein Gehirn nicht umschreiben oder seine Persönlichkeit ändern, weil er zu groß, zu teuer oder vielleicht im Besitz eines Unternehmens ist, das Sie nicht an den Code heranlassen will. Wie also bringen Sie diesen riesigen, unveränderlichen Roboter dazu, wie Ihr persönlicher Assistent zu agieren?

Dies ist das Rätsel der Large Language Model (LLM) Agents. Dies sind KI-Systeme, die nicht nur chatten, sondern auch Handlungen vollziehen, wie etwa die Suche nach Flugtickets oder das Überprüfen eines Kalenders. Das Problem ist: Obwohl der Roboter intelligent ist, kennt er Ihren spezifischen Stil nicht. Vielleicht hassen Sie lange Erklärungen und wollen kurze Antworten, während Ihr Freund ausführliche Schritt-für-Schritt-Anleitungen liebt. Normalerweise müsste man den Roboter dafür „feintunen“, was so ist, als würde man versuchen, einen ganzen Elefanten neu zu trainieren, nur um ihm einen neuen Tanzschritt beizubringen. Das ist schwerfällig, teuer und oft unmöglich.

Das Papier, das Sie gleich lesen werden, geht dieses Problem an, indem es fragt: Können wir einen eingefrorenen Roboter lehren, sich an uns anzupassen, ohne sein Gehirn zu verändern? Die Autoren schlagen einen cleveren Trick vor: Anstatt den Roboter zu verändern, bauen wir einen winzigen, leichtgewichtigen „Coach“ (Trainer), der außerhalb des Roboters steht. Dieser Coach beobachtet, was der Roboter tut, hört auf Ihr Feedback (wie ein Daumen hoch oder ein Daumen runter) und lernt, wie er den Roboter sanft in die Richtung lenken kann, die Sie bevorzugen. Es ist wie ein persönlicher Trainer, der einer massiven, unbeweglichen Statue genau sagt, wie sie den Kopf neigen muss, um Sie anzusehen, ohne jem zu versuchen, neue Muskeln in den Stein zu meißeln.

Das Problem: Der Roboter, der nicht zuhört

Stellen Sie sich vor, Sie bitten einen Reiseagenten-Roboter, eine Reise zu planen.

Nutzer A sagt: „Überprüfe meine vergangenen Reisen, suche nach aktuellen Preisen und frage mich, bevor du etwas buchst.“
Nutzer B sagt: „Schau nicht in meine Historie, such mir einfach sofort den günstigsten Flug heraus, ohne Rückfragen.“

Wenn der Roboter eingefroren ist, kann er diese Unterschiede nicht einfach lernen. Er könnte nur raten. Wenn Sie versuchen, ihm zu sagen: „Ich hasse Fragen“, können Sie das zwar in einen Prompt schreiben, aber der Roboter könnte es später vergessen oder ignorieren. Wenn Sie versuchen, den ganzen Roboter neu zu trainieren, kostet das ein Vermögen. Das Papier argumentiert, dass bestehende Methoden entweder versuchen, den Roboter zu verändern (zu schwer) oder ihm einfach eine Liste von Regeln geben (zu starr). Sie lernen nicht wirklich aus Ihren Reaktionen in Echtzeit.

Die Lösung: FABLE, der winzige Coach

Die Autoren führen FABLE (Factorized Adaptive Bandit Layer for Execution) ein. Betrachten Sie FABLE als eine smarte, winzige Software-Schicht, die zwischen Ihnen und dem riesigen, eingefrorenen Roboter sitzt. Sie rührt das Gehirn des Roboters nicht an; sie entscheidet nur, wie der Roboter für Sie handeln soll.

So funktioniert FABLE, erklärt anhand einiger unterhaltsamer Analogien:

Das faktorisierte Menü (Das Aufteilen):
Wenn der Roboter entscheidet, was er tun soll, trifft er eigentlich drei separate Entscheidungen gleichzeitig:
- Gedächtnis (Memory): Soll ich mir deine vergangenen Chats ansehen?
- Werkzeuge (Tools): Soll ich eine Suchmaschine verwenden oder nur raten?
- Stil (Style): Soll ich direkt, gesprächig oder nachfragend sein?
Ein „flacher“ Ansatz würde versuchen, jede einzelne Kombination dieser Entscheidungen zu lernen (z. B. „Gedächtnis + Suche + Gesellig“ ist eine Sache, „Gedächtnis + Keine Suche + Direkt“ ist eine andere). Das ist so, als würde man versuchen, jedes mögliche Menüitem in einem Restaurant mit 1.000 Zutaten auswendig zu lernen. FABLE ist schlauer. Es zerlegt das Menü. Es lernt, dass Sie generell „gesellige“ Stile hassen, unabhängig davon, ob Sie das Gedächtnis oder Werkzeuge nutzen. Es lernt die Zutaten Ihrer Vorlieben separat, was das Lernen viel schneller macht.
Der Residualwert (Das „Extra“-Gewürz):
Der eingefrorene Roboter hat bereits eine „Standardweise“, zu handeln. Vielleicht ist er von Natur aus sehr höflich und detailliert. FABLE versucht nicht, diese Höflichkeit neu zu lernen. Stattdessen lernt es nur das Residuum – das Extra, das den Roboter zu Ihrem macht. Wenn der Robot von Natur aus zu 80 % höflich ist, lernt FABLE, dass Sie ihn 10 % weniger höflich haben wollen. Es ist wie das Würzen einer fertigen Suppe; Sie kochen die Suppe nicht von Grund auf neu, sondern fügen nur die spezifische Prise Salz hinzu, die Sie mögen.
Der Sicherheitsfilter (Der Türsteher):
Manchmal kann man bestimmte Dinge nicht tun. Vielleicht haben Sie keine Berechtigung, auf Ihr Bankkonto zuzugreifen, oder das Werkzeug ist defekt. FABLE hat einen „Türsteher“, der die Regeln prüft, bevor eine Entscheidung getroffen wird. Er sagt: „Okay, wir können das Bank-Tool heute nicht nutzen, also wählen wir aus der Liste der Dinge, die wir tun können.“ Dies stellt sicher, dass der Roboter niemals versucht, die Regeln zu brechen, während er lernt.
Der Bayesianische Coach (Lernen aus Daumen hoch/runter):
FABLE nutzt eine Methode namens Bayesian Thompson Sampling. Stellen Sie sich vor, der Coach hat eine Vermutung darüber, was Sie mögen. Er probiert eine Entscheidung aus. Sie geben ein winziges Signal (ein skalarer Feedback, wie eine Bewertung von -1 bis 1). Der Coach aktualisiert seine Vermutung.
- Wenn Ihnen der „konzise“ Stil gefallen hat, wird der Coach sich sicherer, dass Sie konzise Stile mögen.
- Wenn Ihnen das „Web-Search“-Werkzeug nicht gefallen hat, lernt der Coach, es zu vermeiden.
  Entscheidend ist: Weil FABLE die Entscheidungen aufgeteilt hat (faktorisierte Struktur), hilft das Lernen, dass Sie „Web-Suche“ hassen, dem Coach zu verstehen, dass Sie die „Web-Suche“ wahrscheinlich auch in anderen Kontexten hassen werden, nicht nur bei diesem einen Mal.

Was das Papier herausgefunden hat

Die Autoren testeten FABLE auf einem Benchmark namens tau2-bench, der Kundenservice-Aufgaben in vier verschiedenen Welten simuliert: Airlines, Einzelhandel, Telekommunikation und Bankwesen. Sie testeten es auch bei mathematischen Problemen und Einkaufsaufgaben.

Hier ist das Urteil, direkt aus den Ergebnissen:

Es funktioniert für Präferenzen: FABLE war am besten darin, das abzubilden, was Nutzer wollten. In den Tests verbesserte es die „personalisierte Belohnung“ (wie sehr der Nutzer die Interaktion mochte) um +0,077 im Vergleich zum Standard-eingefrorenen Roboter. Es verbesserte auch die Abstimmung auf spezifische „Verbositäts“-Präferenzen (wie kurz gefasst vs. detailliert) deutlich um +0,281.
Es ist kein magischer Problemlöser: Hier ist der wichtige Punkt: FABLE hat die tatsächliche Erfolgsquote der Aufgaben nicht signifikant verbessert. Der Roboter wurde nicht besser darin, den Flug zu buchen oder das Matheproblem zu lösen, nur weil er personalisiert wurde. Tatsächlich war der Unterschied im Aufgabenerfolg so gering, dass die Autoren sagen, er sei „unentschieden“ (die Zahlen lagen zu nah beieinander, um eindeutig zu sein).
Der „Onboarding“-Boost: Das Papier fand heraus, dass es der Coach sehr hilft, wenn man ihm zu Beginn ein wenig Information über den Nutzer gibt (genannt „Onboarding“). Wenn sie diesen Schritt übersprangen, brauchte der Coach länger zum Lernen und performte schlechter.
Kein „Einheitsmodell“: Das Papier schließt explizit die Idee aus, dass diese Methode den Roboter besser in allem macht. Es macht den Roboter besser darin, Ihren Stil zu treffen, aber es macht ihn nicht unbedingt intelligenter bei der Kernaufgabe.

Das Fazit

FABLE ist eine clevere, leichtgewichtige Methode, um einen riesigen, unveränderlichen KI-Roboter so wirken zu lassen, als wäre er nur für Sie gebaut worden. Dies geschieht, indem er Ihre spezifischen Geschmäcker lernt (wie gesprächig er sein soll oder welche Werkzeuge Sie mögen), ohne jemals das Gehirn des Roboters zu berühren.

Das Papier ist jedoch sehr ehrlich über seine Grenzen. Es legt nahe, dass man zwar einen Roboter dazu bringen kann, eher wie ein persönlicher Assistent zu agieren, man sollte aber nicht erwarten, dass er plötzlich ein Genie bei der Lösung von Problemen wird, für die er nicht bereits gut war. Es ist ein großartiger Weg, um die Persönlichkeit des Agenten anzupassen, aber es ist kein Zauberstab, um die Intelligenz oder die Erfolgsquote der Aufgaben selbst zu verbessern.

Kurz gesagt: FABLE ist der perfekte Coach, um einem eingefrorenen Roboter beizubringen, zu Ihrer Musik zu tanzen, aber er wird dem Roboter nicht beibringen, einen Marathon zu laufen, wenn er nicht bereits ein Läufer ist.

Technisches Resümee: Personalisierung von Large Language Model Agents mit kleinen Policy-Modellen

Problemformulierung

Das Paper adressiert die Herausforderung, Large Language Model (LLM) Agents für einzelne Nutzer zu personalisieren, ohne das zugrunde liegende Host-Modell zu modifizieren. Während LLM-Agents in der Lage sind, Speicher abzurufen, Werkzeuge aufzurufen und Antwortstile anzupassen, bleibt die Anpassung dieser Ausführungsentscheidungen an spezifische Nutzerpräferenzen schwierig. Bestehende Ansätze stehen vor signifikanten Einschränkungen:

Feinabstimmung (Fine-tuning): Die Anpassung von Modellparametern pro Nutzer ist rechenintensiv und oft bei proprietären Black-Box-Systemen unmöglich.
Prompts und Gedächtnis (Memory): Diese Methoden legen Nutzerinformationen dem Agenten offen, passen aber nicht die Ausführungspolitik (Execution Policy) des Agenten an (z. B. wann Fragen gestellt werden oder wann Werkzeuge genutzt werden) basierend auf Feedback.
Ein-Mechanismus-Anpassung: Jüngste Methoden, die nur eine Komponente anpassen (z. B. Speicherabruf oder Werkzeugwahl), scheitern daran, ein einzelnes skalares Feedback-Signal (die Reaktion des Nutzers auf die gesamte Interaktion) über den gemeinsamen Raum der Ausführungsentscheidungen hinweg zuzuschreiben.

Die Kernschwierigkeit liegt im spärlichen Feedback (sparse feedback): Das System beobachtet ein skalares Ergebnis nur für die spezifische Kombination gewählter Ausführungsentscheidungen, während die Leistung alternativer Kombinationen unbeobachtet bleibt. Zudem muss das System harte Randbedingungen (z. B. Berechtigungen, Sicherheitsregeln) respektieren und Onboarding-Informationen als revidierbare Vorab-Evidenz statt als feste Regeln behandeln.

Die Autoren formulieren dies als ein Online-Lernproblem für eine nutzerspezifische Ausführungspolitik über einen faktorisierten Aktionsraum, begrenzt durch externe Zulässigkeitsmengen, wobei lediglich skalares Feedback für die gewählte Aktion beobachtet wird.

Methodik: FABLE

Die Autoren schlagen FABLE (Factorized Adaptive Bandit Layer for Execution) vor, eine leichtgewichtige Policy-Schicht, die außerhalb eines potenziell Black-Box-Host-Agents operiert. FABLE erfordert keinen Zugriff auf Host-Gewichte, Gradienten oder verborgene Zustände.

Kernkomponenten

Faktorisierter Aktionsraum: Eine Ausführungsentscheidung $a$ wird als Tupel $(m, \tau, s)$ definiert, welches Speicher-Modus, Informationsbeschaffungs-Modus und Antwortverhalten repräsentiert. Anstatt eine Policy über den vollen gemeinsamen Raum (der kombinatorisch groß ist) zu lernen, verwendet FABLE eine faktorisierte Feature-Map $\phi(c, a)$ . Diese Map enthält Haupteffekte für jede Komponente sowie paarweise Interaktionen, was es ermöglicht, dass Feedback aus einer gemeinsamen Aktion die Präferenzen für verwandte Komponenten aktualisiert (z. B. führt eine Abneigung gegen unnötige Klärungsfragen die Präferenz für „Klärung erfragen“ unabhängig vom Speicher-Modus an).
Residuales Präferenzmodell: Das erwartete Feedback wird modelliert als:
$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$
wobei $\bar{b}(c, a)$ ein bekannter, vordefinierter Standardwert abzüglich eines operativen Kostenfaktors ist und $\theta^*$ die nutzerspezifische Residual-Präferenz darstellt. Dieser Ansatz ermöglicht es dem System, das nützliche generische Verhalten des Hosts beizubehalten und nur die Abweichung des Nutzers davon zu lernen.
Revidierbares Onboarding: Während des Onboardings bereitgestellte Nutzerpräferenzen werden als Präzisions-Pseudo-Beobachtungen mit endlicher Genauigkeit behandelt. Sie initialisieren die Gaußsche Posterior-Verteilung über $\theta$ , fixieren die Policy jedoch nicht. Sobenviel Online-Feedback eintrifft, aktualisiert sich die Posterior-Verteilung, was dem System erlaubt, initiale Annahmen zu revidieren.
Zulässigkeitsbeschränkte Thompson-Sampling:
- Filterung: Vor der Auswahl entfernt ein externer Filter unzulässige Aktionen basierend auf harten Constraints (Berechtigungen, Werkzeugverfügbarkeit).
- Sampling: FABLE sampelt einen residualen Parameter $\tilde{\theta}_t$ aus der aktuellen Gaußschen Posterior-Verteilung (skaliert durch einen kalibrierten Faktor $\nu_t$ ) und wählt die Aktion $a_t$ , die den erwarteten Score innerhalb der zulässigen Menge $A_t$ maximiert.
- Update: Nach der Ausführung wird das residuale Feedback zur Aktualisierung der Gaußschen Posterior-Verteilung mittels konjugierter Updates verwendet.
Promotionsregel: Gelernte Präferenzen können nur dann als persistente Regeln an den Host zurückgeschrieben werden, wenn eine jederzeit gültige Konfidenzsequenz den Wert Null ausschließt, wodurch sichergestellt wird, dass nur statistisch signifikante Präferenzen implementiert werden.

Theoretische Ergebnisse

Das Paper etabliert eine zulässigkeits-orakelbasierte Regret-Garantie (feasible-oracle regret guarantee) für FABLE unter einem linearen Residual-Feedback-Modell.

Regret-Bound: Mit einer theoretisch kalibrierten Gaußschen Sampling-Skala $\nu_t = \sqrt{9d \log(t/\delta)}$ erreicht FABLE ein High-Probability-Regret von $\tilde{O}(d^{3/2}\sqrt{n})$ gegenüber der besten zulässigen Aktion in jeder Runde.
Identifizierbarkeit: Die Autoren charakterisieren, welche Präferenzrichtungen identifizierbar bleiben, wenn Zulässigkeitsbeschränkungen bestimmte Aktionen dauerhaft ausschließen, und merken an, dass Präferenzen, die Vergleiche ausgeschlossener Komponenten erfordern, nicht allein aus Online-Daten gelernt werden können.

Experimentelle Evaluierung

FABLE wurde auf einem vierdomänen-basierten tau2-bench Protokoll (Airline, Retail, Telecom, Banking Knowledge) evaluiert, das ausführbare Werkzeug-Nutzungsaufgaben umfasst.

Kernergebnisse

Personalisierte Belohnung und Alignment: Die vollständige FABLE-Policy erreichte die höchste beobachtete personalisierte Belohnung und die synthetische Verbositäts-Alignment unter allen getesteten Policies. Im Vergleich zum Host-Baseline zeigte sie signifikante Gewinne in der personalisierten Belohnung (+0,077) und im Alignment (+0,281) mit positiven 95%-Konfidenzintervallen.
Aufgabenerfolg (Task Success): FABLE kam mit dem eingefrorenen Host hinsichtlich des höchsten mittleren Aufgabenerfolgs gleich. Die Verbesserung gegenüber dem Host war jedoch nicht statistisch signifikant (95% KI enthielt Null). Das Paper stellt fest, dass der Aufgabenerfolg je nach Domäne variierte (niedriger bei Airline, gleichauf bei Retail, höher bei Telecom und Banking).
Ablationsstudien:
- Faktorisierung: Im Vergleich zu einem flachen, vollständigen Aktionsraum-LinTS zeigte die Faktorisierung, dass sie das Alignment signifikant verbesserte, was den Informationstransfer über Aktionskomponenten hinweg stützt.
- Onboarding: Das Entfernen des Onboardings führte zum größten Leistungsabfall, was den Wert der Initialisierung der residualen Koordinaten mit Vorab-Evidenz bestätigt.
- Online-Adaption: Der Vergleich von vollem FABLE mit einer „eingefrorenen“ Version (keine Online-Updates) zeigte, dass die Online-Adaption das Alignment verbesserte, während der Aufgabenerfolg vergleichbar blieb.
Zusätzliche Benchmarks: Experimente auf PAHF (Embodied Manipulation und Online Shopping) und Math500 (personalisiertes Reasoning) zeigten gemischte Ergebnisse. In der Embodied Manipulation erreichte FABLE (voll) eine geringere Belohnung (0,6214 vs. 0,6470), aber einen höheren Erfolg (0,078 vs. 0,052) als FABLE (ohne Onboarding), was darauf hindeutet, dass der relative Nutzen der Komponenten je nach Umgebung variiert. Beim Online Shopping übertraf FABLE (voll) FABLE (ohne Onboarding) sowohl in Belohnung als auch im Erfolg. Auf Math500 hielten FABLE (voll) und FABLE (ohne Onboarding) beim höchsten Genauigkeitsniveau gleich, wobei FABLE (voll) ein geringeres Alignment als die „Known Preference“-Baseline aufwies.

Bedeutung und Ansprüche

Das Paper behauptet, dass FABLE einen fundierten Rahmen zur Personalisierung eingefrorener Black-Box-Agents bietet, indem es die Ausführungssteuerung als ein beschränktes kontextuelles Bandit-Problem behandelt. Seine Bedeutung liegt in:

Entkopplung der Personalisierung von der Modellabstimmung: Es ermöglicht die nutzerspezifische Anpassung ohne Feinabstimmung des Host-LLMs, was die Anwendung auf proprietäre Systeme ermöglicht.
Umgang mit spärlichem gemeinsamem Feedback: Durch die Faktorisierung des Aktionsraums und die Modellierung residualer Präferenzen lernt es effizient aus spärlichem skalarer Feedback, das die gesamte Interaktion bewertet.
Sicherheit und Constraints: Es erzwingt rigoros externe Zulässigkeitsbeschränkungen vor der Exploration, um sicherzustellen, dass Sicherheit und Compliance niemals durch den Lernprozess gefährdet werden.
Bescheidene Ansprüche: Die Autoren betonen explizit, dass FABLE zwar die präferenzsensitiven Metriken (Belohnung und Alignment) in spezifischen Kontexten verbessert, die Experimente jedoch nicht belegen, dass eine statistisch signifikante Verbesserung des allgemeinen Aufgabenerfolgs oder ein einheitlicher Gewinn auf Domänenebene vorliegt. Die Ergebnisse unterstützen die kontrollierte Anpassung der synthetischen Verbosität und die ausführbare Integration, beanspruchen aber keine universelle Überlegenheit über alle Metriken oder Benchmarks; bezeichnenderweise variierten die Leistungsrankings auf PAHF signifikant zwischen den Umgebungen und Ablationsbedingungen.

Die Arbeit zeigt, dass eine kleine, externe Policy-Schicht effektiv Nutzerpräferenzen lernen und anpassen kann, wodurch die Lücke zwischen statischen Agent-Fähigkeiten und dynamischen Nutzerbedürfnissen geschlossen wird.