🤖 AI

Personalizing Large Language Model Agents with Small Policy Models

Het artikel introduceert FABLE, een lichtgewicht, gefactoriseerde beleidslaag die de online personalisatie van bevroren large language model agents mogelijk maakt door gebruikersspecifieke uitvoerpreferenties te leren van scalaire feedback via Bayesiaanse contextuele Thompson sampling, waardoor voorkeursgevoelige gedragingen worden verbeterd zonder kostbare fine-tuning.

Oorspronkelijke auteurs: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een superintelligente robot die bijna alles weet. Deze robot is als een gigantische bibliotheek die kan lezen, schrijven en zelfs hulpmiddelen kan gebruiken zoals een webbrowser of een rekenmachine. Maar hier komt de crux: de robot is "bevroren". Je kunt niet de hersenen van de robot herschrijven of de persoonlijkheid veranderen, omdat het te groot is, te duur is, of omdat een bedrijf de code niet wil laten aanraken. Hoe maak je die enorme, onveranderlijke robot dan tot jouw persoonlijke assistent?

Dit is het puzzelstukje van Large Language Model (LLM) agents. Dit zijn AI-systemen die niet alleen chatten, maar ook acties ondernemen, zoals het zoeken naar vliegtickets of het controleren van een agenda. Het probleem is dat, hoewel de robot slim is, hij jouw specifieke stijl niet kent. Misschien haat jij lange uitleg en wil je snelle antwoorden, terwijl je vriend juist houdt van gedetailleerde stappenplannen. Normaal gesproken zou je dit oplossen door de robot te "fine-tunen", wat lijkt op het proberen te hertrainen van een hele olifant om hem een nieuwe danspas te leren. Dat is zwaar, duur en vaak onmogelijk.

Het artikel dat je gaat lezen, pakt dit aan door de vraag te stellen: Kunnen we een bevroren robot leren om zich aan ons aan te passen zonder de hersenen te veranderen? De auteurs stellen een slimme truc voor: in plaats van de robot te veranderen, bouwen we een kleine, lichtgewicht "coach" die buiten de robot staat. Deze coach observeert wat de robot doet, luistert naar jouw feedback (zoals een duimpje omhoog of omlaag) en leert hoe hij de robot subtiel kan sturen naar de keuzes die jij verkiest. Het is alsof je een persoonlijke trainer hebt die een enorme, onbeweeglijke standbeeld precies vertelt hoe hij zijn hoofd moet kantelen om naar jou te kijken, zonder ooit nieuwe spieren in de steen te willen beitelen.

Het Probleem: De Robot die Niet Luistert

Stel je voor dat je een reisagent-robot vraagt om een reis te plannen.

Gebruiker A zegt: "Bekijk mijn eerdere reizen, zoek de huidige prijzen op en vraag het me voordat je iets boekt."
Gebruiker B zegt: "Kijk niet naar mijn geschiedenis, geef me gewoon direct het goedkoopste vlucht ticket, zonder vragen te stellen."

Als de robot bevroren is, kan hij deze verschillen niet gemakkelijk leren. Hij zal misschien maar wat gokken. Als je probebt te zeggen "Ik haat vragen", kun je dat in een prompt schrijven, maar de robot kan het later vergeten of negeren. Als je probeert de hele robot te hertrainen, kost dat een fortuin. Het artikel betoogt dat bestaande methoden ofwel proberen de robot te veranderen (te moeilijk), ofwel gewoon een lijst met regels geven (te rigide). Ze leren niet echt van jouw reacties in realtime.

De Oplossing: FABLE, de Kleine Coach

De auteurs introduceren FABLE (Factorized Adaptive Bandit Layer for Execution). Zie FABLE als een slimme, kleine laag software die tussen jou en de gigantische bevroren robot zit. Het raakt de hersenen van de robot niet aan; het beslist alleen hoe de robot voor jou moet handelen.

Zo werkt FABLE, met een paar leuke analogieën:

Het Gefactoriseerde Menu (Het Opdelen):
Wanneer de robot besluit wat hij gaat doen, maakt hij eigenlijk drie aparte keuzes tegelijkertijd:
- Geheugen: Moet ik naar je eerdere chats kijken?
- Tools: Moet ik een zoekmachine gebruiken of gewoon gokken?
- Stijl: Moet ik direct zijn, amicaal of om verduidelijking vragen?
Een "plat" model zou proberen elke enkele combinatie van deze keuzes te leren (bijv. "Geheugen + Zoekmachine + Amicaal" is één ding, "Geheugen + Geen Zoekmachine + Direct" is iets anders). Dat is alsof je probeert elk mogelijk gerecht uit een menu te onthouden van een restaurant met 1.000 ingrediënten. FABLE is slimmer. Het breekt het menu af. Het leert dat jij over het algemeen een "amicale" stijl haat, ongeacht of je nu geheugen of tools gebruikt. Het leert de ingrediënten van jouw voorkeur apart, wat het leren veel sneller maakt.
De Residuele Score (De "Extra" Smaak):
De bevroren robot heeft al een "standaard" manier van handelen. Misschien is de standaard om heel beleefd en gedetailleerd te zijn. FABLE probeert die beleefdheid niet opnieuw te leren. In plaats daarvan leert het alleen de residuele waarde — het extra beetje dat de robot van jou maakt. Als de robot van nature voor 80% beleefd is, leert FABLE dat jij wilt dat hij 10% minder beleefd is. Het is als het kruiden van een kant-en-klare soep; je kookt de soep niet vanaf nul, je voegt alleen de specifieke snuf zout toe die jij lekker vindt.
Het Veiligheidsfilter (De Uitsmijter):
Soms kun je bepaalde dingen niet doen. Misschien heb je geen toegang tot je bankrekening, of is de tool kapot. FABLE heeft een "uitsmijter" die de regels controleert voordat er een keuze wordt gemaakt. Het zegt: "Oké, we kunnen de bank-tool vandaag niet gebruiken, dus laten we kiezen uit de lijst met dingen die we wel kunnen doen." Dit zorgt ervoor dat de robot nooit de regels overtreedt, zelfs terwijl hij aan het leren is.
De Bayesiaanse Coach (Leren van Duimpje Omhoog/Omlaag):
FABLE gebruikt een methode genaamd Bayesian Thompson Sampling. Stel je voor dat de coach een vermoeden heeft over wat jij leuk vindt. De coach probeert een keuze. Jij geeft een klein signaal (een scalaire feedback, zoals een score van -1 tot 1). De coach werkt zijn vermoeden bij.
- Als je de "beknopte" stijl leuk vond, wordt de coach iets zelfverzekerder dat je van beknopte stijlen houdt.
- Als je de "web search" tool haatte, leert de coach deze te vermijden.
  Cruciaal is dat omdat FABLE de keuzes heeft opgedeeld (gefactoriseerd), helu het leren dat je "web search" haat, de coach ook helpt begrijpen dat je waarschijnlijk "web search" in andere contexten ook haat, niet alleen de ene keer dat het werd geprobeerd.

Wat het Papier Vond

De auteurs testten FABLE op een benchmark genaand tau2-bench, die klantenservice-taken simuleert in vier verschillende werelden: Airlines, Retail, Telecom en Banking. Ze testten het ook op wiskundeproblemen en winkelopdrachten.

Hier is het oordeel, rechtstreeks uit de resultaten:

Het Werkt voor Voorkeuren: FABLE was het beste in het matchen van wat gebruikers wilden. In de tests verbeterde het de "gepersonaliseerde beloning" (hoeveel de gebruiker de interactie waardeerde) met +0,077 vergeleken met de standaard bevroren robot. Het werd ook veel beter in het matchen van specifieke "verbositeit"-voorkeuren (zoals beknopt versus gedetailleerd zijn), waarbij de afstemming verbeterde met +0,281.
Het is Geen Magische Taakoplosser: Hier is het belangrijke deel: FABLE verbeterde de daadwerkelijke succesratio van de taken niet significant. De robot werd niet beter in het boeken van de vlucht of het oplossen van het wiskundeprobleem enkel omdat hij werd gepersonaliseerd. Sterker nog, het verschil in taaksucces was zo klein dat de auteurs zeggen dat het "onopgelost" is (de cijfers lagen te dicht bij elkaar om een definitieve conclusie te treken).
De "Onboarding" Boost: Het artikel vond dat het geven van een beetje initiële informatie over de gebruiker aan de coach (genaamd "onboarding") veel hielp. Als ze deze stap oversloegen, deed de coach er langer over om te leren en presteerde hij slechter.
Geen "One-Size-Fits-All": Het artikel sluit expliciet de mogelijkheid uit dat deze methode de robot beter maakt in alles. Het maakt de robot beter in het passen bij jouw stijl, maar het maakt hem niet noodzakelijkerwijs slimmer in de kern van de taak.

De Kernboodschap

FABLE is een slimme, lichtgewicht manier om een gigantische, onveranderlijke AI-robot het gevoel te geven dat hij speciaal voor jou is gebouwd. Dit doet het door jouw specifieke smaak te leren (zoals hoe amicaal je wilt dat hij is of welke tools je leuk vindt) zonder ooit de hersenen van de robot aan te raken.

De auteurs zijn echter ook heel eerlijk over de beperkingen. Ze suggereren dat hoewel je een robot meer als je persoonlijke assistent kunt laten handelen, je niet moet verwachten dat hij plotseling een genie wordt in het oplossen van problemen waar hij voorheen niet goed in was. Het is een geweldige manier om de persoonlijkheid van de agent aan te passen, maar het is geen toverstaf om de intelligentie of het succespercentage van de taken zelf te verbeteren.

Kortom: FABLE is de perfecte coach om een bevroren robot te leren hoe hij naar jouw muziek moet dansen, maar hij zal de robot niet leren hoe hij een marathon moet lopen als de robot niet al een hardloper was.

Technische Samenvatting: Personalisatie van Large Language Model Agents met Kleine Beleidsmodellen

Probleemformulering

Het artikel behandelt de uitdaging om Large Language Model (LLM) agents te personaliseren voor individuele gebruikers zonder het onderliggende host-model aan te passen. Hoewel LLM-agents geheugen kunnen ophalen, tools kunnen aanroepen en responstijlen kunnen aanpassen, blijft het lastig om deze uitvoeringsbeslissingen aan te passen aan specifieke gebruikersvoorkeuren. Bestaande benaderingen kampen met aanzienlijke beperkingen:

Fine-tuning: Het aanpassen van modelparameters per gebruiker is computationeel kostbaar en vaak onmogelijk voor propriëtaire, black-box systemen.
Prompts en Geheugen: Deze methoden stellen gebruikersinformatie bloot aan de agent, maar passen het uitvoeringsbeleid van de agent (bijv. wanneer vragen te stellen, wanneer tools te gebruiken) niet aan op basis van feedback.
Single-Mechanism Adaptation: Recente methoden die slechts één component aanpassen (bijv. geheugenretrieval of toolselectie) falen in het toeschrijven van een enkel scalaire feedbacksignaal (de reactie van de gebruiker op de gehele interactie) over de gezamenlijke ruimte van uitvoeringsbeslissingen.

De kern van de moeilijkheid is sparse feedback: het systeem observeert een scalaire uitkomst alleen voor de specifie�elijke combinatie van gekozen uitvoeringsbeslissingen, terwijl de prestaties van alternatieve combinaties ongeobserveerd blijven. Boveraan moet het systeem rekening houden met harde beperkingen (bijv. permissies, veiligheidsregels) en onboarding-informatie behandelen als herzienbare voorkennis in plaats van vaste regels.

De auteurs formuleren dit als een online leerprobleem voor een per-gebruiker uitvoeringsbeleid over een gefactoriseerde actieruimte, beperkt door externe haalbaarheidsverzamelingen, waarbij uitsluitend gebruik wordt gemaakt van scalaire feedback die wordt geobserveerd voor de geselecteerde actie.

Methodologie: FABLE

De auteurs stellen FABLE voor (Factorized Adaptive Bandit Layer for Execution), een lichtgewicht beleidslaag die opereert buiten een potentieel black-box host-agent. FABLE vereist geen toegang tot host-gewichten, gradiënten of verborgen toestanden.

Kerncomponenten

Gefactoriseerde Actieruimte: Een uitvoeringsbeslissing $a$ wordt gedefinieerd als een tuple $(m, \tau, s)$ die een geheugenmodus, informatieverwervingsmodus en responsgedrag vertegenwoordigt. In plaats van een beleid te leren over de volledige gezamenlijke ruimte (die combinatorisch groot is), gebruikt FABLE een gefactoriseerde feature map $\phi(c, a)$ . Deze map bevat hoofdeffecten voor elke component en paarinteracties, waardoor feedback van één gezamenlijke actie de voorkeuren voor gerelateerde componenten kan bijwerken (bijv. een afkeer van onnodige verduidelijking werkt de voorkeur voor "verduidelijking vragen" bij, ongeacht de geheugeninstelling).
Residueel Voorkeursmodel: De verwachte feedback wordt gemodelleerd als:
$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$
waarbij $\bar{b}(c, a)$ een bekende, vooraf gespecificeerde standaardscore minus een operationele kostenpost is, en $\theta^*$ de gebruikersspecifieke residuele voorkeur vertegenwoordigt. Deze aanpak stelt het systeem in staat de nuttige generieke gedragingen van de host te behouden, terwijl alleen de afwijking van de gebruiker wordt geleerd.
Herzienbare Onboarding: Gebruikersvoorkeuren die tijdens onboarding worden verstrekt, worden behandeld als eindige-precisie pseudo-observaties. Ze initialiseren de Gaussische posterior over $\theta$ , maar fixeren het beleid niet. Naarmate online feedback binnenkomt, wordt de posterior bijgewerkt, waardoor het systeem initiële aannames kan herzien.
Haalbaarheidsbeperkte Thompson Sampling:
- Filtering: Vóór selectie verwijdert een externe filter onaanvaardbare acties op basis van harde beperkingen (permissies, beschikbaarheid van tools).
- Sampling: FABLE samplet een residuele parameter $\tilde{\theta}_t$ uit de huidige Gaussische posterior (geschaald door een gekalibreerde factor $\nu_t$ ) en selecteert de actie $a_t$ die de verwachte score maximaliseert binnen de haalbare verzameling $A_t$ .
- Update: Na uitvoering wordt de residuele feedback gebruikt om de Gaussische posterior bij te werken via conjunctieve updates.
Promotieregel: Geleerde voorkeuren kunnen alleen worden teruggeschreven naar de host als een persistente regel als een anytime-geldige betrouwbaarheidssequentie nul uitsluit, wat garandeert dat alleen statistisch significante voorkeuren worden gepromoot.

Theoretische Resultaten

Het artikel stelt een feasible-oracle regret guarantee vast voor FABLE onder een lineair residueel-feedbackmodel.

Regret Bound: Met een theoretisch gekalibreerde Gaussische samplingschaal $\nu_t = \sqrt{9d \log(t/\delta)}$ bereikt FABLE een hoge-waarschijnlijkheid regret van $\tilde{O}(d^{3/2}\sqrt{n})$ ten opzichte van de beste haalbare actie in elke ronde.
Identificeerbaarheid: De auteurs karakteriseren welke voorkeursrichtingen identificeerbaar blijven wanneer haalbaarheidsbeperkingen bepaalde acties persistent uitsluiten, waarbij zij opmerken dat voorkeuren die vergelijkingen van uitgesloten componenten vereisen, niet alleen uit online data geleerd kunnen worden.

Experimentele Evaluatie

FABLE werd geëvalueerd op een vier-domein tau2-bench protocol (Airline, Retail, Telecom, Banking Knowledge) bestaande uit uitvoerbare tool-gebruikstaken.

Belangrijkste Bevindingen

Gepersonaliseerde Beloning en Alignment: Het volledige FABLE-beleid behaalde de hoogste geobserveerde gepersonaliseerde beloning en synthetische verbositeit-alignment van alle geteste beleidsregels. Vergeleken met de host-baseline vertoonde het significante winsten in gepersonaliseerde beloning (+0,077) en alignment (+0,281) met positieve 95%-betrouwbaarheidsintervallen.
Taaksucces: FABLE blonk even goed uit als de bevroren host voor het hoogste gemiddelde taaksucces. Echter, de verbetering ten opzichte van de host was niet statistisch significant (95% CI bevatte nul). Het artikel merkt op dat taaksucces varieerde per domein (lager op Airline, gelijk op Retail, hoger op Telecom en Banking).
Ablatie-studies:
- Factorisatie: Bij het vergelijken van FABLE met een platte, volledige-actie LinTS, bleek dat factorisatie de alignment aanzienlijk verbeterde, wat de transfer van informatie tussen actiecomponenten ondersteunt.
- Onboarding: Het verwijderen van onboarding resulteerde in de grootste prestatiedaling, wat de waarde bevestigt van het initialiseren van de residuele coördinaten met voorkennis.
- Online Adaptatie: Het vergelijken van volledige FABLE met een "bevroren" versie (geen online updates) liet zien dat online adaptatie de alignment verbeterde, hoewel het taaksucces vergelijkbaar bleef.
Aanvullende Benchmarks: Experimenten op PAHF (Embodied Manipulation en Online Shopping) en Math500 (gepersonaliseerde redenering) toonden gemengde resultaten. In Embodied Manipulation behaalde FABLE (volledig) een lagere beloning (0,6214 vs. 0,6470) maar een hoger succes (0,078 vs. 0,052) dan FABLE (geen onboarding), wat aangeeft dat het relatieve voordeel van componenten varieert per omgeving. In Online Shopping presteerde FABLE (volledig) beter dan FBLE (geen onboarding) op zowel beloning als succes. Op Math500 behaalden FABLE (volledig) en FABLE (geen onboarding) een gelijkwaardige nauwkeurigheid, hoewel FABLE (volledig) een lagere alignment had dan de "Known Preference" baseline.

Betekenis en Claims

Het artikel beweert dat FABLE een principieel kader biedt voor het personaliseren van bevroren, black-box agents door de uitvoeringcontrole te behandelen als een beperkt contextueel banditprobleem. De betekenis ligt in:

Ontkoppeling van Personalisatie van Model Tuning: Het maakt per-gebruiker adaptatie mogelijk zonder het host-LLM te finetunen, wat het toepasbaar maakt voor propriëtaire systemen.
Omgaan met Sparse Joint Feedback: Door de actieruimte te factoriseren en residuele voorkeuren te modelleren, leert het efficiënt van schaarse scalaire feedback die de gehele interactie evalueert.
Veiligheid en Beperkingen: Het handhaaft strikt externe haalbaarheidsbeperkingen vóór exploratie, zodat veiligheid en naleving nooit in gevaar komen door het leerproces.
Bescheiden Claims: De auteurs geven expliciet aan dat hoewel FABLE de voorkeurgevoelige metrieken (beloning en alignment) in specifieke contexten verbetert, de experimenten niet vaststellen dat er een statistisch significante verbetering is in algemeen taaksucces of uniforme winst op domeinniveau. De resultaten ondersteunen gecontroleerde synthetische verbositeit-adaptatie en uitvoerbare integratie, maar claimen geen universele superioriteit over alle metrieken of benchmarks; opvallend genoeg varieerden de prestatierangschikkingen op PAHF aanzienlijk tussen omgevingen en ablatiecondities.

Het werk toont aan dat een kleine, externe beleidslaag effectief kan leren en adapteren aan gebruikersvoorkeuren, waarmee de kloof tussen statische agent-capaciteiten en dynamische gebruikersbehoeften wordt overbrugd.