🤖 machine learning

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

Dit artikel toont aan dat superviserend fijnafstemmen van voorgeöorde grote taalmodellen op offline, door orakels gelabelde trajecten hun in-context leervermogen voor sequentiële besluitvorming over MDP's, POMDP's en APOMDP's aanzienlijk verbetert, wat resulteert in aanzienlijk kleinere optimaliteitsgaten dan basismethoden, met name in complexe, lang-horizontale en deels waarneembare omgevingen.

Oorspronkelijke auteurs: Minmin Zhang, Sina Aghaei, Soroush Saghafian

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minmin Zhang, Sina Aghaei, Soroush Saghafian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, goed gelezen bibliothecaris hebt (het Large Language Model of LLM). Deze bibliothecaris heeft bijna elk boek ter wereld gelezen en is ongelooflijk slim. Ze heeft echter nooit echt een videospelletje gespeeld of een complexe strategie beheerd. Ze kent de theorie, maar heeft de specifieke zetten die nodig zijn om te winnen, niet geoefend.

Dit artikel vraagt zich af: Hoe leren we deze bibliothecaris een reeks slimme beslissingen te nemen in een nieuw, lastig spel, met slechts een paar voorbeelden?

Hieronder volgt de uiteenzetting van de aanpak en bevindingen van het artikel, met gebruikmaking van eenvoudige analogieën:

1. De Uitdaging: De "One-Shot" versus de "Coach"

Meestal, als je wilt dat de bibliothecaris een spel speelt, laat je haar misschien gewoon een paar voorbeelden zien van iemand anders die speelt (dit heet In-Context Learning).

Het Probleem: Als het spel simpel is, doet de bibliothecaris het redelijk. Maar als het spel lang, verwarrend is of verborgen regels heeft (zoals een mistig slagveld waar je de vijand niet kunt zien), raakt de bibliothecaris de weg kwijt. Ze raadt misschien de verkeerde zet omdat ze de voorbeelden op dat moment alleen maar "leest" zonder de onderliggende strategie echt te begrijpen.

2. De Oplossing: De "Intensieve Coachingscampus" (Supervised Fine-Tuning)

In plaats van de bibliothecaris net voor het begin van het spel slechts een paar voorbeelden te laten zien, zetten de auteurs de bibliothecaris door een coachingscampus.

De Methode: Ze nemen een enorme bibliotheek aan video's van "perfect spel" (trajecten) waar een expert (een "orakel") het spel al heeft gewonnen. Ze voeden deze video's aan de bibliothecaris en zeggen: "Leer het patroon van hoe de expert denkt en handelt."
De Twist: Ze trainen de bibliothecaris niet vanaf nul (wat zou zijn als het leren lezen aan een peuter). In plaats daarvan gebruiken ze een techniek genaamd QLoRA (een "slimme adapter"). Denk hierbij aan het geven van een speciale bril of een specifiek spelplan aan de bibliothecaris die haar bestaande kennis net genoeg aanpast om dit nieuwe type spel te beheersen, zonder haar hele hersenen te herschrijven.

3. De Drie Geteste Spelsoorten

De onderzoekers testten deze coachingsmethode op drie soorten beslissingsscenario's, die steeds moeilijker werden:

MDP (De Duidelijke Kamer): Stel je een spel voor waar je alles perfect kunt zien. Je weet precies waar je bent en wat er zal gebeuren als je links of rechts beweegt.
- Resultaat: De gecoachte bibliothecaris was veel beter dan de ongecoachte, vooral in lange spellen.
POMDP (De Mistige Kamer): Stel je hetzelfde spel voor, maar nu is er een dikke mist. Je kunt het hele bord niet zien; je ziet alleen een klein stukje om je heen. Je moet raden waar de vijand is op basis van beperkte aanwijzingen.
- Resultaat: De coaching hielp de bibliothecaris om veel beter met de mist om te gaan. De ongecoachte bibliothecaris raakte snel in de war, maar de gecoachte leerde te vertrouwen op haar "buikgevoel" (het patroon dat ze tijdens de training had geleerd).
APOMDP (De Mistige Kamer met een Trickster): Dit is het moeilijkste niveau. Niet alleen is er mist, maar de regels van het spel kunnen iets anders zijn, afhankelijk van wie de simulatie uitvoert. Het is alsof je een spel speelt waarbij de fysica elke keer dat je speelt iets anders kan zijn.
- Resultaat: De gecoachte bibliothecaris presteerde nog steeds beter dan iedereen. Ze leerde robuust genoeg om de onzekerheid en de "trickster"-regels het hoofd te bieden.

4. Het "Waarom" (De Theorie)

De auteurs zeiden niet alleen "het werkt"; ze probeerden waarom het werkt uit te leggen met wiskunde.

De Analogie: Ze vergeleken het aandachtsmechanisme van de bibliothecaris (hoe het zich richt op delen van de tekst) met een rekenmachine.
Wanneer de bibliothecaris "gecoacht" wordt (gefine-tuned), leert ze haar aandachtslaag te gebruiken om stiekem de "beste zet" (een Q-functie) te berekenen op basis van de paar voorbeelden die je haar tijdens het spel laat zien.
Ze bewezen wiskundig dat de fouten van de bibliothecaris uit twee bronnen komen:
1. Verwarring door de paar voorbeelden: Als je haar slechts één slecht voorbeeld laat zien, raakt ze in de war.
2. Bias door de training: Als de "coachingscampus" niet lang genoeg was, heeft ze misschien een shortcut geleerd die niet perfect is.
- Het artikel toont aan dat door te trainen op voldoende video's van "perfect spel", je deze fouten kunt minimaliseren.

5. De Resultaten

Beter dan Willekeurig: De gecoachte bibliothecaris gokte niet zomaar; ze speelde strategisch.
Beter dan "Gewoon Lezen": De gecoachte bibliothecaris versloeg de bibliothecaris die alleen voorbeelden kreeg te zien net voor het spel (In-Context Learning).
De Grote Overwinning: De coaching hielp het meest in de moeilijkste situaties: lange spellen, mistige omgevingen en spellen met lastige, veranderende regels. In sommige lange spellen halveerde de gecoachte bibliothecaris het "foutpercentage" in vergelijking met de ongecoachte versie.

Samenvatting

Het artikel toont aan dat als je een slimme, vooraf getrainde AI neemt en haar een specifieke "coachingscampus" geeft met offline data (video's van perfect spel), deze een meester wordt in sequentiële besluitvorming. Het leert om veel beter om te gaan met langetermijnplanning, verborgen informatie en onzekere regels dan wanneer je haar gewoon vraagt het "ter plekke" uit te zoeken.

Opmerking over Scope: De auteurs hebben dit specifiek getest op synthetische spellen (gesimuleerde omgevingen zoals energiebeheer of grid-werelden). Hoewel ze vermelden dat dit zou kunnen nuttig zijn voor real-world velden zoals gezondheidszorg (waar data overvloedig is maar experimenten duur zijn), presenteert het artikel zelf alleen resultaten van deze gesimuleerde spellen. Ze hebben dit in deze studie niet getest op echte patiënten of echte ziekenhuisdata.

Technische Samenvatting: Grote Taalmodellen voor Sequentiële Besluitvorming via Supervised Fine-Tuning

Probleemstelling

Sequentiële besluitvorming onder onzekerheid is cruciaal in hoog-risicodomeinen zoals klinische behandelplanning en resource management. Hoewel Dynamische Behandelregimes (DTR's) een kader bieden voor het leren uit observationele data, vertrouwen ze vaak op de sterke aanname van sequentiële ignorantie (alle verstorende factoren zijn observeerbaar). In werkelijkheid vereisen niet-observeerbare verstorende factoren Ambigue Dynamische Behandelregimes (ADTR's), die beleidsplannen evalueren tegen een set plausibele modellen (modelambiguïteit) in plaats van tegen één enkel model. Dit komt overeen met Ambigue Gedeeltelijk Observeerbare Markov Beslissingsprocessen (APOMDP's).

Hoewel Grote Taalmodellen (LLM's) opmerkelijke In-Context Learning (ICL)-capaciteiten hebben aangetoond, is hun toepassing op sequentiële besluitvorming beperkt gebleven. Eerder werk traint doorgaans transformers van scratch, richt zich op volledig observeerbare Markov Beslissingsprocessen (MDP's) en negeert de uitdagingen van gedeeltelijke observeerbaarheid en modelambiguïteit die in real-world settings voorkomen. Dit artikel adresseert de kloof in het benutten van voorgeprende LLM's voor sequentiële besluitvorming in MDP's, POMDP's en APOMDP's met behulp van offline, door een orakel gelabelde data.

Methodologie

De auteurs stellen een kader voor dat Supervised Fine-Tuning (SFT) aanpast om voorgeprende LLM's in staat te stellen few-shot sequentiële besluitvorming uit te voeren.

1. Kaderoverzicht

In plaats van een transformer van scratch te trainen, fine-tunen de auteurs een open-source voorgeprende LLM (specifiek Llama-2-7B) met behulp van parameter-efficiënte QLoRA (Quantized Low-Rank Adapters). Het model wordt getraind op offline trajecten gegenereerd door een optimaal (of bijna optimaal) actie-orakel.

Training: Het model leert de volgende actietoken te voorspellen gegeven een geschiedenis van observaties, acties en beloningen, gesequenced in een tekstformaat. De verliesfunctie is de standaard next-token prediction loss over deze gesequencede trajecten.
Inferentie: Tijdens de testfase krijgt het model een few-shot context (demonstratietrajecten van een nieuwe taak) en de huidige geschiedenis. Het genereert acties voor de nieuwe taak zonder verdere parameterupdates, en fungeert effectief als een beleid dat is geconditioneerd op de in-context voorbeelden.

2. Theoretische Analyse

Het artikel biedt een theoretische analyse met focus op lineaire MDP's om te begrijpen waarom SFT de prestaties verbetert.

Interpretatie: De auteurs interpreteren een getrainde lineaire self-attention (LSA)-laag als een impliciete schatting van de parameters van de optimale Q-functie uit in-context data.
Suboptimaliteitsgrens: Zij leiden een end-to-end suboptimaliteitsgrens af voor het gegenereerde beleid. Deze grens decomposeert de fout in twee distincte componenten:
1. In-context schattingsfout: Neemt af naarmate het aantal few-shot support-trajecten ( $K_{test}$ ) toeneemt.
2. Training-length bias: Neemt af naarmate het aantal trainingstrajecten ( $K$ ) toeneemt.
Kerninzicht: De analyse suggereert dat hoewel het verhogen van support-trajecten helpt bij het schatten van de specifieke taak, het vergroten van het volume aan trainingsdata de bias reduceert die wordt geïntroduceerd door de eindige lengte van het trainingssequens, wat cruciaal is voor taken met een lange horizon.

Belangrijkste Bijdragen

SFT-kader voor Sequentiële Besluitvorming: De auteurs introduceren een methode om voorgeprende LLM's te fine-tunen op offline trajecten, waardoor ze in staat worden gesteld te generaliseren naar nieuwe taken via few-shot demonstraties zonder aanvullende parameterupdates.
Benutting van Offline Orakeldata: Het kader maakt gebruik van offline datasets gecombineerd met een optimaal actie-orakel om hoogwaardige trainingsstrajecten te synthetiseren. Dit is bijzonder relevant voor domeinen zoals gezondheidszorg waar experimenten kostbaar of onethisch zijn, en waar expert-afgeleide supervisie kan worden geconstrueerd uit gelogde data.
Theoretische Decompositie van Fout: Het artikel biedt een theoretische grens die in-context schattingsfout scheidt van training-length bias, en biedt een formele verklaring voor de prestatiewinsten die worden waargenomen met SFT.
Empirische Evaluatie in Complexe Settings: De studie breidt de evaluatie uit buiten standaard MDP's om POMDP's (gedeeltelijke observeerbaarheid) en APOMDP's (modelambiguïteit) op te nemen, en demonstreert robuustheid in deze realistischere en uitdagendere omgevingen.

Experimentele Resultaten

De auteurs evalueren hun aanpak op synthetische taken in MDP-, POMDP- en APOMDP-settings, waarbij ze de SFT-LLM vergelijken met random baselines, ICL-only baselines en de Decision-Pretrained Transformer (DPT).

Prestatiewinsten: Gefine-tunte LLM's bereiken aanzienlijk kleinere optimaliteitsgaten in vergelijking met zowel random beleidsplannen als ICL-only baselines.
- In MDP's halveert SFT ongeveer het optimaliteitsgat in settings met een lange horizon (bijvoorbeeld het verminderen van het gat van ~43% naar ~15% bij horizon $T=15$ ).
- In POMDP's en APOMDP's zijn de winsten nog prominenter, waarbij SFT-LLM's lage optimaliteitsgaten behouden zelfs onder gedeeltelijke observeerbaarheid ( $q=0.8$ ) en modelambiguïteit.
Vergelijking met DPT: De SFT-aanpak presteert consistent beter dan DPT in alle settings. Opmerkelijk is dat onder het pessimistische criterium in APOMDP's ( $\alpha=1.0$ ) de prestatiekloof tussen DPT en de SFT-LLM groter wordt naarmate de omvang van de ambiguïteitsset toeneemt, terwijl de SFT-LLM stabiel blijft.
Robuustheid: Het model toont robuustheid tegen out-of-distribution (OOD) testcondities, waarbij het lage optimaliteitsgaten behoudt wanneer getest op parameters buiten de trainingsverdeling (bijvoorbeeld verschillende overgangskansen of waarnemingsruisniveaus).
Darkroom Taak: Op de uitdagende Darkroom-taak (spaarzame beloningen, verborgen doelen) bereikt de SFT-LLM ongeveer 95% van de prestaties van het orakel, en presteert significant beter dan random beleidsplannen.

Betekenis en Claims

Het artikel claimt dat supervised fine-tuning een effectieve route biedt om voorgeprende LLM's sequentiële besluitvormingscapaciteiten te geven die zijn afgeleid van offline data. Dit is significant omdat:

Het de brede representatieve capaciteit benut die is verworven tijdens pretraining, wat potentieel de generalisatie over diverse taken verbetert.
Het een praktische oplossing biedt voor domeinen zoals gezondheidszorg waar offline data overvloedig is maar online experimenten beperkt zijn.
Het aantoont dat LLM's complexe besluitvormingsscenario's kunnen hanteren die gedeeltelijke observeerbaarheid en modelambiguïteit omvatten, aspecten die vaak worden over het hoofd gezien in de bestaande ICL-besluitvormingsliteratuur.
De theoretische decompositie van fout een principieel inzicht biedt in hoe trainingsdatavolume en in-context voorbeelden interageren om de kwaliteit van het beleid te bepalen.

De auteurs erkennen beperkingen, waaronder de computatiekosten van fine-tuning, de afhankelijkheid van een optimaal orakel (wat moeilijk te berekenen kan zijn voor complexe problemen), en de focus op lineaire MDP's voor theoretische analyse. Zij suggereren dat toekomstig werk zich moet richten op het toepassen van dit kader op real-world klinische datasets, het verminderen van de afhankelijkheid van orakel-supervisie, en het verkennen van multimodale settings.