🤖 machine learning

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

Dieser Beitrag zeigt, dass das überwachte Feinabstimmen vortrainierter großer Sprachmodelle auf offline, von Orakeln gelabelten Trajektorien ihre Fähigkeiten zum kontextbasierten Lernen für sequenzielle Entscheidungsfindung über MDPs, POMDPs und APOMDPs hinweg erheblich verbessert und dabei im Vergleich zu Baseline-Methoden deutlich geringere Optimalitätslücken erreicht, insbesondere in komplexen, langfristigen und teilweise beobachtbaren Umgebungen.

Ursprüngliche Autoren: Minmin Zhang, Sina Aghaei, Soroush Saghafian

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minmin Zhang, Sina Aghaei, Soroush Saghafian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, gut informierte Bibliothekarin (das Large Language Model oder LLM). Diese Bibliothekarin hat fast jedes Buch der Welt gelesen und ist unglaublich intelligent. Sie hat jedoch niemals ein Videospiel gespielt oder zuvor eine komplexe Strategie verwaltet. Sie kennt die Theorie, hat aber die spezifischen Züge, die zum Sieg nötig sind, nicht geübt.

Diese Arbeit fragt: Wie bringen wir dieser Bibliothekarin bei, in einem neuen, kniffligen Spiel eine Abfolge intelligenter Entscheidungen zu treffen, indem wir ihr nur wenige Beispiele zeigen?

Hier ist die Aufschlüsselung des Ansatzes und der Ergebnisse der Arbeit, unter Verwendung einfacher Analogien:

1. Die Herausforderung: Der „One-Shot"-Ansatz vs. der „Trainer"

Normalerweise, wenn Sie möchten, dass die Bibliothekarin ein Spiel spielt, zeigen Sie ihr vielleicht nur ein paar Beispiele, wie jemand anderes spielt (dies wird als In-Context Learning bezeichnet).

Das Problem: Wenn das Spiel einfach ist, kommt die Bibliothekarin zurecht. Aber wenn das Spiel lang, verwirrend ist oder versteckte Regeln hat (wie ein nebliges Schlachtfeld, auf dem Sie den Feind nicht sehen können), verirrt sich die Bibliothekarin. Sie könnte den falschen Zug raten, weil sie die Beispiele im Moment nur „liest", ohne die zugrunde liegende Strategie wirklich zu verstehen.

2. Die Lösung: Das „Intensive Trainingslager" (Supervised Fine-Tuning)

Anstatt der Bibliothekarin nur kurz vor Spielbeginn ein paar Beispiele zu zeigen, setzen die Autoren die Bibliothekarin einem Trainingslager aus.

Die Methode: Sie nehmen eine riesige Bibliothek an Videos mit „perfektem Spiel" (Trajektorien), in denen ein Experte (ein „Orakel") das Spiel bereits gewonnen hat. Sie füttern die Bibliothekarin mit diesen Videos und sagen: „Lerne das Muster, wie der Experte denkt und handelt."
Der Twist: Sie trainieren die Bibliothekarin nicht von Grund auf neu (was wie wäre, einem Kleinkind das Lesen beizubringen). Stattdessen verwenden sie eine Technik namens QLoRA (ein „intelligenter Adapter"). Stellen Sie sich dies vor, als würden Sie der Bibliothekarin eine spezielle Brille oder ein bestimmtes Spielbuch geben, das ihr bestehendes Wissen gerade so weit anpasst, dass sie diese neue Art von Spiel meistert, ohne ihr gesamtes Gehirn neu zu schreiben.

3. Die drei getesteten Spieltypen

Die Forscher testeten diese Trainingsmethode an drei Arten von Entscheidungsszenarien, die zunehmend schwieriger wurden:

MDP (Der Klare Raum): Stellen Sie sich ein Spiel vor, in dem Sie alles perfekt sehen können. Sie wissen genau, wo Sie sind und was passieren wird, wenn Sie sich nach links oder rechts bewegen.
- Ergebnis: Die trainierte Bibliothekarin war deutlich besser als die untrainierte, insbesondere bei langen Spielen.
POMDP (Der Nebelige Raum): Stellen Sie sich dasselbe Spiel vor, aber jetzt liegt ein dichter Nebel. Sie können das ganze Spielfeld nicht sehen; Sie sehen nur einen kleinen Fleck um sich herum. Sie müssen erraten, wo der Feind ist, basierend auf begrenzten Hinweisen.
- Ergebnis: Das Training half der Bibliothekarin, den Nebel viel besser zu bewältigen. Die untrainierte Bibliothekarin geriet leicht in Verwirrung, aber die trainierte lernte, ihrem „Bauchgefühl" (dem Muster, das sie während des Trainings gelernt hatte) zu vertrauen.
APOMDP (Der Nebelige Raum mit einem Trickbetrüger): Dies ist das schwierigste Level. Nicht nur gibt es Nebel, sondern die Regeln des Spiels könnten leicht variieren, je nachdem, wer die Simulation steuert. Es ist, als würde man ein Spiel spielen, bei dem sich die Physik jedes Mal leicht ändert, wenn Sie spielen.
- Ergebnis: Die trainierte Bibliothekarin schnitt immer noch besser ab als alle anderen. Sie lernte, robust genug zu sein, um mit der Unsicherheit und den „Trickbetrüger"-Regeln umzugehen.

4. Das „Warum" (Die Theorie)

Die Autoren sagten nicht nur „es funktioniert"; sie versuchten, warum es funktioniert, mathematisch zu erklären.

Die Analogie: Sie verglichen den Aufmerksamkeitsmechanismus der Bibliothekarin (wie sie sich auf Teile des Textes konzentriert) mit einem Rechner.
Wenn die Bibliothekarin „trainiert" wird (fine-tuned), lernt sie, ihre Aufmerksamkeitsschicht zu nutzen, um heimlich den „besten Zug" (eine Q-Funktion) basierend auf den wenigen Beispielen zu berechnen, die Sie ihr während des Spiels zeigen.
Sie bewiesen mathematisch, dass die Fehler der Bibliothekarin aus zwei Quellen stammen:
1. Verwirrung durch die wenigen Beispiele: Wenn Sie ihr nur ein schlechtes Beispiel zeigen, gerät sie in Verwirrung.
2. Verzerrung durch das Training: Wenn das „Trainingslager" nicht lang genug war, könnte sie einen Abkürzungsweg gelernt haben, der nicht perfekt ist.
- Die Arbeit zeigt, dass durch das Training mit genügend Videos von „perfektem Spiel" diese Fehler minimiert werden können.

5. Die Ergebnisse

Besser als Zufall: Die trainierte Bibliothekarin riet nicht einfach; sie spielte strategisch.
Besser als „Nur Lesen": Die trainierte Bibliothekarin schlug die Bibliothekarin, der nur kurz vor dem Spiel Beispiele gezeigt wurden (In-Context Learning).
Der große Sieg: Das Training half am meisten in den schwierigsten Situationen: langen Spielen, nebligen Umgebungen und Spielen mit kniffligen, sich ändernden Regeln. Bei einigen langen Spielen halbierte die trainierte Bibliothekarin die „Fehlerrate" im Vergleich zur untrainierten Version.

Zusammenfassung

Die Arbeit zeigt, dass, wenn Sie eine intelligente, vortrainierte KI nehmen und ihr ein spezifisches „Trainingslager" mit Offline-Daten (Videos von perfektem Spiel) geben, sie zur Meisterin der sequenziellen Entscheidungsfindung wird. Sie lernt, mit langfristiger Planung, versteckten Informationen und unsicheren Regeln viel besser umzugehen, als wenn Sie sie einfach bitten, es „im laufenden Betrieb" herauszufinden.

Hinweis zum Umfang: Die Autoren testeten dies spezifisch an synthetischen Spielen (simulierte Umgebungen wie Energiemanagement oder Gitterwelten). Obwohl sie erwähnen, dass dies für reale Bereiche wie das Gesundheitswesen nützlich sein könnte (wo Daten reichlich vorhanden sind, Experimente jedoch teuer sind), präsentiert die Arbeit selbst nur Ergebnisse aus diesen simulierten Spielen. Sie testete dies in dieser Studie nicht an echten Patienten oder realen Krankenhausdaten.

Technische Zusammenfassung: Große Sprachmodelle für sequenzielle Entscheidungsfindung durch überwachtes Feinabstimmen

Problemstellung

Sequenzielle Entscheidungsfindung unter Unsicherheit ist in hochriskanten Bereichen wie der klinischen Behandlungsplanung und dem Ressourcenmanagement von entscheidender Bedeutung. Während Dynamische Behandlungsregime (DTRs) einen Rahmen für das Lernen aus Beobachtungsdaten bieten, beruhen sie häufig auf der starken Annahme sequenzieller Ignorierbarkeit (alle Störfaktoren sind beobachtbar). In der Realität erfordern nicht beobachtbare Störfaktoren Ambiguous Dynamic Treatment Regimes (ADTRs), die Strategien gegen eine Menge plausibler Modelle (Modellambiguität) und nicht gegen ein einzelnes Modell bewerten. Dies entspricht Ambiguous Partially Observable Markov Decision Processes (APOMDPs).

Obwohl Große Sprachmodelle (LLMs) bemerkenswerte Fähigkeiten im In-Context-Learning (ICL) demonstriert haben, ist ihre Anwendung auf sequenzielle Entscheidungsfindung begrenzt. Vorherige Arbeiten trainieren Transformer typischerweise von Grund auf neu, konzentrieren sich auf vollständig beobachtbare Markov-Entscheidungsprozesse (MDPs) und vernachlässigen die Herausforderungen der teilweisen Beobachtbarkeit und Modellambiguität, die in realen Umgebungen vorkommen. Diese Arbeit schließt die Lücke bei der Nutzung vortrainierter LLMs für sequenzielle Entscheidungsfindung in MDPs, POMDPs und APOMDPs unter Verwendung von Offline-Daten mit Oracle-Labels.

Methodik

Die Autoren schlagen einen Rahmen vor, der überwachtes Feinabstimmen (SFT) anpasst, um vortrainierte LLMs in die Lage zu versetzen, Few-Shot-sequenzielle Entscheidungsfindung durchzuführen.

1. Überblick über den Rahmen

Anstatt einen Transformer von Grund auf neu zu trainieren, feinabstimmen die Autoren ein Open-Source-vortrainiertes LLM (speziell Llama-2-7B) unter Verwendung von parametereffizientem QLoRA (Quantized Low-Rank Adapters). Das Modell wird auf Offline-Trajektorien trainiert, die von einem optimalen (oder nahezu optimalen) Aktions-Oracle generiert wurden.

Training: Das Modell lernt, das nächste Aktionstoken vorherzusagen, gegeben eine Historie von Beobachtungen, Aktionen und Belohnungen, die in ein textuelles Format serialisiert wurden. Die Verlustfunktion ist der Standard-Verlust für die Vorhersage des nächsten Tokens über diese serialisierten Trajektorien.
Inferenz: Zum Testzeitpunkt erhält das Modell einen Few-Shot-Kontext (Demonstrations-Trajektorien aus einer neuen Aufgabe) und die aktuelle Historie. Es generiert Aktionen für die neue Aufgabe ohne weitere Parameteraktualisierungen und fungiert effektiv als Strategie, die auf den In-Context-Beispielen basiert.

2. Theoretische Analyse

Die Arbeit bietet eine theoretische Analyse mit Fokus auf lineare MDPs, um zu verstehen, warum SFT die Leistung verbessert.

Interpretation: Die Autoren interpretieren eine trainierte lineare Self-Attention-Schicht (LSA) als implizite Schätzung der Parameter der optimalen Q-Funktion aus In-Context-Daten.
Suboptimalitäts-Schranke: Sie leiten eine End-to-End-Suboptimalitäts-Schranke für die induzierte Strategie ab. Diese Schranke zerlegt den Fehler in zwei verschiedene Komponenten:
1. In-Context-Schätzfehler: Nimmt ab, wenn die Anzahl der Few-Shot-Stütz-Trajektorien ( $K_{test}$ ) zunimmt.
2. Verzerrung durch Trainingslänge: Nimmt ab, wenn die Anzahl der Trainings-Trajektorien ( $K$ ) zunimmt.
Kern-Erkenntnis: Die Analyse legt nahe, dass zwar die Erhöhung der Stütz-Trajektorien hilft, die spezifische Aufgabe zu schätzen, die Erhöhung des Volumens der Trainingsdaten jedoch die Verzerrung reduziert, die durch die endliche Länge der Trainingssequenz eingeführt wird, was für Aufgaben mit langem Zeithorizont entscheidend ist.

Hauptbeiträge

SFT-Rahmen für sequenzielle Entscheidungsfindung: Die Autoren stellen eine Methode vor, um vortrainierte LLMs auf Offline-Trajektorien feinabzustimmen, wodurch sie in der Lage sind, sich über Few-Shot-Demonstrationen auf neue Aufgaben zu verallgemeinern, ohne zusätzliche Parameteraktualisierungen.
Nutzung von Offline-Oracle-Daten: Der Rahmen nutzt Offline-Datensätze in Kombination mit einem optimalen Aktions-Oracle, um hochwertige Trainings-Trajektorien zu synthetisieren. Dies ist besonders für Bereiche wie das Gesundheitswesen relevant, wo Experimente kostspielig oder unethisch sind und expertenabgeleitete Überwachung aus protokollierten Daten konstruiert werden kann.
Theoretische Zerlegung des Fehlers: Die Arbeit liefert eine theoretische Schranke, die den In-Context-Schätzfehler von der Verzerrung durch die Trainingslänge trennt und eine formale Erklärung für die mit SFT beobachteten Leistungssteigerungen bietet.
Empirische Evaluation in komplexen Umgebungen: Die Studie erweitert die Evaluation über Standard-MDPs hinaus, um POMDPs (teilweise Beobachtbarkeit) und APOMDPs (Modellambiguität) einzubeziehen, und demonstriert Robustheit in diesen realistischeren und herausfordernderen Umgebungen.

Experimentelle Ergebnisse

Die Autoren evaluieren ihren Ansatz an synthetischen Aufgaben in MDP-, POMDP- und APOMDP-Szenarien und vergleichen das SFT-LLM mit zufälligen Baselines, reinen ICL-Baselines und dem Decision-Pretrained Transformer (DPT).

Leistungssteigerungen: Feinabgestimmte LLMs erzielen im Vergleich zu sowohl zufälligen Strategien als auch reinen ICL-Baselines deutlich kleinere Optimalitätslücken.
- In MDPs halbiert SFT die Optimalitätslücke in Szenarien mit langem Zeithorizont grob (z. B. Reduzierung der Lücke von ~43 % auf ~15 % bei einem Zeithorizont $T=15$ ).
- In POMDPs und APOMDPs sind die Gewinne noch ausgeprägter, wobei SFT-LLMs auch unter teilweiser Beobachtbarkeit ( $q=0,8$ ) und Modellambiguität niedrige Optimalitätslücken beibehalten.
Vergleich mit DPT: Der SFT-Ansatz übertrifft DPT konsistent in allen Szenarien. Bemerkenswerterweise vergrößert sich unter dem pessimistischen Kriterium in APOMDPs ( $\alpha=1,0$ ) die Leistungslücke zwischen DPT und dem SFT-LLM, wenn die Größe der Ambiguitätsmenge zunimmt, während das SFT-LLM stabil bleibt.
Robustheit: Das Modell zeigt Robustheit gegenüber Out-of-Distribution (OOD)-Testbedingungen und behält niedrige Optimalitätslücken bei, wenn es mit Parametern getestet wird, die außerhalb der Trainingsverteilung liegen (z. B. unterschiedliche Übergangswahrscheinlichkeiten oder Beobachtungsrauschpegel).
Darkroom-Aufgabe: Bei der herausfordernden Darkroom-Aufgabe (spärliche Belohnungen, versteckte Ziele) erreicht das SFT-LLM etwa 95 % der Leistung des Oracles und übertrifft zufällige Strategien signifikant.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass überwachtes Feinabstimmen einen effektiven Weg bietet, vortrainierte LLMs mit Fähigkeiten zur sequenziellen Entscheidungsfindung auszustatten, die aus Offline-Daten abgeleitet wurden. Dies ist bedeutsam, weil:

Es die während des Pretrainings erworbene breite Repräsentationskapazität nutzt und potenziell die Verallgemeinerung über diverse Aufgaben hinweg verbessert.
Es eine praktische Lösung für Bereiche wie das Gesundheitswesen bietet, in denen Offline-Daten reichlich vorhanden sind, Online-Experimente jedoch begrenzt sind.
Es zeigt, dass LLMs komplexe Entscheidungsszenarien mit teilweiser Beobachtbarkeit und Modellambiguität bewältigen können, die in der bestehenden ICL-Entscheidungsfindungsliteratur oft übersehen werden.
Die theoretische Zerlegung des Fehlers ein prinzipielles Verständnis dafür bietet, wie das Volumen der Trainingsdaten und In-Context-Beispiele interagieren, um die Qualität der Strategie zu bestimmen.

Die Autoren erkennen Einschränkungen an, darunter die Rechenkosten des Feinabstimmens, die Abhängigkeit von einem optimalen Oracle (das für komplexe Probleme schwer zu berechnen sein kann) und den Fokus auf lineare MDPs für die theoretische Analyse. Sie schlagen vor, dass zukünftige Arbeiten sich darauf konzentrieren sollten, diesen Rahmen auf reale klinische Datensätze anzuwenden, die Abhängigkeit von Oracle-Überwachung zu reduzieren und multimodale Szenarien zu erforschen.