🤖 machine learning

Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models

Dieses Paper stellt LDM-v0 vor, eine groß angelegte, Multi-Task-Transformer-Policy, die offline auf diversen Trajektorien aus tausenden Umgebungen trainiert wurde und zeigt, dass ein einzigartiges, vereinheitlichtes Modell die Leistung spezialisierter Policies über verschiedene Domänen hinweg, die von Robotik bis Cybersicherheit reichen, erreichen kann.

Ursprüngliche Autoren: Thibaut Kulak

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thibaut Kulak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, alles zu tun: Videospiele zu spielen, ein Auto zu fahren, ein Lager zu verwalten und sogar einen Roboterarm zu steuern. Traditionell müssten Sie für jede Aufgabe einen anderen Experten-Coach engagieren. Der Videospiel-Coach weiß nichts über das Autofahren, und der Lagerverwalter hat keine Ahnung, wie man Super Mario spielt. Das ist langsam, teuer und erfordert für jede einzelne Aufgabe eine Menge individueller Feinabstimmung.

Dieses Paper stellt LDM-v0 vor, einen neuen Ansatz, der versucht, dies zu lösen, indem er lernt, einen einzigen „Super-Coach“ zu trainieren, der all diese verschiedenen Jobs gleichzeitig erledigen kann.

Hier ist eine Aufschlüsselung, wie sie es gemacht haben, unter Verwendung einfacher Analogien:

1. Das Problem: Zu viele verschiedene „Sprachen“

Reinforcement Learning (RL) ist wie das Unterrichten eines Schülers, indem man ihn Dinge ausprobieren lässt und ihm eine Punktzahl (Belohnung) gibt, wenn er gut abschneidet. Das Problem ist, dass jede Umgebung (wie ein Videospiel oder ein Robotersimulator) eine andere „Sprache“ spricht.

Eine Umgebung verwendet vielleicht Zahlen, um einen Roboterarm zu beschreiben.
Eine andere verwendet vielleicht Bilder.
Eine andere verwendet vielleicht Text.
Die Regeln dafür, was als „guter Zug“ zählt, sind in jeder Umgebung völlig unterschiedlich.

Es, ein Modell gleichzeitig auf all diesen Dingen zu trainieren, ist so, als würde man versuchen, einem Schüler beizubringen, gleichzeitig Französisch, Japanisch und Morsecode zu sprechen, während er auch noch lernt zu jonglieren.

2. Die Lösung: Der „Universelle Übersetzer“ (LDM-v0)

Die Forscher bauten ein massives Modell namens LDM-v0 (Large Decision Model). Betrachten Sie dieses Modell als einen universellen Übersetzer, der all diese verschiedenen „Sprachen“ in ein einziges, gemeinsames Format umwandelt, das der Computer verstehen kann.

Der Input: Anstatt dem Modell Rohdaten einzuspeisen, übersetzen sie alles in „Tokens“ (ähnlich wie Wörter in einem Satz). Ob es ein Bild, eine Zahl oder die Position eines Roboters ist – es wird in ein standardisiertes Token umgewandelt.
Das Gehirn: Sie verwendeten eine spezifische Art von KI-Architektur (basierend auf „Llama“, ähnlich den Modellen, die für Chatbots verwendet werden), die sehr gut darin ist, sich an lange Geschichten zu erinnern. In diesem Fall ist die „Geschichte“ die Historie dessen, was der Roboter gesehen hat, was er getan hat und welche Punktzahl er erhalten hat.

3. Wie sie es trainiert haben: Die „Nachahmungsmethode“

Man kann das Modell nicht einfach in einen Raum mit 1.000 verschiedenen Spielen werfen und hoffen, dass es es schon regelt. Es braucht einen Lehrer. Aber da es keinen Menschen gibt, der alle diese Spiele perfekt spielen kann, nutzten die Forscher einen cleveren Trick namens Automated Reference-Policy Supervision.

Stellen Sie sich vor, Sie wollen lernen, Schach, Fußball und Poker zu spielen. Anstatt eines Menschen, der Sie unterrichtet, stellen Sie 1.000 verschiedene Experten-Bots ein.

Die Experten engagieren: Sie trainierten Tausende spezialisierter KI-Agenten (unter Verwendung von Standardalgorithmen wie PPO oder DQN), um spezifische Umgebungen zu meistern.
Die Meister aufzeichnen: Sie zeichneten die „perfekten“ Züge auf, die diese Experten-Bots machten.
Das Nachahmungsspiel: Diese Aufzeichnungen wurden dann in LDM-v0 eingespeist. Die Aufgabe des Modells war nicht zu „denken“ oder zu „explorieren“; seine Aufgabe war es schlichtweg, die Experten-Bots zu imitieren. Es betrachtete die Historie eines Spiels und sagte voraus: „Was würde der Experte als Nächstes tun?“

Dadurch lernte LDM-v0, die besten Strategien über 1.000 verschiedene Umgebungen hinweg zu imitieren, ohne dass ihm die Regeln jeder einzelnen Umgebung explizit erklärt werden musste.

4. Die Ergebnisse: Ein Modell, um alle zu regieren?

Das Team testete dieses einzelne Modell in etwa 1.000 verschiedenen Umgebungen, die reichten von:

Robotik: Steuerung von Roboterarmen und Drohnen.
Fahren: Simulation von Autos auf Autobahnen.
Geschäftliches: Verwaltung von Inventar und Aktienhandel.
Gaming: Spielen klassischer Arcade-Spiele und Super Mario.

Der große Gewinn:
Das einzelne LDM-v0-Modell schnitt in etwa 1.000 dieser Umgebungen genauso gut ab wie die spezialisierten „Experten“-Bots. Mit anderen Worten: Ein einziges allgemeines Modell konnte die Arbeit von 1.000 Spezialisten erledigen.

Sie fanden auch heraus, dass es das Modell besser macht (ihm mehr „Gehirnleistung“ gibt), das Modell größer zu machen – allerdings bis zu einem gewissen Punkt.

5. Was dies bedeutet (und was es nicht bedeutet)

Was es beweist: Es ist möglich, ein einziges riesiges KI-Modell auf einer riesigen Mischung aus völlig unterschiedlichen Aufgaben zu trainieren und auf all diesen Aufgaben gut abzuschneiden. Es deutet darauf hin, dass diese verschiedenen Aufgaben verborgene Muster teilen, die das Modell lernen kann.
Was es nicht behauptet: Das Paper behauptet nicht, dass dieses Modell bereit ist, morgen Ihr Auto zu fahren oder Ihr tatsächliches Aktienportfolio zu verwalten. Die Tests wurden in Simulationen durchgeführt (Videospiele und digitale Zwillinge).
Die Einschränkung: Das Modell ist sehr gut in Aufgaben, die es schon einmal gesehen hat (oder denen sehr ähnlich sind). Die Autoren geben zu, dass sie nicht vollständig getestet haben, ob es eine brandneue Art von Aufgabe bewältigen kann, die es noch nie zuvor gesehen hat. Es ist ein Meister der Imitation, aber noch kein Meister der Erfindung.

Zusammenfassende Analogie

Betrachten Sie frühere KI-Modelle als spezialisierte Lehrlinge: ein Zimmermann, der nur Stühle bauen kann, ein Klempner, der nur Waschbecken reparieren kann.
LDM-v0 ist wie ein Super-Lehrling, der tausende Videos von Zimmerleuten, Klempnern, Elektrikern und Köchen gesehen hat. Er hat zwar selbst noch kein Haus gebaut oder eine Mahlzeit gekocht, aber wenn man ihm eine neue Situation zeigt, kann er sofort abrufen: „Oh, der Experte-Klempner würde das hier tun“, und es korrekt ausführen.

Das Paper zeigt, dass dieser „Super-Lehrlings“-Ansatz überraschend gut funktioniert und den Weg für zukünftige KI-Systeme ebnet, die viele Fähigkeiten aus einer einzigen, massiven Trainingsphase lernen können.

Technisches Resümee: In Richtung skalierbares Multi-Task Reinforcement Learning mit Large Decision Models

Problemstellung

Reinforcement Learning (RL) hat in spezifischen Domänen wie Spielen, Robotik und Steuerung signifikante Erfolge erzielt. Die Anwendung von RL auf reale Szenarien bleibt jedoch eine Herausforderung, da es eine umfangreiche Interaktion mit der Umgebung, sorgfältiges Reward-Engineering, domänenspezifische Architekturen und substanzielles Hyperparameter-Tuning erfordert. Während Offline-RL und Offline-to-Online-Ansätze die Kosten für Online-Interaktionen mildern, bleibt die Auswahl und Anpassung eines geeigneten Algorithmus für eine neue Umgebung schwierig.

Parallel zu diesen Herausforderungen haben groß angelegte Sequenzmodelle die natürliche Sprachverarbeitung und das Computer Vision transformiert. Im Bereich RL haben Sequenzmodellierungs-Ansätze wie Decision Transformer demonstriert, dass Policies als autoregressive Modelle über Trajektorien dargestellt werden können. Dies wirft eine kritische Frage auf: Können Multi-Domänen-Offline-RL-Trajektorien in einer einzigen skalierbaren Transformer-Policy konsolidiert werden, während gleichzeitig eine starke Task-Performance über viele Domänen hinweg beibehalten wird? Das primäre Hindernis besteht darin, dass Multi-Domänen-RL-Ökosysteme fragmentiert, heterogen und schwer zu vereinheitlichen sind.

Methodik

Die Autoren führen LDM-v0 (Large Decision Model v0) ein, eine vereinheitlichte Multi-Task, Multi-Modal Transformer-Policy, die offline auf Trajektorien aus tausenden heterogenen Umgebungen trainiert wurde. Die Methodik besteht aus drei Kernkomponenten:

1. Automatisierte Reference-Policy-Supervision

Um qualitativ hochwertige Trainingsdaten über diverse Domänen hinweg ohne manuelles Reward-Engineering zu generieren, behandeln die Autoren die Datensatzkonstruktion als ein AutoRL-Problem:

Kandidatenauswahl: Ein Pool aus Kandidaten-Algorithmen und -Konfigurationen (aus Stable-Baselines3 und SB3-Contrib, einschließlich A2C, PPO, SAC, DQN, etc.) wird definiert.
Ranking: Für jede Umgebungslibrary werden kompatible Kandidaten auf einer Teilmenge von fünf Umgebungen trainiert. Die Konfigurationen werden mittels Paarvergleichen basierend auf einem einseitigen Welch's t-Test der finalen Performance gerankt.
Datengenerierung: Die am besten bewerteten Konfigurationen werden für 3 Millionen Transitionen trainiert. Trajektorien werden aufgezeichnet, und die finale trainierte Policy wird abgespielt, um Referenz-Aktions-Annotationen zu generieren.
Filterung: Minderwertige Durchläufe (die keine statistisch signifikante Leistungsverbesserung zeigten oder unter 95 % der besten Policy lagen) werden entfernt.
Ergebnis: Ein Datensatz von etwa 9,3 Milliarden Transitionen aus ~3.000 distinkten Umgebungen, annotiert mit Referenz-Policy-Aktionen anstelle von explorativen Aktionen.

2. Vereinheitlichte Umgebungsinfrastruktur

Um die Fragmentierung von RL-Libraries (unterschiedliche Python-Versionen, Abhängigkeiten und Simulatoren) zu handhaben, entwickelten die Autoren ein internes Orchestrierungs-Framework:

Umgebungen werden in isolierten Docker-Containern gekapselt.
Eine vereinheitlichte Interaktions-API, die mit modernen Gymnasium-Interfaces kompatibel ist, wird exponiert.
Diese Pipeline integrierte 146 Umgebungslibraries, die etwa 15.000 einzelne Umgebungen abdecken.

3. Modellarchitektur und Training

Architektur: LDM-v0 ist ein Decoder-only Transformer basierend auf der Llama-Architektur, der von Grund auf neu trainiert wurde.
Input-Verarbeitung: Das Modell erhält eine Interaktionshistorie (vergangene Beobachtungen, Aktionen, Rewards, Terminationssignale) und die aktuelle Beobachtung.
- Tokenisierung: Kontinuierliche Inputs werden mittels $\mu$ -law kodiert und in 1024 Bins diskretisiert. Diskrete Inputs nutzen Lookup-Tabellen. Bilder werden auf 64x64 skaliert und via eines konvolutionalen Encoders kodiert.
- Embedding: Beobachtung, Aktion, Reward und Terminationssignale werden ausgerichtet und zu Transition-Level Meta-Tokens gestapelt. Diese kompakte Repräsentation reduziert die Sequenzlänge im Vergleich zur pro-Dimension-Tokenisierung (z. B. Gato) und ermöglicht längere Historien innerhalb eines festen Kontext-Budgets.
Trainingsziel: Das Modell wird mittels Supervised Next-Action Prediction unter Verwendung von Cross-Entropy-Loss über diskretisierte Action-Bins trainiert. Es lernt, die Referenz-Aktion $a_t$ bedingt auf die Trajektorien-Historie $(o_i, a_i, r_i, d_i)$ vorherzusagen.
Skalierung: Das Primärmodell (LDM-v0) besitzt 308 Mio. Parameter, 12 Layer und eine Kontextlänge von 2048 Transitionen. Es wurde sechs Tage lang auf zwei Nodes mit 16 NVIDIA H200 GPUs trainiert.

Wichtigste Beiträge

LDM-v0: Eine groß angelegte, multi-modale Transformer-Policy, trainiert auf einem vereinheitlichten Datensatz, der 146 Libraries und ~3.000 Umgebungen umfasst.
Skalierbare Infrastruktur: Eine robuste Pipeline zur Automatisierung der Referenz-Policy-Generierung und der Umgebungsorchestrierung über hochgradig heterogene RL-Ökosysteme hinweg.
Kompakte Transition-Level Modellierung: Eine Tokenisierungsstrategie, die Beobachtung, Aktion, Reward und Terminationssignale in einzelne Meta-Tokens packt und so eine effiziente Long-Horizon-Sequenzmodellierung ermöglicht.
Empirische Validierung: Belege dafür, dass eine einzige gemeinsame Parametrisierung eine kompetitive Performance über diverse Domänen hinweg erreichen kann, ohne dass ein taskspezifisches Fine-Tuning erforderlich ist.

Ergebnisse

Die Autoren evaluierten LDM-v0 über die Trainingsumgebungen (In-Distribution) und verglichen dessen Performance gegen unabhängig trainierte, taskspezifische Referenz-Policies.

Performance-Schwellenwerte: LDM-v0 erreichte >80 % der Referenz-Policy-Performance in über 1.600 Umgebungen und erreichte die Referenz-Performance in etwa 1.000 Umgebungen.
Domänenabdeckung: Eine starke Performance wurde beobachtet in:
- Robotik und Steuerung (z. B. gymnasium_robotics, panda-gym).
- Autonomes Fahren (highway-env).
- Finanzhandel (gym_trading_env) und Bestandsoptimierung.
- Cybersicherheit (cymnasium).
- Spielähnliche Umgebungen (Atari-Stil, procogen, Super Mario Bros).
Scaling Laws: Experimente mit Modellgrößen von 32M bis 736M Parametern zeigten substantielle Leistungsverbesserungen von 32M bis 308M. Die Gewinne schienen zwischen 308M und 736M zu stagnieren, was darauf hindeutet, dass eine größere Kapazität zwar hilft, das 308M-Modell jedoch bereits signifikante statistische Regularitäten erfasst.

Bedeutung und Ansprüche

Das Paper behauptet, die Machbarkeit von groß angelegtem Offline-Pretraining über heterogene Reinforcement-Learning-Umgebungen hinweg mittels einer einzigen Transformer-Policy zu demonstrieren.

Vereinheitlichte Repräsentation: Die Ergebnisse legen nahe, dass groß angelegte Sequenzmodelle trotz erheblicher Heterogenität in Beobachtungsmodalitäten, Aktionsräumen, Reward-Skalen und zeitlichen Horizonten statistische Regularitäten nutzen können, die in Teilmengen von Umgebungen geteilt werden.
Automatisierung: Die Arbeit hebt das Potenzial automatisierter, vereinheitlichter Pipelines hervor, um die Fragmentierung aktueller RL-Ökosysteme zu überwinden und die Abhängigkeit von Expertenwissen und taskspezifischen Designentscheidungen zu reduzieren.
Zukünftige Ausrichtung: Die Autoren betrachten LDM-v0 als einen Schritt hin zu skalierbaren, vortrainierten Reinforcement-Learning-Systemen. Sie merken explizit an, dass ihr primäres Ziel nicht die Untersuchung der Out-of-Distribution Generalisierung war, sondern die Untersuchung, ob eine einzige Policy diverse RL-Verhaltensweisen im großen Maßstab gemeinsam modellieren kann.

Die Autoren bleiben bescheiden hinsichtlich der Generalisierung und räumen ein, dass die Evaluationen primär in Umgebungen innerhalb der Trainingsverteilung durchgeführt wurden. Sie identifizieren das Verständnis transferierbarer Entscheidungsstrategien und die Verbesserung der Generalisierung auf ungesehene Umgebungen (via In-Context Adaptation oder Fine-Tuning) als wichtige offene Fragen für zukünftige Arbeiten.