🤖 machine learning

AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL

Dieses Paper führt AETDICE ein, ein vereinheitlichtes Framework und einen Offline-RL-Algorithmus, der die Kluft zwischen den Paradigmen des Scalarized Expected Return (SER) und des Expected Scalarized Return (ESR) überbrückt, um eine handhabbare, beispielbasierte Optimierung für nichtlineares Multi-Objective Reinforcement Learning unter Verwendung statischer Datensätze zu ermöglichen.

Ursprüngliche Autoren: Woosung Kim, Youngjun Suh, Jinho Lee, Jongmin Lee, Byung-Jun Lee

Veröffentlicht 2026-07-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Woosung Kim, Youngjun Suh, Jinho Lee, Jongmin Lee, Byung-Jun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter, um ein Taxi zu fahren. Aber es geht nicht nur darum, von Punkt A nach Punkt B zu kommen; der Roboter muss gleichzeitig mehrere, gegensätzliche Ziele im Gleichgewicht halten. Vielleicht möchte er schnell sein, aber auch Energie sparen. Oder vielleicht muss er zwei verschiedene Passagiergruppen gleichermaßen bedienen, anstatt sich nur auf die zu konzentrieren, die am meisten bezahlen.

In der Welt der Robotik und KI nennt man das Multi-Objective Reinforcement Learning (MORL). Die Herausforderung besteht darin: Wie sagt man dem Roboter, was „gut“ bedeutet, wenn „gut“ für verschiedene Menschen unterschiedliche Dinge bedeutet?

Das alte Problem: Zwei verschiedene Regelsätze

Lange Zeit mussten Forscher zwischen zwei sehr unterschiedlichen Wegen wählen, um den Roboter zu lehren, und sie konnten diese nicht mischen:

Der „Durchschnitts“-Ansatz (SER): Sie sagen dem Roboter: „Im Durchschnitt, über viele Fahrten hinweg, möchte ich, dass du ausgeglichen bist.“ Das ist wie ein Schulleiter, der sagt: „Es ist uns egal, ob du an einem Tag in Mathe durchfällst, solange dein Durchschnitt über das ganze Jahr hinweg gut ist.“ Der Roboter lernt, Risiken einzugehen, manchmal eine bestimmte Fahrt zu vernachlässigen, um später einen besseren Durchschnitt zu erzielen.
Der „Jede einzelne Fahrt zählt“-Ansatz (ESR): Sie sagen dem Roboter: „Jede einzelne Fahrt muss ausgewogen sein.“ Das ist wie ein strenger Elternteil, der sagt: „Du musst bei jedem Test eine Eins schreiben.“ Wenn der Roboter eine einzige Mathearbeit verhaut, ist die ganze Strategie ruiniert. Dies ist viel schwieriger, weil der Roboter sich genau daran erinnern muss, was in der Vergangenheit passiert ist (wie zum Beispiel: „Ich habe Gruppe A bereits bedient, also muss ich jetzt Gruppe B bedienen“), um die richtige Entscheidung für den aktuellen Moment zu treffen.

Das Problem war, dass bestehende KI-Methoden entweder den „Durchschnitts“-Ansatz oder den „Jede einzelne Fahrt zählt“-Ansatz handhaben konnten, aber nicht beide gleichzeitig. Und noch schlimmer: Niemand hatte herausgefunden, wie man den Roboter mit diesen komplexen Regeln unter Verwendung eines festen Datensatzes (wie einer Bibliothek vergangener Fahrprotokolle) lehren kann, ohne dass der Roboter in der realen Welt herumfahren und Fehler machen muss.

Die neue Lösung: AETDICE

Die Autoren dieser Arbeit haben ein neues Framework namens AETDICE entwickelt. Stellen Sie sich dies als einen universellen Übersetzer vor, der jede Kombination dieser Regeln verstehen kann.

So haben sie es gemacht, erklärt anhand einer einfachen Analogie:

1. Der „Gedächtnis-Rucksack“ (Augmented State)

Das größte Problem bei der „Jede einzelne Fahrt zählt“-Regel ist, dass der Roboter sich an seine Geschichte erinnern muss. Wenn er nur die aktuelle Straßenecke sieht, weiß er nicht, ob er die erste Passagiergruppe bereits bedient hat.

Die Lösung: Die Autoren gaben dem Roboter einen Rucksack. Jedes Mal, wenn der Robot einen Schritt macht, schreibt er seinen „Zwischenstand“ in den Rucksack. Jetzt, wenn der Roboter eine Straßenecke sieht, sieht er nicht nur „Ecke“, sondern er sieht „Ecke + Rucksack-Score“.
Warum das hilft: Dies verwandelt ein verwirrendes, gedächtnisabhängiges Problem in ein Standardproblem. Der Roboter kann nun Entscheidungen basierend auf „Ecke + Rucksack“ treffen, genau wie ein normaler Roboter Entscheidungen basierend auf „Ecke“ trifft.

2. Das „Umschreiben der Karte“ (Transformed Rewards)

Normalerweise sagen Sie einem Roboter: „Geh zum Laden, du bekommst 10 Punkte.“ Aber bei komplexen Regeln (wie „Punktzahlen ausgleichen“) sind die Punkte nicht fest; sie hängen vom Rucksack ab.

Die Lösung: Die Autoren änderten die Karte. Anstatt die Punkte am Ende der Fahrt zu vergeben, berechneten sie, wie viel jeder einzelne Schritt zum Endziel beitrug, und gaben dem Roboter diesen winzigen Bruchteil der Punkte sofort.
Warum das hilft: Dies ermöglicht es dem Roboter, aus dem festen Datensatz (der Bibliothek vergangener Fahrten) zu lernen, ohne raten zu müssen, was in der Zukunft passieren wird. Es verwandelt ein komplexes, globales Rätsel in eine Serie einfacher, lokaler Schritte.

3. Der „Globale Ausgleicher“ (DICE Optimization)

Sob-wohl der Roboter seinen Rucksack und die neue Karte hat, gibt es noch einen kniffligen Teil: sicherzustellen, dass die gesamte Balance über alle Fahrten hinweg fair ist, nicht nur lokal.

Die Lösung: Sie verwendeten ein mathematisches Werkzeug namens DICE (Distribution Correction Estimation). Stellen Sie sich vor, Sie haben einen Beutel voller Murmeln, die alle vergangenen Fahrten in Ihrem Datensatz repräsentieren. Einige Murmeln sind „gut“ für Ihr spezifisches Ziel, andere sind „schlecht“. DICE fungiert wie ein intelligenter Filter, der die Murmeln neu gewichtet und dem Roboter sagt: „Ignoriere die Fahrten, in denen du zu gierig warst; konzentriere dich auf die Fahrten, in denen du ausgewogen warst.“
Warum das hilft: Dies ermöglicht es dem Roboter, die perfekte Strategie zu finden, selbst wenn die ursprünglichen Daten chaotisch oder verzerrt waren.

Was haben sie entdeckt?

Als sie dieses neue System testeten, fanden sie einige faszinierende Verhaltensweisen, die alte Methoden nicht erreichen konnten:

Der „Stochastische“ Mix: Manchmal ist die beste Strategie nicht, zu 100 % konsistent zu sein. Der Roboter lernte, ein „Münzwürfler“ zu sein. In 50 % der Fahrten würde er sich voll und ganz auf Passagiergruppe A konzentrieren, und in den anderen 50 % auf Gruppe B. Im Durchschnitt war dies das ausgewogenste Ergebnis. Alte Methoden zwangen den Roboter entweder dazu, ein „Spezialist“ (immer A) oder ein „Generalist“ (immer geteilt) zu sein, und übersahen diesen klugen Mittelweg.
Der „Historien-bewusste“ Fahrer: Für die „Jede einzelne Fahrt zählt“-Regel lernte der Roboter, sein Verhalten basierend auf seinem Rucksack zu ändern. Wenn er bereits Gruppe A bedient hatte, würde er aggressiv nach Gruppe B suchen, selbst wenn die Straße identisch aussah. Dies ist ein Verhalten, das eine Standard-KI normalerweise nicht aus statischen Daten lernen kann.

Das Fazit

Diese Arbeit führt eine neue Art und Weise ein, wie KI-Agenten lernen können, komplexe, konkurrierende Ziele unter Verwendung von nur vergangenen Daten zu bewältigen. Sie schließt die Lücke zwischen „Durchschnittsleistung“ und „perfekter Konsistenz“ und ermöglicht es Robotern, Strategien zu lernen, die fair, ausgewogen und anpassungsfähig sind – und das, ohne während des Trainings mit der realen Welt interagieren zu müssen.

Kurz gesagt: Sie haben ein universelles Trainings-Kit gebaut, das es Robotern ermöglicht, mehrere Ziele perfekt zu jonglieren, indem sie nur eine Bibliothek alter Videos nutzen, indem sie dem Roboter einen Gedächtnis-Rucksack und eine intelligentere Art geben, die Karte zu lesen.

Technisches Resümee: AETDICE: Ein vereinheitlichtes Framework und Offline-Optimierung für nichtlineares Multi-Objective Reinforcement Learning

1. Problemstellung

Multi-Objective Reinforcement Learning (MORL) zielt darauf ab, sequentielle Entscheidungen unter mehreren, oft konkurrierenden Zielen zu optimieren. Während die lineare Skalarisierung (gewichtete Summen) MORL auf Standard-Single-Objective RL reduziert, ist eine nichtlineare Skalarisierung essenziell, um komplexe Präferenzen wie Risikoaversität, Fairness oder abnehmende Grenzerträge zu erfassen.

Historisch gesehen war nichtlineares MORL in zwei distinkte Paradigmen unterteilt, basierend auf der Reihenfolge von Skalarisierung und Erwartungswert:

Skalarisierter Erwartungsertrag (Scalarized Expected Return, SER): Wendet die Nichtlinearität auf den erwarteten Ertragsvektor an ( $u(\mathbb{E}[R])$ ). Dies erfordert eine Optimierung auf globaler Ebene, da der marginale Beitrag einer Aktion von dem gesamten erwarteten Ertrag der Policy abhängt, was oft stochastische Policies erforderlich macht.
Erwarteter skalarisierter Ertrag (Expected Scalarized Return, ESR): Wendet die Nichtlinearität auf den Ertrag jeder einzelnen Trajektorie an ( $\mathbb{E}[u(R)]$ ). Dies erzeugt ein nicht-markovsches Problem, bei dem die optimale Aktion von der akkumulierten Belohnungshistorie abhängt, was eine Zustandsaugmentation erfordert, um die Markov-Eigenschaft wiederherzustellen.

Die Lücke: Bestehende Offline-RL-Methoden haben lineare Skalarisierung und SER-Ziele behandelt. ESR bleibt jedoch im Offline-Setting unberücksichtigt. Die Trajektorien-basierte Nichtlinearität führt dazu, dass optimale Aktionen von den akkumulierten Belohnungen abhängen, und das Lernen solcher belohnungsbedingter Policies aus statischen Datensätzen wurde bisher nicht untersucht. Zudem adressiert keine bestehende Methode Ziele, die sowohl Trajektorien- als als auch Erwartungswert-basierte Nichtlinearitäten kombinieren, noch behandelt sie die spezifischen Trade-offs, die durch solche Kombinationen induziert werden.

2. Methodik

Das AET-Framework

Die Autoren schlagen das Aggregation–Expectation–Transformation (AET) Framework vor, um nichtlineare MORL-Ziele zu vereinheitlichen. AET zerlegt den Skalarisierungsprozess in drei Komponenten:

Transformation (F): Eine Trajektorien-basierte Transformation $F: \mathbb{R}^m \to \mathbb{R}^n$ , die den Ertragsvektor auf $n$ Nutzen-Dimensionen abbildet (z. B. zur Erfassung abnehmender Grenzerträge via $\log$ oder Effizienz via Cobb-Douglas).
Erwartung (E): Die Erwartung über die Trajektorien.
Aggregation (G): Eine Aggregation auf Erwartungsebene $G: \mathbb{R}^n \to \mathbb{R}$ (typischerweise konkav), die die erwarteten Nutzen kombiniert.

Das AET-Ziel ist definiert als:
$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$

Dieses Framework umfasst Lineares MORL, SER-MORL und ESR-MORL als Spezialfälle und ermöglicht eine reichere Klasse von Zielen (AET-MORL), die sowohl nichtlineares $F$ als auch konkaves $G$ kombiniert.

AETDICE-Algorithmus

Um AET-Ziele offline zu optimieren, schlagen die Autoren AETDICE (Offline AET optimization via DIstribution Correction Estimation) vor. Die Methode adressiert die beiden Quellen der Nichtlinearität separat:

1. Handhabung der nichtlinearen Transformation $F$ (Augmentiertes MOMDP):
Um die Trajektorien-basierte Nichtlinearität von $F$ zu handhaben, konstruieren die Autoren ein augmentiertes endliches Horizont-MOMDP $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$ .

Zustandsaugmentation: Der Zustand wird mit der akkumulierten Belohnung erweitert: $\tilde{s}_t = (s_t, R^{acc}_t, t)$ . Dies stellt die Markov-Eigenschaft für ESR-Ziele wieder her.
Transformierte Belohnung: Eine neue Belohnungsfunktion wird definiert, um den inkrementellen Beitrag jeder Aktion zum Trajektoriennutzen $F$ zu erfassen:
$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$
Dies erzeugt eine Teleskopsumme, wobei $\sum \tilde{r} = F(R(\tau})$ gilt. Diese Transformation reduziert ESR-MORL auf Standard-Single-Objective RL im augmentierten Raum und AET-MORL auf SER-MORL im augmentierten Raum.

2. Handhabung der nichtlinearen Aggregation $G$ (Konvexe Optimierung via DICE):
Nachdem $F$ in die Belohnung absorbiert wurde, besteht das Problem darin, eine konkave Funktion $G$ über die erwarteten Nutzen im augmentierten Raum zu maximieren. Die Autoren erweitern das Distribution Correction Estimation (DICE) Framework:

Besuchswahrscheinlichkeitsverteilung: Das Ziel wird als konvexe Optimierung über die Besuchsverteilung $d_t(\tilde{s}, a)$ im augmentierten Raum formuliert.
Slack-Variable: Eine Slack-Variable $k$ wird eingeführt, um die Erwartung von der konkaven Aggregation $G$ zu entkoppeln, was eine unverzerrte Stichproben-basierte Schätzung ermöglicht.
Regularisierung: Eine $\phi$ -Divergenz-Strafe wird hinzugefügt, um die Verteilungsverschiebung zwischen der gelernten Policy und dem Offline-Datensatz zu korrigieren.
Duale Formulierung: Das Primalproblem wird in ein Dualproblem überführt, das mittels stochastischen Gradientenabstieg auf neuronale Netze gelöst wird, welche die Lagrange-Multiplikatoren ( $\nu$ ) und die Slack-Variable ( $\mu$ ) repräsentieren. Die optimale Policy wird über gewichtetes Behavior Cloning mittels der gelernten Besuchsverhältnisse extrahiert.

3. Kernbeiträge

Vereinheitlichtes Framework (AET): Das Paper führt AET ein, ein fundiertes Framework, das SER und ESR vereinheitlicht und eine neue Klasse von Zielen (AET-MORL) definiert, die sowohl Trajektorien- als auch Erwartungswert-Nichtlinearitäten kombiniert.
Erste Offline-ESR-Optimierung: Durch die Definition einer transformierten Belohnung in einem augmentierten Zustandsraum bietet die Arbeit die erste Methode zur Optimierung von ESR-Zielen aus statischen Datensätzen, wodurch das Problem auf Standard-Offline-RL reduziert wird.
AETDICE-Algorithmus: Die Autoren schlagen AETDICE vor, einen Stichproben-basierten Offline-Algorithmus, der sowohl nichtlineares $F$ (via Augmentation) als auch nichtlineares $G$ (via DICE-artiger Verteilungskorrektur) handhabt.
Empirische Validierung: Das Framework wird über diverse Ziele hinweg validiert, einschließlich Fair MORL (Interpolation zwischen ESR und SER via $\alpha$ -Fairness), konvexer Nutzenfunktionen sowie nicht-konvexer Cobb-Douglas-Nutzenfunktionen mit Sicherheitsbeschränkungen.

4. Experimentelle Ergebnisse

Die Experimente wurden in den Umgebungen Fair-Taxi, MO-PointMaze und D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah) durchgeführt.

Fair MORL (Fair-Taxi & PointMaze): AETDICE optimierte erfolgreich ESR-, SER- und Balanced Scalarized Return (BSR)-Ziele.
- Verhaltensunterschiede: ESR-optimale Policies erzeugten ausgewogene Erträge innerhalb jeder Trajektorie (nicht-markovsches Verhalten abhängig von der Historie). SER-optimale Policies erzeugten stochastische Mischungen spezialisierter Trajektorien (markovsch, balanciert nur in der Erwartung). BSR-Policies interpolierten glatt zwischen diesen Verhaltensweisen.
- Performance: AETDICE erreichte hohe Werte für die jeweiligen Zielsetzungen und übertraf Baselines wie FairDICE (beschränkt auf SER) und ESR-IQL (beschränkt auf ESR).
Allgemeine AET-Ziele (D4MORL):
- Konvexes $F$ : Die Methode optimierte erfolgreich Ziele, die hochperformante Dimensionen priorisieren (konvexes $F$ ), während sie durch ein konkaves $G$ die Balance hielt, was zu stochastischen Mischungen spezialisierter Verhaltensweisen führte.
- Nicht-konvexes $F$ (Cobb-Douglas): AETDICE optimierte Effizienz-Trade-offs (z. B. Geschwindigkeit vs. Energie). Entscheidend war, dass durch das Hinzufügen eines Sicherheitsnutzens via konkaver Aggregation der Kollaps des Agenten (ein Versagensmodus reiner Effizienzoptimierung) verhindert wurde, während eine hohe Effizienz beibehalten wurde.
Ablation: Die Untersuchung des Regularisierungskoeffizienten $\beta$ zeigte, dass kleinere Werte für nichtlineares MORL erforderlich sind, um die notwendige Verteilungsverschiebung zuzulassen, wobei die Methode dennoch stabil und effektiv bleibt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass AETDICE langjährige Barrieren in der Offline-MORL auflöst, indem es zuvor fragmentierte Optimierungsstrategien vereinheitlicht.

Vereinheitlichung: Es überbrückt die Kluft zwischen SER und ESR und bietet ein einziges Framework für allgemeines nichtlineares MORL.
Neuheit: Es ist die erste Methode, die die Offline-ESR-Optimierung und die breitere Klasse von AET-Zielen adressiert.
Verhaltensrelevanz: Das Framework offenbart distinkte Policy-Verhaltensweisen (nicht-markovsche Strategien, stochastische Mischungen), die aus der Interaktion von Trajektorien- und Erwartungswert-Nichtlinearitäten resultieren und die bestehende Methoden nicht erfassen oder adressieren können.
Praktikabilität: Durch die Ermöglichung der Offline-Optimierung komplexer Fairness- und Effizienzziele unterstützt die Methode reale Entscheidungsprozesse, bei denen Policies sowohl innerhalb als auch über Episoden hinweg konkurrierende Kriterien ausbalancieren müssen.

Die Autoren weisen auf Limitationen hinsichtlich der Skalierbarkeit des augmentierten Zustandsraums mit zunehmender Anzahl an Zielen sowie auf die strengen Anforderungen an die Datenabdeckung hin, die für Offline-MORL mit Verteilungsverschiebung inhärent sind. Sie betonen jedoch, dass AETDICE das Feld signifikant voranbringt, indem es eine breitere Klasse von nichtlinearen Zielen handhabbar macht.