🤖 machine learning

Counterfactual Transport Flows for Offline Conservative Trajectory Refinement

Dieses Paper führt Counterfactual Transport Flows ein, ein Framework für Offline-Reinforcement Learning, das Kandidaten-Trajektorien verfeinert, indem es höherwertige, nahegelegene Trajektorien im latenten Raum abruft und von ihnen lernt, was eine konservative, interpretierbare Politikverbesserung ermöglicht, die durch Welt-Feedback geleitet wird, ohne über den Support der protokollierten Daten hinaus zu extrapolieren.

Ursprüngliche Autoren: Lena Krieger, Xuan Zhao, Zhuo Cao, Qin Wang, Hanno Scharr, Ira Assent

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lena Krieger, Xuan Zhao, Zhuo Cao, Qin Wang, Hanno Scharr, Ira Assent

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der gerade eine Mahlzeit zubereitet hat. Sie ist essbar, aber vielleicht ein wenig fad. Sie wollen nicht den ganzen Topf wegwerfen und von vorne anfangen; Sie wollen das Rezept nur ein wenig verfeinern, um es besser zu machen.

Dieses Paper stellt eine neue Methode vor, mit der Computer (speziell KI-Agenten) genau das tun können: einen bestehenden Plan oder eine „Trajektorie“ nehmen und kleine, kluge Verbesserungen vornehmen, ohne das zu verlieren, was den ursprünglichen Plan eigentlich gut gemacht hat.

Hier ist die Aufschlüsselung ihrer Idee, „Counterfactual Transport Flows“, unter Verwendung einfacher Analogien:

1. Das Problem: Erfinde das Rad nicht neu

In der Welt der KI gibt es zwei Hauptwege, wie man lernt:

Online Learning: Die KI probiert Dinge aus, scheitert, lernt daraus und versucht es erneut in Echtzeit. (Wie ein Koch, der beim Kochen abschmeckt und nachwürzt).
Offline Learning: Die KI schaut sich nur ein riesiges Notizbuch vergangener Versuche (Logs) an, um zu lernen. Sie kann nicht mehr direkt auf die reale Welt zugreifen.

Das Problem beim Offline Learning ist: Wenn die KI versucht, einen „perfekten“ neuen Plan zu erfinden, den sie noch nie zuvor gesehen hat, halluziniert sie oft oder macht gefährliche Fehler. Es ist, als würde ein Koch versuchen, ein völlig neues Gericht zu erfinden, basierend nur auf einer Liste von Zutaten, die er in der Vergangenheit gesehen hat, ohne es jemals tatsächlich gekocht zu haben. Er würde am Ende vielleicht etwas Ungenießbares servieren.

2. Die Lösung: Die „Was wäre wenn?“-Karte

Die Autoren schlagen eine Methode namens Counterfactual Transport Flows vor. Denken Sie an dies als eine „Was wäre wenn?“-Karte für Entscheidungen.

Anstatt zu versuchen, einen brandneuen perfekten Plan zu generieren, betrachtet die KI einen spezifischen, leicht fehlerhaften Plan (die „Quelle“) und fragt: „Wenn ich hier etwas andere Entscheidungen getroffen hätte, hätte ich dann ein besseres Ergebnis erzielen können?“

Um dies zu beantworten, nutzt die KI einen Latenten Raum. Stellen Sie sich eine riesige, unsichtbare 3D-Karte vor, auf der jeder mögliche Pfad, den ein Roboter oder Agent nehmen könnte, ein Punkt ist.

Die Quelle: Ein Punkt, der einen Pfad darstellt, der nicht besonders gut gelaufen ist (geringes Feedback).
Das Ziel: Die KI sucht auf dieser Karte in der Umgebung dieses Punktes nach einem nahegelegenen Punkt, der einen Pfad repräsentiert, der viel besser verlaufen ist (hohes Feedback).

3. Die Magie: Der „Transport Flow“

Sobald die KI einen nahegelegenen „besseren“ Pfad gefunden hat, springt sie nicht einfach dorthin. Das wäre so, als würde man in eine andere Stadt teleportieren; man würde seinen ursprünglichen Kontext verlieren.

Stattdessen lernt die KI einen Flow (Fluss). Stellen Sie sich eine sanfte Flussströmung vor.

Die KI lernt die Richtung der Strömung, die vom „schlechten“ Pfad zum „guten“ Pfad fließt.
Sie lernt diese Strömung speziell für diesen Ausgangspunkt. Es ist keine allgemeine Strömung für alle; es ist eine maßgeschneiderte Strömung für Ihre spezifische Situation.

Dies ist der „Transport Flow“. Er drückt den ursprünglichen Plan sanft entlang eines glatten Pfades in Richtung des besseren Ergebnisses.

4. Der Regler: Wie viel soll verändert werden?

Der coolste Teil dieses Systems ist ein „Drehregler“, der Refinement Strength ( $\alpha$ ) genannt wird.

Auf 0 drehen: Sie bleiben exakt dort, wo Sie gestartet sind (der ursprüngliche Plan).
Auf 1 drehen: Sie folgen der Strömung bis zum Ende zum „besseren“ Pfad, der in den Daten gefunden wurde.
Auf 0,5 drehen: Sie gehen den Weg zur Hälfte.

Dies ermöglicht es dem Nutzer zu entscheiden: „Ich möchte das Ergebnis verbessern, aber ich möchte den Plan nicht zu sehr verändern, weil ich um die Sicherheit besorgt bin.“ Es bietet eine perfekte Balance zwischen Konservatismus (sicher bleiben) und Verbesserung (bessere Ergebnisse erzielen).

5. Wie sie es getestet haben

Die Forscher testeten dies in Standard-Roboter-Simulationsspielen (wie einem Roboter-Ameisen-Agenten, der durch ein Labyrinth navigiert, oder einer Geparden-Simulation).

Sie nahmen Pfade, die Roboter in der Vergangenheit genommen hatten, welche zwar okay, aber nicht großartig waren.
Sie nutzten ihre Methode, um diese Pfade in Richtung besserer Ergebnisse zu „drücken“, die in den Daten vorhanden waren.
Das Ergebnis: Die Roboter erzielten bessere Werte (mehr „Feedback“), ohne in seltsame, unmögliche Bewegungen abzuweichen. Sie blieben nah an ihrem ursprünglichen Verhalten, waren aber etwas intelligenter.

Zusammenfassung

Kurz gesagt sagt dieses Paper: „Versuche nicht, eine perfekte Zukunft aus dem Nichts zu erfinden. Schau stattdin darauf, was du bereits getan hast, finde eine etwas bessere Version desselben Dings, die in deiner Historie existiert, und steuere deinen aktuellen Plan sanft in diese Richtung.“

Es ist wie ein GPS, das einem nicht sagt, man solle in eine andere Stadt fahren, sondern eher sagt: „Sie sind auf der richtigen Straße, aber wenn Sie hier eine bestimmte Ausfahrt nehmen und hier links abbiegen, sparen Sie 5 Minuten und vermeiden dieses Schlagloch.“

Technisches Resümee: Counterfactual Transport Flows für die konservative Offline-Trajektorien-Verfeinerung

1. Problemformulierung

Die Arbeit adressiert eine grundlegende Einschränkung im Offline Reinforcement Learning (RL): die Schwierigkeit, beobachtetes Verhalten zu verbessern, ohne über den Support der geloggten Daten hinaus zu extrapolieren. Während Standard-RL reaktive Zustands-Aktions-Abbildungen lernt, scheitert es oft daran, explizit zu modellieren, wie eine spezifische Trajektorie mit geringem Ergebnis lokal revidiert werden könnte, um erfolgreich zu sein. Bestehende Offline-Methoden beschränken die Policies entweder durch Wert-Strafen (Value Penalties) oder nutzen generative Modelle (Diffusion/Flow), um neue Verhaltensweisen zu erzeugen, wobei sie oft auf der Übergangsebene operieren oder globale Policies statt instanzspezifischer Verbesserungen lernen.

Die Autoren formulieren das Problem als quellen-konditionierte Trajektorien-Verfeinerung (source-conditioned trajectory refinement). Gegeben ist eine initiale Kandidaten-Trajektorie $\tau^-$ mit geringem Feedback aus der Welt (z. B. niedriger Return, Sicherheitsverletzungen), ist das Ziel, eine lokale Revision hin zu einer nahen Alternative $\tau^*$ zu lernen, die ein verbessertes Feedback bietet und gleichzeitig innerhalb der Verhaltensverteilung der Offline-Daten plausibel bleibt. Dies wird als das Finden einer machbaren Trajektorie konzipiert, welche die Abweichung von der Quelle minimiert und gleichzeitig eine Verbesserungs-Margen $\delta$ erfüllt:
$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$
wobei $R(\tau)$ das messbare Feedback der Welt darstellt und $d_\tau$ die Trajektorien-Ebene-Abweichung misst.

2. Methodik: Counterfactual Transport Flows

Das vorgeschlagene Framework, Counterfactual Transport Flows, lernt, eine Quellentrajektorie in einem latenten Trajektorienraum mittels Conditional Flow Matching hin zu einer besseren Alternative zu transportieren. Die Methode operiert in drei Hauptstadien:

A. Konstruktion lokaler Präferenz-Paare

Anstatt eine globale Policy zu lernen, konstruiert die Methode schwache lokale Präferenz-Paare aus den Offline-Daten. Für eine gegebene Quellentrajektorie $\tau^-$ führt der Algorithmus folgende Schritte aus:

Kodiert Trajektorien mittels eines Encoders $\phi$ in einen latenten Raum.
Identifiziert eine lokale latente Nachbarschaft $\mathcal{N}(\tau^-)$ ähnlicher Trajektorien.
Wählt eine Ziel-Trajektorie $\tau^+$ aus dieser Nachbarschaft aus, die das Verbesserungskriterium erfüllt ( $R(\tau^+) \ge R(\tau^-) + \delta$ ).
Bildet ein Paar $(\tau^-, \tau^+)$ , das eine „kontrafaktische“ Revision darstellt: was der Agent unter ähnlichen Bedingungen anders hätte machen können, um ein besseres Feedback zu erzielen.

B. Source-Conditioned Flow Matching

Die Verfeinerung wird als kontinuierlicher Transportprozess modelliert, nicht als Einmal-Vorhersage (one-shot prediction).

Latente Interpolation: Für jedes Paar wird ein linearer Interpolationspfad definiert: $z_s = (1-s)z^- + s z^+$ , wobei $z^- = \phi(\tau^-)$ und $z^+ = \phi(\tau^+)$ , mit $s \sim U(0, 1)$ .
Konditioniertes Vektorfeld: Das Modell lernt ein Vektorfeld $v_\theta(z_s, s \mid z^-)$ , das spezifisch auf die Quellentrajektorie $z^-$ konditioniert ist. Dies stellt sicher, dass die Richtung der Verfeinerung instanzspezifisch ist und lernt, wie diese spezifische Trajektorie revidiert werden kann, anstatt eine globale Richtung hin zu Regionen mit hohem Feedback zu lernen.
Trainingsziel: Das Modell wird unter Verwendung des Flow-Matching-Ziels trainiert, um die Differenz zwischen der vorhergesagten Geschwindigkeit und der Zielgeschwindigkeit ( $z^+ - z^-$ ) zu minimieren:
$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$

C. Inferenz mit Verfeinerungsstärke

In der Inferenzphase nimmt die Methode eine initiale Kandidaten-Trajektorie $\tau^-$ , kodiert sie zu $z^-$ und integriert das gelernte Vektorfeld. Die Integration wird an einem Verfeinerungsstärke-Parameter $\alpha \in [0, 1]$ gestoppt:
$\tilde{z} = z_\alpha$
Der resultierende latente Zustand wird dekodiert, um die verfeinerte Trajektorie $\tau^* = \psi(\tilde{z})$ zu erzeugen.

$\alpha = 0$ : Rekonstruiert die ursprüngliche Trajektorie (konservativ).
$\alpha = 1$ : Transportiert die Trajektorie vollständig hin zum lokalen Ziel mit hohem Feedback.
$0 < \alpha < 1$ : Ermöglicht einen kontinuierlichen Trade-off zwischen dem Bewahren des ursprünglichen Verhaltens und der Anwendung stärkerer Verbesserungen.

3. Zentrale Beiträge

Die Autoren heben drei primäre Beiträge hervor:

Formulierung: Sie definieren die Offline-Entscheidungsverbesserung als quellen-konditionierte Trajektorien-Verfeinerung basierend auf Welt-Feedback, was sich deutlich von globaler Policy-Optimierung oder unbeschränkter Trajektorien-Generierung unterscheidet.
Methodik: Sie schlagen vor, lokale Präferenz-Paare aus beobachteten Ergebnissen zu konstruieren und Conditional Flow Matching zu nutzen, um instanzspezifische Verfeinerungsrichtungen im latenten Trajektorienraum zu lernen.
Validierung: Sie validieren den Ansatz auf D4RL-Benchmarks (AntMaze und MuJoCo) und demonstrieren verbesserte Ergebnisse bei gleichzeitig konservativen Trajektorien-Abweichungen, ohne dass menschliche Präferenz-Labels oder separate Belohnungsmodelle erforderlich sind.

4. Experimentelle Ergebnisse

Die Experimente wurden auf D4RL-Datensätzen durchgeführt, einschließlich AntMaze und MuJoCo (HalfCheetah), unter Verwendung eines Trajektorien-Autoencoders zur Konstruktion des latenten Raums.

Baselines: Die Methode wurde verglichen mit:
- Nearest Improved Neighbor: Direkter Ersatz der Quelle durch die am nächsten liegende Trajektorie mit höherem Feedback.
- Random Improved Trajectory: Ersatz der Quelle durch eine zufällige Trajektorie mit höherem Feedback.
- Non-local Flow Matching: Training des Flow-Modells ohne lokale Beschränkungen bei der Zielwahl.
Performance:
- AntMaze: Die vorgeschlagene Methode erreichte eine Feedback-Verbesserung von +69.44 bei der geringsten Aktions-Abweichung (1.41) und latenten Abweichung (27.00). Im Gegensatz dazu erzielte die „Random Improved Trajectory“-Baseline höhere Rohgewinne (+117.50), aber mit signifikant größeren Abweichungen (Aktion: 2.18, Latent: 62.50), was auf mangelnde Konservativität hindeutet. Die „Non-local Flow Matching“-Baseline verschlechterte das Feedback sogar (-11.48).
- MuJoCo: Ähnliche Trends wurden beobachtet. Die vorgeschlagene Methode erreichte eine Feedback-Verbesserung von +1180.20 bei Abweichungen von 1.58 (Aktion) und 31.40 (Latent). Der „Nearest Improved Neighbor“ erzielte eine etwas geringere Rohverbesserung (+1050.30), aber mit höheren Abweichungen (2.14/42.50).
Analyse: Die Ergebnisse zeigen, dass sowohl die lokale Zielkonstruktion als auch die Quellen-Konditionierung für eine konservative Verfeinerung notwendig sind. Globale oder nicht-lokale Ansätze scheitern daran, stabile Verfeinerungsrichtungen zu lernen, während direkte Ersetzungsstrategien zu viel Verhaltens-Fidelität opfern.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass Counterfactual Transport Flows einen vielversprechenden Weg für zuverlässige Offline-Verbesserung bieten, indem sie:

Verbesserung in Daten fundieren: Die Methode verbessert das Verhalten ausschließlich anhand skalaren Welt-Feedbacks (z. B. Returns) aus geloggten Daten, wodurch menschliche Präferenz-Labels, separate Belohnungsmodelle oder Online-Interaktion mit der Umgebung entfallen.
Interpretierbarkeit bieten: Die Transport-Perspektive bietet Interpretierbarkeit auf Trajektorien-Ebene. Das gelernte Vektorfeld zeichnet explizite Verfeinerungspfade nach und bietet „kontrafaktische“ Erklärungen dafür, wie Low-Feedback-Verhalten revidiert werden kann.
Kontrollierbarkeit ermöglichen: Der Parameter für die Verfeinerungsstärke $\alpha$ erlaubt einen abstimmbaren Trade-off zwischen Konservativität (Bewahrung des ursprünglichen Vorschlags) und aggressiver Verbesserung.

Die Autoren bleiben bescheiden und merken an, dass der Begriff „kontrafaktisch“ im Sinne der Trajektorien-Verfeinerung (basierend auf beobachteten Daten) und nicht im Sinne der formalen kausalen Inferenz verwendet wird. Sie identifizieren zukünftige Forschungsrichtungen, einschließlich adaptiver Nachbarschaftsauswahl, theoretischer Garantien für dekodierte Trajektorien und der Integration mit gelernten Weltmodellen für iteratives hypothetisches Planen.