🤖 machine learning

STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation

STITCH-OPE ist ein modellbasiertes generatives Framework, das geführte Diffusion und Trajektorien-Stitching nutzt, um die Einschränkungen bestehender Off-Policy-Evaluationsmethoden in hochdimensionalen, langzeitigen Szenarien zu überwinden und dadurch die Varianz signifikant zu reduzieren sowie die Genauigkeit zu verbessern.

Ursprüngliche Autoren: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

Veröffentlicht 2026-07-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Videospiel zu spielen, aber Sie können den Roboter nicht wirklich das Spiel in der realen Welt spielen lassen. Vielleicht ist der Roboter zu teuer oder das Spiel zu gefährlich. Stattdessen verfügen Sie über eine riesige Bibliothek alter Videoaufnahmen, die zeigen, wie ein anderer Roboter (nennen wir ihn „Old Bot“) das Spiel spielt. Ihr Ziel ist es herauszufinden, wie gut ein neuer Roboter („New Bot“) abschneiden würde, indem Sie sich nur die alten Aufnahmen ansehen. Dies wird als Off-Policy Evaluation (OPE) bezeichnet.

Das Problem ist, dass Old Bot und New Bot sehr unterschiedlich spielen könnten. Wenn New Bot etwas versucht, das Old Bot nie getan hat, sind die alten Aufnahmen nutzlos. Wenn Sie versuchen, die Punktzahl von New Bot zu erraten, indem Sie die alten Daten einfach nur „dehnen“, wird die Mathematik chaotisch und explodiert förmlich, besonders bei langen, komplizierten Spielen.

Hier kommt STITCH-OPE ins Spiel, eine neue Methode, die wie ein cleverer Videoeditor und ein kreativer Regisseur zugleich agiert.

Das Problem mit den alten Wegen

Frühere Versuche, dieses Problem zu lösen, glichen dem Versuch, einen ganzen Film vorherzusagen, indem man versuchte, jedes einzelne Bild in einem einzigen großen Sprung vom Anfang bis zum Ende zu erraten.

Der „Importance Sampling“-Ansatz war so, als würde man versuchen, einen kaputten Film zu reparieren, indem man die Lautstärke jedes einzelnen Frames mit einer riesigen Zahl multipliziert. Wenn der Film lang ist, wird die Lautstärke so laut, dass die Lautsprecher zersplittern (die Varianz explodiert).
Der „Model-Based“-Ansatz war wie der Versuch, einen perfekten Simulator der Welt zu bauen. Aber wenn man in der ersten Sekunde einen winzigen Fehler macht, wird dieser Fehler mit jeder Sekunde größer, bis die Simulation am Ende völlig falsch ist.

Die STITCH-OPE-Lösung: Die „Lego“-Strategie

STITCH-OPE verändert das Spiel, indem es den langen Film in kleine, handhabbare Stücke zerlegt. Denken Sie an das Bauen einer langen Lego-Brücke. Anstatt zu versuchen, die ganze Brücke auf einmal zusammenzusetzen (was schwierig ist und leicht bricht), bauen Sie sie Stück für Stück, indem Sie das Ende eines kleinen Abschnitts mit dem Anfang des nächsten verbinden.

So funktioniert es, Schritt für Schritt:

Der „Kurzclip“-Editor:
Anstatt ein Modell zu trainieren, das ein ganzes 10-Minuten-Video auf einmal generiert, trainiert STICH-OPE ein „Diffusionsmodell“ (eine ausgeklügelte KI, die lernt, aus zufälligem statischem Rauschen klare Bilder zu machen), um nur kurze Clips des Spiels zu generieren. Nehmen wir an, es lernt, 8-Sekunden-Clips zu generieren. Es lernt, eine unordentliche, verrauschte Version eines Clips zu nehmen und sie so lange zu bereinigen, bis sie wie ein echter Zug aussieht, den Old Bot machen würde.
Der „Stitching“-Trick:
Um ein langes Video zu erstellen, generiert STITCH-OPE nicht alles auf einmal. Es generiert einen 8-Sekunden-Clip, hält an und fragt die KI dann: „Okay, du bist an diesem spezifischen Punkt gelandet. Generiere nun den nächsten 8-Sekunden-Clip, beginnend genau dort, wo du aufgehört hast.“ Es näht diese kurzen Clips Ende an Ende zusammen.

Warum das cool ist: Wenn die KI in der ersten Clip einen kleinen Fehler macht, ruiniert das nicht den ganzen Film. Sie korrigiert einfach den nächsten Clip basierend darauf, wo der letzte tatsächlich geendet hat. Dies verhindert die „Fehlerexplosion“, die andere Methoden plagt.

Die „Regie-Anweisung“ (Das Geheimrezept):
Nun müssen wir sicherstellen, dass diese Clips auch das zeigen, was New Bot tun würde, und nicht nur Old Bot. Die KI hat eine „Score-Funktion“ (eine Art zu wissen, was New Bot mag).

Die Falle: Wenn man der KI einfach sagt: „Tu das, was New Bot mag“, könnte sie verwirrt werden und unmögliche Bewegungen erzeugen, weil der Stil von New Bot völlig anders ist als der von Old Bot.
Die Lösung: STITCH-OPE nutzt einen „Negative Guidance“-Trick. Es sagt der KI: „Tu das, was New Bot mag, ABER subtrahiere die Dinge, die Old Bot geliebt hat zu tun.“
Die Analogie: Stellen Sie sich vor, Sie regissieren eine Szene. Old Bot liebt es, im Kreis zu tanzen. New Bot möchte in einer geraden Linie laufen. Wenn Sie nur sagen: „Laufe in einer geraden Linie“, könnte der Schauspieler stecken bleiben. Aber wenn Sie sagen: „Tanze nicht im Kreis, und dann laufe“, weiß der Schauspieler genau, was er vermeiden muss. Dies verhindert, dass die KI in der „Komfortzone“ der Bewegungen von Old Bot stecken bleibt, und zwingt sie dazu, den Stil von New Bot zu explorieren.

Was die Zahlen sagen

Die Autoren haben dies an einigen berühmten Roboter-Kontrollaufgaben (wie das Hüpfen, Gehen oder Laufen eines Roboters) unter Verwendung von Datensätzen wie D4RL und OpenAI Gym getestet. Sie setzten die Spiellänge auf 768 Schritte für die großen Roboter und auf 256 oder 196 Schritte für die kleineren.

Die Ergebnisse waren vielversprechend:

Genauigkeit: STITCH-OPE schlug fast alle anderen Methoden in 11 von 15 spezifischen Testfällen.
Ranking: Es war sehr gut darin, herauszufinden, welcher Roboter der „beste“ war, selbst wenn die Roboter sehr unterschiedlich zu dem in den Aufnahmen waren.
Die „Fenstergröße“: Sie fanden heraus, dass das Generieren von Clips mit einer Länge von 8 (die Fenstergröße $w$ ) der ideale Mittelweg war. Es balancierte die Notwendigkeit, Dinge zusammenzunähen, ohne zu viele Fehler zu machen.

Was sie (noch) nicht wissen

Das Paper ist vorsichtig und stellt klar, dass dies kein Zauberstab für alles ist.

Die „unmöglichen“ Bewegungen: Wenn New Bot versucht, etwas zu tun, das Old Bot nie getan hat (wie von einer Klippe zu springen, während Old Bot nur am Boden ging), könnte die KI verwirrt werden und eine falsche, unmögliche Bewegung erfinden. Die Mathematik setzt voraus, dass Old Bot zumindest etwas von dem gesehen hat, was New Bot tut.
Reale Komplexität: Obwohl es in diesen Computersimulationen hervorragend funktioniert, geben die Autoren zu, dass sie noch nicht sicher sind, ob es auch perfekt in der unordentlichen, realen Welt funktionieren wird, in der die Daten unvollständig sind oder der Roboter nicht alles klar sehen kann.

Das Fazit

STITCH-OPE legt nahe, dass wir, indem wir lange, beängstigende Probleme in kleine, zusammennähenbare Teile zerlegen und eine clevere „Tu das nicht“-Regel verwenden, um die KI zu leiten, viel besser vorhersagen können, wie ein neuer Roboter abschneiden wird, ohne ihn jemals die reale Welt berühren zu lassen. Es ist ein großer Schritt nach vorn für das sichere Testen von Robotern in Hochrisikosituationen, aber die Autoren erinnern uns daran, dass es sich immer noch um einen Erfolg auf Basis von Simulationen handelt – die reale Welt ist die nächste Grenze.

Technisches Resümee: STITCH-OPE

Problemstellung

Off-Policy Evaluation (OPE) zielt darauf ab, die Leistung einer Zielpolitik ( $\pi$ ) unter Verwendung von Offline-Daten zu schätzen, die von einer anderen Verhaltenspolitik (Behavior Policy, $\beta$ ) gesammelt wurden. Dies ist entscheidend in Domänen wie der Robotik und dem Gesundheitswesen, in denen Online-Interaktionen kostspielig oder unsicher sind. Bestehende OPE-Methoden haben jedoch Schwierigkeiten mit hochdimensionalen, langfristigen Problemen (Long-Horizon) aufgrund von zwei primären Ausfallmodi:

Importance Sampling (IS): Leidet unter dem „Fluch des Horizonts“, bei dem die Varianz mit dem Evaluierungshorizont exponentiell ansteigt.
Modellbasierte Methoden: Während sie sampeleffizient sind, leiden sie unter kumulativen Fehlern (Compounding Errors) beim Erlernen von Dynamikmodellen für lange Trajektorien, was zu ungenauen Wertschätzungen führt.
Verteilungsvarianz (Distribution Shift): Unterschiede zwischen $\beta$ und $\pi$ führen zu ungenauen Schätzungen, was es schwierig macht, die Auswahl der Politik vor dem Einsatz zu vertrauen.

Jüngste Versuche unter Verwendung von modellfreier Dichteverhältnis-Schätzung (Density Ratio Estimation) haben eine schlechte empirische Leistung gezeigt, wenn die Verhaltens- und Zielpolitiken signifikant voneinander abweichen.

Methodik: STITCH-OPE

Die Autoren schlagen STITCH-OPE (Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE) vor, ein modellbasiertes generatives Framework, das auf Denoising-Diffusionsmodellen basiert. Die Kerninnovation liegt in der Generierung synthetischer Trajektorien für die Zielpolitik durch das Steuern eines Diffusionsmodells, das auf Verhaltensdaten trainiert wurde, wobei gleichzeitig die kumulativen Fehler einer vollständigen Trajektoriengenerierung vermieden werden.

1. Guided Diffusion zur Korrektur des Distribution Shifts

Anstatt für jede neue Zielpolitik ein Modell neu zu trainieren, trainiert STITCH-OPE vorab ein Diffusionsmodell auf dem Verhaltensdatensatz ( $D_\beta$ ), um die Verteilung der Verhaltens-Trajektorien $p_\beta(\tau)$ zu lernen. Während der Inferenz generiert es Trajektorien der Zielpolitik ( $p_\pi$ ), indem es den Denoising-Prozess steuert (Guiding).

Die Guidance-Funktion $g(\tau)$ wird aus dem Likelihood-Verhältnis zwischen der Ziel- und der Verhaltenspolitik abgeleitet. Durch die Interpretation des Likelihood-Verhälts als Klassifikationsdichte in der Diffusionssteuerung formulieren die Autoren die Guidance als Differenz zwischen den Score-Funktionen:
$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$
Dies ermöglicht es dem Modell, die Sampling-Verteilung von $p_\beta$ in Richtung $p_\pi$ zu verschieben, ohne neu zu trainieren.

2. Negative Behavior Guidance

Ein wesentlicher technischer Beitrag ist die Einbeziehung des negativen Verhaltens-Score-Terms ( $-\nabla_\tau \log \beta$ ).

Problem: Die ausschließliche Verwendung des Zielpolitik-Scores ( $\nabla_\tau \log \pi$ ) kann dazu führen, dass die gesteuerte Sampling-Verteilung in die Hochdichte-Regionen der Verhaltenspolitik kollabiert, selbst wenn diese Regionen unter der Zielpolitik unwahrscheinlich sind (Über-Regularisierung).
Lösung: Das Subtrahieren des Verhaltens-Scores verhindert diesen Kollaps und stellt sicher, dass das Modell über die Daten hinaus generalisiert und den Distribution Shift korrekt adressiert. Die Autoren generalisieren dies mit Koeffizienten $\alpha$ und $\lambda$ (wobei typischerweise $\lambda < \alpha$ gilt), um die relative Wichtigkeit der Politiken zu steuern.

3. Trajektorien-Stitching mit bedingter Diffusion

Um den kumulativen Fehler der Langzeit-Generierung zu adressieren, generiert STITCH-OPE keine vollständigen Trajektorien in einem einzigen Durchgang. Stattdessen:

Sub-Trajektorien-Generierung: Das Diffusionsmodell wird auf kurzen Sub-Trajektorien der Länge $w \ll T$ trainiert.
Bedingtes Sampling (Conditional Sampling): Die Generierung erfolgt in einer semi-autoregressiven Weise. Das Modell generiert eine Sub-Trajektorie, die auf dem Endzustand der zuvor generierten Sub-Trajektorie konditioniert ist.
Stitching: Diese Teil-Rollouts werden end-zu-end zusammengenäht (gestitched), um eine vollständige Trajektorie zu bilden.

Dieser Ansatz behandelt die Verhaltens-Trajektorienverteilung als eine Mischung über Sub-Trajektorien. Indem das Modell nur auf den unmittelbaren vorherigen Zustand konditioniert (anstatt auf die gesamte Historie), behält es eine höhere Entropie und eine breitere Abdeckung der Verhaltensdaten-Modi bei, was die Kompositionalität und die Generalisierung auf neue Anfangszustände signifikant verbessert.

Theoretische Garantien

Das Paper liefert eine theoretische Schranke für den mittleren quadratischen Fehler (MSE) des STITCH-OPE-Schätzers (Theorem 3.3).

Unter milden Annahmen (beschränktes Likelihood-Verhältnis und beschränkter Fehler im gelernten Verhaltensmodell) ist der MSE nach oben begrenzt.
Entscheidend ist, dass die Schranke von der Sub-Trajektorien-Länge $w$ abhängt und nicht vom gesamten Horizont $T$ .
Dies führt zu einer exponentiellen Reduktion der Varianz im Vergleich zum Standard-Importance-Sampling (welches als $O(\exp(T))$ skaliert) und einer günstigeren polynomialen Abhängigkeit ( $O(T^2)$ ) im Vergleich zu Full-Trajectory-Diffusionsmethoden.

Empirische Ergebnisse

Die Autoren evaluierten STICH-OPE auf dem D4RL-Benchmark (Hopper, Walker2d, HalfCheetah) und OpenAI Gym (Pendulum, Acrobot).

Leistung: STITCH-OPE übertraf State-of-the-Art-Baselines (einschließlich Fitted Q-Evaluation, Doubly Robust, Importance Sampling und Policy-Guided Diffusion) in 11 von 15 Instanzen über verschiedene Metriken hinweg:
- Log RMSE: Signifikante Reduktion des Fehlers.
- Rangkorrelation: Verbesserte Fähigkeit, Zielpolitiken korrekt zu ranken.
- Regret@1: Niedrigerer Regret bei der Auswahl der besten Politik.
Diffusionspolitiken: Die Methode konnte komplexe Zielpolitiken erfolgreich evaluieren, die als Diffusionsmodelle definiert sind – eine Aufgabe, bei der andere Schätzer aufgrund des Fehlens expliziter Wahrscheinlichkeitsverteilungen Schwierigkeiten haben.
Ablation: Experimente bestätigten, dass die optimale Leistung mit einer kleinen Fenstergröße ( $w=8$ ) und einer Guidance-Konfiguration auftritt, bei der der negative Verhaltens-Term vorhanden ist ( $0 < \lambda < \alpha$ ).

Bedeutung und Ansprüche

Das Paper behauptet, dass STITCH-OPE die erste Arbeit ist, die eine robuste Off-Policy-Evaluation in hochdimensionalen, langfristigen Aufgaben demonstriert. Seine Bedeutung liegt in:

Überbrückung der Lücke: Es überbrückt erfolgreich die Lücke zwischen modellbasierter OPE (Sampeleffizienz) und vollständiger Offline-Diffusion-Trajektorien (generative Kapazität), indem es kumulative Fehler durch Trajektorien-Stitching mildert.
Skalierbarkeit: Es zeigt, dass Diffusionsmodelle auf OPE in hochdimensionalen Räumen angewendet werden können, ohne unter der exponentiellen Varianzexplosion zu leiden, die typisch für IS-Methoden ist.
Generalisierung: Die Kombination aus bedingter Diffusion und negativer Verhaltens-Guidance ermöglicht eine robuste Evaluierung von Zielpolitiken, die signifikant von der Verhaltenspolitik abweichen, einschließlich solcher mit unterschiedlichen Anfangszuständen oder Aktionsverteilungen.

Die Autoren bleiben bescheiden hinsichtlich der Einschränkungen und merken an, dass die Methode auf der Annahme beruht, dass die Verhaltensdaten den Support der Zielpolitik abdecken (Annahme 3.1), und dass die Evaluierung der Trajektorien-Fidelität in komplexen, teilweise beobachtbaren Zuständen weiterhin eine Herausforderung darstellt. Sie weisen zudem darauf hin, dass die Anwendbarkeit auf domänenspezifische Probleme außerhalb der Robotik eine offene Frage bleibt.