🤖 machine learning

Decoupled Guidance Diffusion for Adaptive Offline Safe Reinforcement Learning

Dieser Beitrag stellt Safe Decoupled Guidance Diffusion (SDGD) vor, ein neuartiges Offline-Sicherheits-Reinforcement-Learning-Framework, das kostenbasierte classifier-free Guidance mit Feasible Trajectory Relabeling kombiniert, um Sicherheitsbeschränkungen effektiv von der Belohnungsoptimierung zu entkoppeln und dadurch in adaptiven Budgetszenarien sowohl eine überlegene Sicherheitskonformität als auch hohe Renditen zu erzielen.

Ursprüngliche Autoren: Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Autofahren bei, haben aber nur eine Videoaufnahme davon, wie andere Autos in der Vergangenheit gefahren sind. Sie können den Roboter nicht herumfahren lassen und abstürzen lassen, damit er lernt; er muss strikt aus diesem alten Filmmaterial lernen. Dies ist Offline-Reinforcement-Learning.

Fügen Sie nun eine Wendung hinzu: Manchmal möchten Sie, dass der Roboter sehr vorsichtig ist (wie beim Fahren in einer Schulzone), und zu anderen Zeiten möchten Sie, dass er etwas aggressiver ist (wie beim Fahren auf einer offenen Autobahn). Das „Sicherheitsbudget" ändert sich je nach Situation. Dies ist Adaptives sicheres Reinforcement-Learning.

Das Problem ist, dass die meisten bestehenden Methoden wie ein Schüler sind, der versucht, eine bestimmte Route für eine bestimmte Geschwindigkeitsbegrenzung auswendig zu lernen. Wenn sich die Geschwindigkeitsbegrenzung ändert, geraten sie in Verwirrung oder stürzen ab.

So löst die neue Methode des Papiers, SDGD, das Problem, erklärt durch einfache Analogien:

1. Der alte Weg: „Schritt für Schritt" versus das „verwischte Foto"

Der alte Weg (Autoregressive Modelle): Stellen Sie sich vor, Sie versuchen, eine lange, kurvenreiche Straße zu zeichnen, indem Sie ein winziges Segment zeichnen, dann das nächste, dann das nächste. Wenn Sie im ersten Segment einen winzigen Fehler machen, muss das nächste Segment dies ausgleichen, und am Ende liegt Ihre Straße völlig außerhalb der Karte. So funktionierten ältere KI-Planer; sie machten kleine Fehler, die sich aufsummieren und dazu führten, dass der Roboter Sicherheitsregeln verletzte.
Der neue Weg (Diffusionsmodelle): Stellen Sie sich vor, Sie nehmen ein verwischtes, verrauschtes Foto der gesamten Straße auf einmal auf und schärfen es langsam, bis der gesamte Pfad klar ist. Das ist es, was Diffusion tut. Es generiert die gesamte Reise gemeinsam, sodass sich kleine Fehler nicht aufsummieren.

2. Das Kernproblem: Vermischung von „Sicherheit" und „Geschwindigkeit"

In der Vergangenheit versuchte die KI, Sicherheit und Geschwindigkeit auszugleichen, indem sie sie als zwei entgegengesetzte Kräfte behandelte, die den Roboter in verschiedene Richtungen zogen.

Die Analogie: Stellen Sie sich einen Fahrer vor, dem gesagt wird: „Fahren Sie so schnell wie möglich, aber fahren Sie nicht gegen die Wand." Die KI würde versuchen, den perfekten Winkel zu berechnen, um schnell und sicher zu bleiben. Aber wenn sich die „Wand" (Sicherheitsgrenze) bewegt, gerät die KI in Verwirrung. Oft versucht sie, schnell zu fahren, und fährt versehentlich gegen die Wand, weil sie dachte, die Wand sei woanders.

3. Die SDGD-Lösung: Das „Zwei-Trainer"-System

Die Autoren erkannten, dass Sicherheit und Geschwindigkeit nicht gegeneinander kämpfen sollten; sie sollten unterschiedliche Aufgaben haben. Sie schufen ein System mit zwei distincten „Trainern":

Trainer 1: Der Sicherheitsdurchsetzer (Classifier-Free Guidance)
- Aufgabe: Dieser Trainer betrachtet das „Sicherheitsbudget" (z. B. „Sie können heute nur 10 Punkte für Risiko ausgeben").
- Handlung: Er versucht nicht, den perfekten Winkel zu berechnen. Stattdessen sagt er einfach: „Wenn der Pfad, den Sie zeichnen, in die 'Gefahrenzone' geht (über dem Budget), löschen Sie ihn und zeichnen Sie ihn neu." Er fungiert wie ein Filter, der nur sichere Pfade existieren lässt. Ihn interessiert nicht, wie schnell Sie fahren, sondern nur, dass Sie innerhalb der Linien bleiben.
Trainer 2: Der Geschwindigkeitstrainer (Reward-Gradient Guidance)
- Aufgabe: Dieser Trainer betrachtet die sicheren Pfade und sagt: „Von allen sicheren Pfaden, die wir haben, welcher bringt Sie am schnellsten zum Ziel?"
- Handlung: Er stößt den Roboter in Richtung des schnellsten sicheren Weges.

Die Magie: Durch die Trennung dieser beiden Aufgaben kann der Roboter sofort von „Schulzonen-Modus" (enges Sicherheitsbudget) auf „Autobahn-Modus" (lockeres Budget) wechseln, indem er Trainer 1 einfach anweist, die Regeln zu ändern. Er muss nicht neu lernen, wie man fährt.

4. Die heimtückische Falle: Das „Feasible Trajectory Relabeling" (FTR)

Es gab einen Haken. Selbst mit zwei Trainern könnte der „Geschwindigkeitstrainer" gierig werden.

Das Problem: Manchmal beinhaltet der schnellste Weg, eine hohe Punktzahl zu erzielen, ein enormes Risiko zu Beginn der Reise. Wenn der Roboter dieses Risiko eingeht, könnte er sofort abstürzen, aber der „Geschwindigkeitstrainer" sieht die hohe potenzielle Punktzahl und sagt: „Wagen Sie es!"
Die Lösung (FTR): Die Autoren führten eine Regel namens Feasible Trajectory Relabeling ein.
- Die Analogie: Stellen Sie sich einen Schüler vor, der bei einer Prüfung eine „1" bekommt, aber bei der ersten Frage geschummelt hat. Der Lehrer (FTR) sagt: „Obwohl Sie eine '1' bekommen haben, werden wir, weil Sie im ersten Teil geschummelt haben, Ihre gesamte Prüfung mit 'ungenügend' bewerten."
- Wie es funktioniert: Das System betrachtet die ersten paar Schritte des Plans des Roboters. Wenn diese ersten Schritte gefährlich sind (selbst wenn der Rest des Plans gut aussieht), sagt das System dem „Geschwindigkeitstrainer": „Geben Sie für diesen Pfad keine Punkte." Dies verhindert, dass der Roboter gefährliche Abkürzungen nimmt, nur um eine hohe Punktzahl zu erzielen.

5. Die Ergebnisse: Das perfekte Gleichgewicht

Die Forscher testeten dies an 38 verschiedenen Fahr- und Roboteraufgaben (wie ein Auto, das versucht, einen Knopf zu drücken, oder eine Drohne, die durch einen Kurs fliegt).

Die Punktzahl: Ihre Methode (SDGD) war sicher genug, um die Regeln in 36 von 38 Aufgaben zu bestehen.
Die Leistung: Unter allen Methoden, die sicher waren, war SDGD in 21 dieser Aufgaben die schnellste (höchste Belohnung).
Die Flexibilität: Sie konnten die Sicherheitsregeln ändern, während der Roboter lief, und der Roboter passte sich sofort an, ohne neu trainiert werden zu müssen.

Zusammenfassung

Denken Sie an SDGD als ein intelligentes Navigationssystem, das nicht nur die schnellste Route berechnet.

Es zeichnet zunächst eine Karte, die nur Straßen enthält, die für Ihre aktuelle Geschwindigkeitsbegrenzung legal sind (Sicherheits-Trainer).
Dann wählt es die schnellste Route von dieser legalen Karte aus (Geschwindigkeits-Trainer).
Es hat eine spezielle Regel, die besagt: „Wenn die erste Kurve illegal ist, ist die gesamte Route illegal", was verhindert, dass das System versucht, sich einen schnelleren Weg zu schummeln.

Dies ermöglicht es Robotern, sicher und effizient zu sein, selbst wenn sich die Straßenregeln im laufenden Betrieb ändern.

Technischer Zusammenfassung: Safe Decoupled Guidance Diffusion (SDGD)

Problemdefinition
Offline-Sicheres Reinforcement Learning (RL) zielt darauf ab, Strategien aus vorab gesammelten Datensätzen zu erlernen, die die Aufgabenleistung optimieren und gleichzeitig Sicherheitsbeschränkungen einhalten. Eine kritische Herausforderung entsteht beim Einsatz, wo Sicherheitsbudgets (Kostenlimits) nicht festgelegt sind; sie können sich über Aufgaben, Benutzer oder Betriebsbedingungen hinweg ändern und sogar innerhalb eines einzelnen Episoden dynamisch variieren. Bestehende Methoden haben Schwierigkeiten mit dieser Anpassungsfähigkeit. Autoregressive Trajektoriemodelle leiden unter akkumulierten Rollout-Fehlern, was zu erheblichen Abweichungen der kumulierten Kosten über lange Horizonte führt. Im Gegensatz dazu verlassen sich diffusionsbasierte Planer, obwohl sie eine gemeinsame Trajektorien-Generierung ermöglichen, oft auf Classifier-Guidance oder Gradienten-Switching, um Sicherheit durchzusetzen. Diese Ansätze erfordern, dass Kostenklassifikatoren zuverlässige Signale auf verrauschten Zwischen-Trajektorien liefern, eine Bedingung, für die empirische Evidenz auf Fragilität hindeutet; Kostenklassifikatoren zeigen oft eine niedrige und instabile Korrelation mit den wahren kumulierten Kosten, was zu unzuverlässiger Einhaltung von Beschränkungen führt.

Methodik
Die Arbeit schlägt Safe Decoupled Guidance Diffusion (SDGD) vor, einen diffusionsbasierten Planer, der die adaptive Generierung sicherer Trajektorien als Sampling aus einer eingeschränkten Trajektorienverteilung neu interpretiert. Die Kernidee ist eine Asymmetrie zwischen Sicherheit und Belohnung: Sicherheit wirkt als harte Einschränkung des Trajektorien-Trägers (definiert, wo gesampelt wird), während Belohnung als Präferenz wirkt, die die Verteilung innerhalb dieses Trägers formt (definiert, welche Samples bevorzugt werden). SDGD entkoppelt diese Rollen in zwei separate Guidance-Mechanismen:

Cost-Limit Conditioning via Classifier-Free Guidance (CFG):
Anstatt einen separaten Kostenklassifikator zu verwenden, um den inversen Diffusionsprozess zu steuern, trainiert SDGD ein Diffusionsmodell, das direkt auf das Kostenlimit $l$ konditioniert ist. Während des Samplings wird Classifier-Free Guidance angewendet, um die Generierung zu Trajektorien zu verschieben, die das angegebene Limit erfüllen. Dieser Ansatz vermeidet die Instabilität der Differentiation verrauschter Kostenvorhersagen und ermöglicht es dem Modell, sich an variierende oder dynamische Kostenlimits ohne Nachtraining anzupassen.
Reward-Gradient Refinement:
Sobald das Sampling in Richtung des sicheren Bereichs verzerrt ist, liefert ein gelernter Belohnungsvorhersager Gradienten-Guidance, um Trajektorien für höhere Renditen zu verfeinern. Die Autoren stellen jedoch fest, dass eine direkte Belohnungsguidance unbeabsichtigt die kumulierten Kosten erhöhen kann, da Trajektorien mit hoher Rendite in Offline-Daten oft mit hohen Kosten korrelieren.
Feasible Trajectory Relabeling (FTR):
Um den „reward-induced cost drift" (durch Belohnung verursachte Kostenabweichung) zu mildern, führt SDGD FTR ein. Diese Technik formt die Belohnungsziele, die zum Trainieren des Belohnungsvorhersagers verwendet werden, neu. Spezifisch werden Trajektorien, die Kosten im ausführbaren Präfix (die initialen Schritte einer Trajektorie, die unmittelbar vor der Neuplanung ausgeführt werden) verursachen, bestraft. Durch das Trainieren des Belohnungsvorhersagers auf diesen umgelabelten Zielen wird verhindert, dass der Belohnungsgradient Samples in Bereiche lenkt, in denen hohe Renditen auf Kosten unmittelbarer Sicherheitsverletzungen erzielt werden.

Theoretische Analyse
Die Arbeit bietet eine Sampling-Zeit-Analyse erster Ordnung, die zeigt, dass FTR den durch Belohnung verursachten Kostenabdrift unterdrückt. Unter einer „prefix-restorative alignment condition", bei der der Gradient der Präfix-Unzulässigkeit positiv mit dem Gradienten der kumulierten Kosten ausgerichtet ist, führt die FTR-Korrektur einen negativen Term in die Kostenabdrift-Gleichung ein. Dies stellt sicher, dass die durch FTR-gesteuertes Sampling verursachte Kostenabweichung im Verhältnis zur kostenkonditionierten Baseline kleiner ist als die des rohen belohnungsgesteuerten Samplings.

Hauptbeiträge

Entkoppelte Guidance-Architektur: Ein neuartiges Framework, das die Durchsetzung von Sicherheit (via CFG auf Kostenlimits) von der Belohnungsoptimierung (via Belohnungsgradienten) trennt und sie als nicht austauschbare Ziele behandelt.
Feasible Trajectory Relabeling (FTR): Ein Mechanismus zur Umformung von Belohnungszielen, um zu verhindern, dass Belohnungsgradienten die Strategie in unsichere Bereiche treiben, und zwar speziell zur Adressierung der Korrelation zwischen hoher Belohnung und hohen Kosten in Offline-Daten.
Adaptives Sampling: Eine Methode, die sich an Einsatz-Kostenlimits (einschließlich dynamischer Änderungen innerhalb einer Episode) anpasst, ohne Nachtraining der Strategie oder neue Datensammlung zu erfordern.

Experimentelle Ergebnisse
Umfangreiche Evaluierungen wurden am DSRL-Benchmark durchgeführt, der 38 Aufgaben aus Safety-Gymnasium, Bullet-Safety-Gym und MetaDrive umfasst.

Sicherheitseinhaltung: SDGD erfüllte die normalisierte Kostenbeschränkung ( $\le 1$ ) bei 36 von 38 Aufgaben (94,7 %) und übertraf dabei alle Baselines (die nächstbeste erfüllte 21 Aufgaben).
Belohnungsleistung: Unter den Methoden, die die Sicherheitsbeschränkungen erfüllten, erzielte SDGD bei 21 Aufgaben die höchste Belohnung.
Anpassungsfähigkeit: In Experimenten mit variierenden Kostenlimits (10, 20, 30) und zeitvariierenden Limits innerhalb einer Episode behielt SDGD die Sicherheit bei, während es die Belohnungsleistung anpasste, wohingegen Baselines entweder bei engen Budgets Beschränkungen verletzten oder bei lockeren Budgets übermäßig konservativ blieben.
Effizienz: Die Methode erreichte eine Entscheidungseffizienz von 2,1 Hz auf einer NVIDIA A6000 GPU, was schneller ist als frühere diffusionsbasierte Methoden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass SDGD einen bedeutenden Schritt nach vorn in der adaptiven Offline-Sicherheits-RL darstellt, indem sie die Grenzen sequenzieller Fehlerakkumulation und unzuverlässiger Classifier-Guidance adressiert. Indem Sicherheit als Verteilungseinschränkung und nicht als konkurrierendes Gradientenziel neu interpretiert wird, erreicht SDGD eine robuste Sicherheitseinhaltung über diverse und dynamische Kostenbudgets hinweg. Die Autoren betonen, dass ihr Ansatz eine zuverlässige Anpassung an sich ändernde Sicherheitsbeschränkungen ohne Nachtraining ermöglicht, eine Fähigkeit, die für sicherheitskritische Domänen wie Robotik und autonomes Fahren essenziell ist. Die Arbeit kommt zu dem Schluss, dass die Entkoppelung von Sicherheits- und Belohnungsguidance, kombiniert mit FTR, den Kompromiss zwischen Beschränkungserfüllung und Leistungsoptimierung in Offline-Szenarien effektiv löst.