🤖 machine learning

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRect ist ein trainingsfreier Algorithmus, der durch die Durchsetzung von Beschränkungen ausschließlich auf der finalen sauberen Trajektorie mittels Receding-Horizon-Denoising eine sichere Planung in Diffusionsmodellen gewährleistet und dadurch die Überbeschränkung von Zwischenschritten vermeidet, die in bestehenden Ansätzen typischerweise die Probenqualität verschlechtert.

Ursprüngliche Autoren: Paolo Giaretta, Zeyang Li, Navid Azizan

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paolo Giaretta, Zeyang Li, Navid Azizan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch einen belebten Raum zu gehen, um eine Tasse Kaffee zu holen. Sie haben einen sehr intelligenten Roboter, der tausende Videos von Menschen beobachtet hat, die genau das tun. Er weiß im Allgemeinen, wie man sich bewegt, aber er weiß nicht etwas über die spezifischen Stühle oder Tische in diesem Raum jetzt gerade.

Wenn Sie den Roboter einfach nur bitten: „Hol den Kaffee“, könnte er direkt gegen einen Tisch laufen, weil er versucht, kreativ zu sein. Wenn Sie versuchen, ihn bei jedem einzelnen Schritt des Weges daran zu hindern, gegen den Tisch zu stoßen, während er plant, könnten Sie jedoch dazu führen, dass der Roboter einfriert, stottert oder einen seltsamen, ruckartigen Pfad nimmt, weil Sie jeden seiner Gedanken mikromanagt haben.

Dies ist das Problem, das die Arbeit DiRecT löst.

Das Problem: Die „Überkorrektur“-Falle

Die Autoren erklären, dass bestehende Methoden zur Absicherung von KI-Planern wie ein nervöser Elternteil sind, der die Hand eines Kindes zu fest hält.

Der alte Weg: Während der Roboter seinen Pfad plant (Schritt für Schritt), prüft der Computer: „Ist dieser Schritt sicher?“ Wenn nicht, zwingt er den Roboter, diesen spezifischen Schritt sofort zu ändern.
Der Fehler: Der Planungsprozess des Roboters beinhaltet viel „Rauschen“ oder grobe Entwürfe. Die Sicherheit auf diesen groben Entwürfen zu prüfen, ist so, als würde man einem Maler sagen: „Mache keinen einzigen Pinselstrich, der wie ein Baum aussieht“, während er noch Farben auf der Palette mischt. Dies schränkt die Kreativität des Roboters ein und führt oft zu einem Endergebnis, das hässlich, ruckartig ist oder das Ziel nicht erreicht.

Die Lösung: DiRecT (Der „Receding-Horizon“-Coach)

Die Autoren führen DiRecT ein, das eher wie ein weiser Coach als wie ein nervöser Elternteil agiert.

1. Die Vision der „sauberen Trajektorie“
Anstatt die Sicherheit bei jedem groben Entwurf zu prüfen, wartet DiRecT, bis der Roboter einen finalen, sauberen Plan im Kopf hat. Es fragt: „Wenn du diesen Plan exakt befolgst, wirst du dann einen Tisch treffen?“

Die Analogie: Stellen Sie sich vor, der Roboter zeichnet einen Pfad auf ein Blatt Papier. Die alten Methoden versuchten, eine Linie sofort zu löschen, wenn der Bleistift das Papier berührte und die Linie leicht krumm aussah. DiRect lässt den Bleistift frei zeichnen und betrachtet dann die fertige Zeichnung. Wenn die fertige Zeichnung einen Tisch trifft, dann schiebt es die gesamte Zeichnung sanft weg, um sie zu bewegen.

2. Der „Receding-Horizon“-Trick
Das Paper verwendet ein Konzept namens „Receding-Horizon“ (inspiriert von der modellprädiktiven Regelung/Model Predictive Control).

Die Analogie: Denken Sie daran, ein Auto bei Nacht mit nebligen Scheinwerfern zu fahren. Sie können nur wenige Meter weit voraussehen.
- Alte Methode: Sie versuchen, die gesamte 100-Meilen-Reise jetzt schon perfekt zu steuern, obwohl Sie die Straße gar nicht sehen können.
- DiRecT: Sie schauen auf die Straße direkt vor Ihnen, planen einen sicheren Pfad für die nächsten Sekunden, fahren diesen und planen dann neu für die nächsten Sekunden. Sie aktualisieren Ihren Plan ständig basierend auf dem, was Sie jetzt gerade sehen, was sicherstellt, dass Sie niemals eine Wand rammen, aber Sie erzwingen nicht, dass das Auto in einer geraden Linie fährt, wenn die Straße kurvt.

3. Die „Training-Free“-Superkraft
Das Beste daran? DiRecT muss den Roboter nicht neu lehren. Es arbeitet mit dem bestehenden Wissen des Roboters (dem „vortrainierten Modell“). Es fügt lediglich eine Sicherheitsebene über den Planungsprozess hinzu.

Die Analogie: Es ist, als würde man einem erfahrenen Fahrer ein GPS geben, das ihn vor Hindernissen warnt. Man muss dem Fahrer nicht noch einmal das Autofahren beibringen; man gibt ihm nur ein Werkzeug, um die spezifischen Schlaglöcher in dieser Stadt zu vermeiden.

Wie es in der Praxis funktioniert

Das Paper hat dies bei mehreren Roboteraufgaben getestet:

Labyrinth-Navigation: Ein Ball, der durch ein Labyrinth mit neuen, unerwarteten Wänden rollt. DiRecT navigierte erfolgreich durch das Labyrinth, ohne Wände zu treffen, während andere Methoden stecken blieben oder kollidierten.
Roboterarme: Ein Arm, der sich zu einem Objekt bewegt und dabei Säulen vermeidet. DiRecT stellte sicher, dass der Arm die Säulen nie berührte, selbst wenn die Säulen an schwierigen Stellen platziert waren.
Multi-Roboter-Schwärme: Eine Gruppe von Robotern, die zusammen sich bewegen, ohne gegeneinander zu stoßen. DiRecT hielt sie sicher und effizient, selbst als die Anzahl der Roboter zunahm.

Das Fazente

DiRecT ist eine neue Art, KI-Planer sicher zu machen. Anstatt den Denkprozess der KI ständig zu unterbrechen, um die Sicherheit zu prüfen (was die KI ungeschickt macht), lässt es die KI frei denken und korrigiert dann sanft den finalen Plan, um sicherzustellen, dass er sicher ist. Es ist, als würde man einem Schüler erlauben, einen Entwurf ohne Angst zu schreiben, und ihm dann helfen, die Endfassung zu editieren, um sicherzustellen, dass sie perfekt ist, anstatt ihn nach jedem Satz zu stoppen.

Das Ergebnis ist ein Roboter, der sowohl sicher (er kracht nicht zusammen) als auch geschickt (er bewegt sich flüssig und erledigt die Aufgabe) ist.

Technisches Resümee: DiRecT – Sichere diffusionsbasierte Planung mittels Receding-Horizon-Denoising

Problemstellung

Diffusionsmodelle haben sich als leistungsfähige Frameworks für die Planung und Steuerung etabliert, indem sie multimodale Verteilungen über Aktionen und Trajektorien lernen. Die Bereitstellung dieser Modelle in sicherheitskritischen Aufgaben steht jedoch vor einer erheblichen Barriere: der zuverlässigen Durchsetzung von Sicherheit während der Inferenz. Bestehende Ansätze zur beschränkten Diffusions-Sampling (Constrained Diffusion Sampling) erzwingen die Machbarkeit typischerweise durch die Projektion jedes verrauschten intermediären Denoising-Iterats auf die zulässige Menge. Dies führt zu einem grundlegenden Missverhältnis: Planungsbeschränkungen sind auf der endgültigen, sauberen Trajektorie definiert, doch intermediäre Samples sind inhärent verrauscht und müssen nicht zwingend machbar sein. Die Erzwingung von Beschränkungen während des gesamten Sampling-Prozesses überkontrolliert die gelernte reversible Dynamik, verzerrt den generativen Prozess und verschlechtert die Stichprobenqualität erheblich. Darüber hinaus fehlen projektionsbasierten Methoden oft ein einheitlicher Mechanismus zur Handhabung von harten Beschränkungen zusammen mit zusätzlichen weichen Belohnungen oder Kosten.

Methodik: DiRecT

Um diese Einschränkungen zu adressieren, führen die Autoren DiRecT (Diffusion-based planning via Receding-horizon denoising with Terminal constraints) ein, einen trainingsfreien Algorithmus für das beschränkte Sampling.

Kernformulierung

DiRecT formuliert die Durchsetzung von Beschränkungen während der Inferenz durch die Linse der stochastischen optimalen Steuerung (Stochastic Optimal Control, SOC) um. Der gelernte reversible Diffusionsprozess dient als die nominale stochastische Dynamik, während Steuerungseingriffe (Control Inputs) den Sampler in Richtung der Machbarkeit der endgültigen sauberen Trajektorie lenken. Entscheidend ist, dass Beschränkungen nur auf das finale saubere Sample angewendet werden, wodurch unnötige Einschränkungen auf verrauschte intermediäre Iterates vermieden werden. Das Ziel ist es, eine optimale Steuerungsdrift $u^*$ zu finden, die eine Kostenfunktion (Abwägung zwischen terminalen Kosten und Steuerungsenergie) minimiert, unter der Bedingung, dass der Endzustand $X_0$ innerhalb einer zulässigen Menge $S$ liegt.

Algorithmische Ableitung

Das Lösen des vollständigen terminal beschränkten SOC-Problems ist aufgrund der hochdimensionalen, nicht-konvexen Natur der neuronalen Dynamik und der Erwartung über alle stochastischen Pfade rechnerisch nicht handhabbar. DiRecT leitet ein skalierbares, handhabbares Surrogat ab, das auf zwei zentralen Approximationen basiert, die von der Modellprädiktiven Regelung (Model Predictive Control, MPC) inspiriert sind:

Receding-Horizon-Surrogat: Anstatt ein Optimierungsproblem über den gesamten Horizont zu lösen, zerlegt DiRecT das Problem in eine Sequenz von Einschritt-Teilproblemen. In jedem Denoising-Schritt $i$ prognostiziert es die endgültige saubere Trajektorie, die durch das aktuelle verrauschte Iterat impliziert wird, mittels der Tweedie-Formel ( $\hat{x}^\theta_0(X_i, t_i)$ ).
Optimierung im Datenraum: Um zu vermeiden, wiederholt beschränkte Optimierungsprobleme durch die neuronale Denoising-Abbildung lösen zu müssen, approximiert der Algorithmus die Tweedie-Formel über ein Fixpunktargument invertiert. Dies ermöglicht es, die Optimierung vom latenten Raum in den Datenraum zu verlagern. Konkret wird die latente Verschiebung durch eine skalierte Differenz zwischen vorhergesagten sauberen Samples approximiert.

Der resultierende Algorithmus (Algorithmus 1) arbeitet wie folgt:

Ziehe ein Prior-Rauschvektor.
Iteriere rückwärts von $t_N$ $t_{N}$ nach $t_0$ $t_{0}$ :
- Berechne einen ungesteuerten Denoising-Vorschlag.
- Schätze das entsprechende saubere Sample mithilfe des Score-Modells.
- Löse ein beschränktes Optimierungsproblem im Datenraum, um ein verfeinertes sauberes Sample zu finden, das die harten Beschränkungen $S$ erfüllt und die Kosten $C$ minimiert, während es nahe am ungesteuerten Vorschlag bleibt.
- Überführe diese Verfeinerung zurück in ein gesteuertes Update des aktuellen verrauschten Iterats.
Gib das finale machbare Sample zurück.

Dieses Design trennt das stochastische Denoising sauber von der Erfüllung von Beschränkungen und steuert die Samples schrittweise in Richtung einer machbaren finalen Trajektorie, ohne die gelernte Diffusionsdynamik zu verzerren.

Zentrale Beiträge

Identifikation einer wesentlichen Einschränkung: Die Arbeit identifiziert, dass die Erzwingung der Machbarkeit auf verrauschten intermediären Denoising-Iteraten die Sampling-Dynamik überkontrolliert und die Stichprobenqualität verschlechtert. Sie schlägt vor, das beschränkte Diffusions-Planning als ein terminal beschränktes SOC-Problem zu formulieren.
DiRecT-Algorithmus: Ein trainingsfreier beschränkter Diffusions-Sampler, der das unhandliche beschränkte SOC-Problem auf eine Sequenz von handhabbaren Optimierungsteilproblemen für saubere Trajektorien reduziert. Er steuert Samples in Richtung der Beschränkungserfüllung, ohne den gelernten Denoising-Prozess zu verzerren.
Flexibilität: Die Methode unterstützt Standard- und domänenspezifische Optimierer, handhabt sowohl Gleichheits- als auch Ungleichheitsbeschränkungen, integriert umweltbezogene Dynamik-Priors und optimiert zusätzliche weiche Belohnungen oder Kosten zur Inferenzzeit.
Empirische Validierung: Umfangreiche Experimente zeigen, dass DiRecT die Sicherheit bei der Bereitstellung und die Aufgabenleistung gegenüber bestehenden diffusionsbasierten Planungs-Baselines erheblich verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten DiRecT über vier verschiedene robotische Planungs-Benchmarks hinweg:

Sichere Labyrinth-Navigation (Maze2D): In sowohl „breiten“ als auch „engen“ Labyrinth-Varianten mit Hindernissen zur Testzeit erreichte DiRecT eine Sicherheitsrate (Safety Rate, SR) von 0,970 bzw. 0,940, mit nahezu Null Verstößen (0,45 und 0,23). Im Gegensatz dazu erreichten Baselines wie Diffuser, Gradient Guidance und Projected Diffusion SR-Werte zwischen 0,00 und 0,78, mit signifikant höheren Anzahl an Verstößen. DiRecT behielt starke Aufgaben-Scores bei und gewährleistete gleichzeitig die Sicherheit.
Sichere Robotermanipulation (D3IL): In einer Aufgabe, die von einem Roboterarm verlangt, ein Ziel zu erreichen und gleichzeitig Säulen sowie zusätzliche Beschränkungen zu vermeiden, erreichte DiRect eine Sicherheitsrate von 100 % und einen Aufgabenerfolgsgrad von 100 % und übertraf damit alle Baselines, die signifikante Einbußen bei der Sicherheit zeigten (z. B. Gradient Guidance bei 0,88 SR).
Multi-Roboter-Bewegungsplanung (MRMP): Getestet in Umgebungen mit bis zu 20 Agenten, übertraf DiRect konsistent die Baselines (einschließlich MMD-CBS und Projected Coupled Diffusion) in Bezug auf Beschränkungssicherheit und Erfolgsrate, insbesondere wenn die Anzahl der Agenten zunahm. Es hielt eine hohe Adhärenz an erwartete Bewegungsmuster ein und erfüllte gleichzeitig komplexe Kollisions- und Geschwindigkeitsbeschränkungen.
Kontaktreiche Manipulation (PushT): In einer gekoppelten Generierungsaufgabe, die vielfältige, sich nicht schneidende Trajektorien umfasst, erreichten DiRect-Varianten (DiRect-LB und DiRect-DPP) eine Beschränkungserfüllung von 100 % und verbesserten gleichzeitig die Diversität (gemessen durch DTW und DFD) sowie die Aufgabenerfüllungs-Scores im Vergleich zu anderen beschränkten Samplern.

Bedeutung und Ansprüche

Das Paper behauptet, dass DiRect einen prinzipienbasierten Ansatz für die sichere diffusionsbasierte Planung bietet, indem es den stochastischen Denoising-Prozess von der Erfüllung von Beschränkungen entkoppelt. Durch die Anwendung von Beschränkungen nur auf das finale saubere Sample vermeidet es die Überkontrolle der intermediären Dynamik, die herkömmlichen projektionsbasierten Methoden anheimfällt.

Die Autoren betonen, dass DiRect trainingsfrei ist, was es breit anwendbar auf bestehende vortrainierte Diffusionsmodelle macht, ohne dass ein erneutes Training oder Fine-Tuning erforderlich ist. Während diese Flexibilität zusätzliche Rechenzeit während der Inferenz mit sich bringt (Lösen von Optimierungsteilproblemen), bietet die Methode stärkere Garantien für die Sicherheit in sicherheitskritischen Planungsaufgaben, indem sie die Einhaltung harter Beschränkungen sicherstellt und gleichzeitig die Flexibilität zur Integration weicher Ziele und domänenspezifischer Dynamiken bewahrt. Die Arbeit unterstreicht das Potenzial für eine zuverlässige Bereitstellung von Diffusionsmodellen in sicherheitskritischen Aufgaben, bei denen selbst ein einziger Verstoß gegen eine Beschränkung zu katastrophalen Ausfällen führen kann.