Diffusion-SAFE: Diffusion-Native Human-to-Robot Driving Handover for Shared Autonomy

Die Arbeit stellt Diffusion-SAFE vor, einen geschlossenen Regelkreis auf Basis von Diffusionsmodellen, der durch die Vorhersage menschlicher Absichten und eine sicherheitsgeleitete Denoisierung eine nahtlose und probabilistisch gesicherte Kontrolleübergabe zwischen Mensch und autonomem Fahrzeug ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie fahren ein Rennauto. Sie sind der Fahrer, aber ein sehr erfahrener, unsichtbarer Co-Pilot sitzt neben Ihnen. Dieser Co-Pilot kennt die Strecke perfekt und sieht Gefahren, die Sie vielleicht noch nicht bemerkt haben.

Das Problem bei bisherigen Systemen war: Wenn der Co-Pilot eingreifen musste, passierte eines von zwei Dingen:

1. Der "Ruck": Der Co-Pilot übernahm sofort die volle Kontrolle. Das war wie ein plötzlicher, harter Griff am Lenkrad – unangenehm und erschreckend.
2. Der "Schwamm-Effekt": Der Co-Pilot und Sie lenkten gleichzeitig, und das System mittelte Ihre Bewegungen. Das klingt harmlos, ist aber gefährlich. Wenn Sie nach links ausweichen wollen und der Co-Pilot nach rechts, und das System macht "die Mitte", fahren Sie vielleicht genau geradeaus in ein Hindernis hinein.

Die Forscher von Diffusion-SAFE haben eine neue, elegante Lösung gefunden, die wie ein magischer Verflüssiger funktioniert.

Die drei Hauptakteure

Stellen Sie sich das System als ein Team aus drei Personen vor:

1. Der "Wachhund" (Der Evaluator):
   Dieser beobachtet Sie genau. Er schaut sich Ihre vergangenen Lenkbewegungen an und sagt: "Aha, der Fahrer will gleich eine Kurve nehmen, aber die ist zu eng!" Er erstellt eine Art Wahrscheinlichkeits-Wetterbericht für Ihre nächsten Schritte. Wenn er eine Gefahr sieht, schlägt er Alarm.

2. Der "Meister-Fahrer" (Der Co-Pilot):
   Das ist ein KI-Modell, das nur die perfekten, sicheren Fahrtrouten kennt. Es hat tausende Male geübt, wie man sicher durch die Gassen fährt, ohne je einen Unfall zu bauen.

3. Der "Verflüssiger" (Die Diffusion):
   Das ist das Herzstück der Erfindung. Anstatt die Kontrolle hart zu übergeben oder Ihre Bewegungen einfach zu mischen, nutzt das System einen Prozess, den man sich wie das Entwickeln eines Fotos vorstellen kann.

Wie funktioniert der "magische Verflüssiger"?

Stellen Sie sich vor, Ihr Fahrplan ist ein Foto, das Sie gerade gemacht haben.

• Der Anfang: Das Foto ist klar (Ihr ursprünglicher Plan).
• Das Problem: Das Foto zeigt, dass Sie in eine Wand fahren.
• Die Lösung: Der Co-Pilot nimmt dieses Foto und fängt an, es langsam mit "Rauschen" (wie statisches Bildrauschen) zu überlagern. Aber er macht es nicht einfach so. Er nutzt eine Sicherheits-Karte (eine unsichtbare Landkarte, die weiß, wo die Straße ist und wo die Wand).

Während er das Rauschen hinzufügt und das Bild wieder "entwickelt" (denoising), lenkt er das Bild sanft zurück auf die sichere Straße.

• Der Zaubertrick (Der "Knopf" 𝜌):
  Hier kommt der Clou: Es gibt einen Regler, den wir 𝜌 (Rho) nennen.
  • Wenn 𝜌 klein ist, ist das Bild noch sehr klar wie Ihr ursprünglicher Plan. Der Co-Pilot korrigiert nur ganz leicht, damit Sie nicht gegen die Wand fahren.
  • Wenn 𝜌 groß wird, wird das Bild stärker "verwaschen" und neu entwickelt. Der Co-Pilot übernimmt mehr Verantwortung.
  • Am Ende, wenn 𝜌 = 1 ist, ist das Bild komplett neu entwickelt: Der Co-Pilot fährt jetzt allein, aber er hat den Übergang so sanft gestaltet, dass Sie sich gar nicht gestört fühlen.

Es ist, als würde ein erfahrener Tanzpartner Sie nicht einfach wegdrängen, sondern Sie langsam mitführen, bis Sie beide im gleichen Rhythmus tanzen.

Warum ist das besser als alles andere?

• Kein "Schwamm-Effekt": Weil das System nicht Ihre Lenkbewegung mit der des Co-Piloten mittelt (was in die Wand führen könnte), sondern den gesamten Fahrplan neu berechnet, bleibt das Auto immer auf der sicheren Seite.
• Sanftes Übergreifen: Es gibt kein plötzliches "Ruckeln". Der Co-Pilot greift schrittweise ein, genau wie ein erfahrener Beifahrer, der sanft am Lenkrad dreht, wenn Sie abdriften.
• Lernen aus Beispielen: Das System muss nicht mit komplizierten mathematischen Formeln programmiert werden, wie man sicher fährt. Es hat einfach nur viele Videos von guten Fahrern gesehen und lernt daraus, was "gut" und was "gefährlich" ist.

Das Ergebnis

Die Forscher haben das System in einer Computersimulation und mit einem echten, kleinen Rennauto getestet.

• Erfolgsrate: In 93 % der Fälle (Simulation) und 87 % der Fälle (Realität) gelang es dem System, den Fahrer sicher zu retten, ohne dass ein Unfall passierte.
• Gefühl: Die Übergänge waren so weich, dass sich der Fahrer nicht gestört fühlte, aber das Auto war trotzdem sicher.

Zusammenfassend: Diffusion-SAFE ist wie ein unsichtbarer, super-intelligenter Co-Pilot, der nicht schreit oder reißt, sondern Sie sanft und geschickt durch die Gefahren führt, indem er Ihren Fahrplan Stück für Stück in einen sicheren Plan verwandelt. Es ist die perfekte Balance zwischen menschlicher Freiheit und robotischer Sicherheit.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderungen der Shared Autonomy (geteilte Autonomie) im autonomen Fahren. Das Ziel ist es, eine nahtlose und sichere Übergabe der Fahrkontrolle zwischen einem menschlichen Fahrer und einem assistierenden Agenten (Copilot) zu ermöglichen, insbesondere wenn der Mensch in eine riskante Situation gerät.

Die bestehenden Ansätze leiden unter folgenden Mängeln:

• Unvorhersehbarkeit menschlichen Verhaltens: Menschliches Verhalten ist inkonsistent, multimodal und kann sich unter Out-of-Distribution (OOD) Bedingungen abrupt ändern.
• Sicherheitsrisiko bei glatten Übergängen: Viele Systeme versuchen, die Kontrolle durch lineare Interpolation auf der Aktions-Ebene (Action-Level Blending) zu übergeben. Da die Menge der sicheren Aktionen im Fahren oft nicht-konvex ist, kann die Mittelung zweier einzeln sicherer Aktionen (z. B. Lenken nach links und rechts) zu einer unsicheren Aktion führen (z. B. geradeaus in ein Hindernis steuern).
• Mangelnde Vorhersagekraft: Aktuelle Trigger-Mechanismen basieren oft nur auf momentanen Zuständen (z. B. Blickrichtung) und haben keine langfristige Vorhersagefähigkeit.

2. Methodik: Diffusion-SAFE

Die Autoren schlagen Diffusion-SAFE vor, ein geschlossenes Regelkreissystem, das auf zwei Diffusionsmodellen basiert und drei Hauptfunktionen vereint: Risikodetektion, sichere Planerstellung und einen „diffusion-nativen" Übergabemechanismus.

A. Architektur

Das System besteht aus zwei Modulen:

1. Evaluator (Multimodaler Intent-Prädiktor):
   • Ein Diffusionsmodell, das auf Beobachtungshistorie ($O_t$) und vergangene menschliche Aktionen ($A^H_t$) konditioniert ist.
   • Es modelliert die Verteilung menschlicher Absichten und generiert mehrere mögliche zukünftige Trajektorien (Multimodalität), um Risiken probabilistisch zu bewerten.
2. Copilot (Sicherheitsgeleiteter Experte):
   • Ein Diffusionsmodell, das nur auf Beobachtungen ($O_t$) konditioniert ist und Expertentrajektorien generiert.
   • Sicherheitsführung: Während des Denoising-Prozesses (Rückwärtsprozess) wird ein sicherheitsbasierter Gradient (basierend auf einer Karte als Signed Distance Field, SDF) in die Generierung injiziert. Dies lenkt den Plan kontinuierlich in sichere Regionen ($V(p) > 0$), ohne das Modell neu zu trainieren.

B. Der Kernmechanismus: Partielle Diffusion (Partial Diffusion)

Der entscheidende Innovationsschritt ist die Art und Weise, wie die Kontrolle übergeben wird. Statt einer harten Umschaltung oder einer linearen Mischung von Aktionen, nutzt Diffusion-SAFE partielle Diffusion:

• Prinzip: Ein vom Evaluator vorhergesagter menschlicher Plan wird vorwärts-diffundiert (mit Rauschen versehen) für $k_\rho$ Schritte. Anschließend wird dieser verrauschte Zustand als Startpunkt für den Copiloten verwendet, der den Prozess rückwärts (Denoising) fortsetzt.
• Der Übergabeknopf ($\rho$): Das Verhältnis $\rho = k_\rho / K$ (wobei $K$ die Gesamtschritte sind) fungiert als kontinuierlicher Regler.
  • Kleines $\rho$: Der Plan bleibt nah am menschlichen Intent.
  • Großes $\rho$: Der Plan wird stärker vom Copiloten (Prior) dominiert.
• Vorteil: Da der Übergang im Plan-Raum (Trajektorien) stattfindet und nicht auf der Aktions-Ebene, wird das Problem der nicht-konvexen sicheren Mengen umgangen. Jeder Schritt des Denoising-Prozesses wird durch den Sicherheitsgradienten in sichere Bereiche gelenkt, was „gemischte unsichere" Zustände verhindert.

C. Sicherheitszertifikat und Trigger

• Ein Sicherheitszertifikat $V$ (basierend auf SDF) definiert die fahrbare Fläche.
• Der Trigger wird probabilistisch ausgelöst: Wenn der Evaluator eine hohe Wahrscheinlichkeit dafür berechnet, dass eine der vorhergesagten menschlichen Trajektorien das Sicherheitszertifikat verletzt ($R(s_t, A) \le 0$), wird die Übernahme aktiviert.

3. Wichtige Beiträge

1. Geschlossener Regelkreis: Ein Framework, das Risikodetektion, sichere Planerstellung und weiche Übergabe in einem einzigen Diffusions-Pipeline vereint.
2. Diffusion-Native Handover: Ein neuer Mechanismus zur Übergabe der Kontrolle durch partielle Diffusion, der eine glatte Interpolation zwischen menschlicher Absicht und sicherem Expertenverhalten ermöglicht, ohne die Gefahr von „Mixed-Unsafe"-Fehlern bei nicht-konvexen Aktionsräumen.
3. Gradientenbasierte Sicherheitsführung: Eine Methode, um Sicherheitszertifikate direkt in den Denoising-Prozess zu integrieren, ohne das Modell neu zu trainieren.
4. Validierung: Umfassende Tests in Simulation und auf einem echten ROS-basierten Rennwagen.

4. Ergebnisse

Die Evaluation wurde in der Simulation (CarRacing-v2) und auf einer realen Hardware-Plattform (Jetson Orin Nano, OptiTrack Motion Capture) durchgeführt.

• Erfolgsrate der Übergabe:
  • Simulation: 93,0 %
  • Realwelt: 87,0 %
• Vergleich mit Baselines:
  • Diffusion-SAFE übertrifft Methoden mit „Hard Switching" (harte Umschaltung) deutlich in Bezug auf die Glätte (geringerer Ruck/Jerk), da der Übergang kontinuierlich erfolgt.
  • Es übertrifft einfache „Action-Level Blending"-Methoden (lineare Mischung) signifikant in Bezug auf die Sicherheit. Während Blending bei nicht-konvexen Räumen oft zu Kollisionen führt, bleibt Diffusion-SAFE sicher.
• Ablationsstudien:
  • Die Entfernung der Sicherheitsführung führt zu einer drastischen Verschlechterung der Sicherheit, was zeigt, dass der reine Copilot-Prior nicht ausreicht.
  • Die partielle Diffusion ist entscheidend für die Balance zwischen Sicherheit und Beibehaltung der menschlichen Absicht (Fidelity).

5. Bedeutung und Ausblick

Diffusion-SAFE löst ein fundamentales Problem in der Shared Autonomy: Wie man sicher und sanft die Kontrolle übernimmt, ohne dass die Kombination von menschlichen und robotischen Aktionen zu neuen Unsicherheiten führt.

• Paradigmenwechsel: Der Ansatz verschiebt die Übergabe von der Aktions-Ebene (wo nicht-konvexe Probleme auftreten) auf die Plan-Ebene, was durch die Eigenschaften von Diffusionsmodellen (Denoising auf einem Daten-Manifold) elegant gelöst wird.
• Praktische Anwendbarkeit: Die erfolgreiche Implementierung auf einem echten Fahrzeug zeigt die Machbarkeit von Diffusionsmodellen in Echtzeit-Regelkreisen für sicherheitskritische Anwendungen.
• Zukünftige Arbeit: Die Autoren planen, die Methode auf 3D-Umgebungen (LiDAR), unbekannte Umgebungen (Lernen des Zertifikats aus Daten) und adaptive Übergabestrategien (dynamisches $\rho$) zu erweitern.

Zusammenfassend stellt Diffusion-SAFE einen robusten, datengetriebenen Ansatz dar, der die Sicherheit und den Fahrkomfort bei der Interaktion zwischen Mensch und Maschine in autonomen Systemen signifikant verbessert.