Technisches Resümee: FailSafe – Schlussfolgerung und Wiederherstellung nach Fehlern in Vision-Language-Action-Modellen

Problemstellung

Jüngste Fortschritte bei Vision-Language-Action (VLA)-Modellen haben es Robotern ermöglicht, komplexe Manipulationsaufgaben durch die Integration von Low-Level-Steuerung in Vision-Language-Modelle (VLMs) auszuführen. Diese Modelle verlassen sich jedoch stark auf groß angelegte Datensätze, die aus sauberen, Grundwahrheits-Trajektorien bestehen, welche jedoch selten Fehlerszenarien enthalten. Infolgedessen schneiden VLAs innerhalb der Verteilung gut ab, haben aber Schwierigkeiten, unvorhersehbare, abrupte Fehler zu erkennen oder sich von ihnen zu erholen, die während der realen Ausführung auftreten.

Bestehende Ansätze zur Fehleranalyse stehen vor erheblichen Einschränkungen:

• Mangel an ausführbaren Aktionen: Viele Datensätze liefern nur textuelle Erklärungen für Fehler (z. B. „der Greifer sollte sich nach links bewegen“), die hinsichtlich der Magnitude und der Endpunkte mehrdeutig sind, was sie für VLA-Modelle schwer direkt ausführbar macht.
• Abhängigkeit von menschlicher Überwachung: Methoden wie OLAF und YAY erfordern externe menschliche Beobachter, die den Betrieb überwachen und eingreifen, was für vollautonome Systeme unpraktisch ist.
• Mangelnde Skalierbarkeit: Während einige Pipelines zwar Fehler-Trajektorien generieren, gelingt es ihnen oft nicht, entsprechende Korrekturmaßnahmen zu produzieren, die sowohl valide als auch von Robotern ausführbar sind.

Die zentrale Herausforderung, die mit dieser Arbeit adressiert wird, ist das Fehlen einer skalierbaren Pipeline, die automatisch hochgradiges Fehlerverständnis gepaart mit niedriggradigen, ausführbaren Wiederherstellungsaktionen generiert, um die Robustheit von VLAs zu erhöhen.

Methodik: Die FailSafe-Pipeline

Die Autoren schlagen FailSafe vor, ein neuartiges Framework, das darauf ausgelegt ist, automatisch vielfältige Fehlerfälle gepaart mit ausführbaren Wiederherstellungsaktionen innerhalb von Simulatoren zu generieren, die Bewegungsplanung unterstützen (demonstriert in ManiSkill). Die Pipeline besteht aus fünf Schlüsselphasen:

1. Fehlergenerierung

FailSafe definiert drei fundamentale Fehlermodi, um häufige Roboterfehler zu modellieren:

• Translationsfehler: Perturbationen entlang der kartesischen Achsen ($x, y, z$).
• Rotationsfehler: Winkelabweichungen in Roll-, Nick- oder Gierbewegung.
• No-ops-Fehler: Der Roboterarm bleibt für einen Zeitraum ohne Bewegung stecken.

Diese Fehler werden an beliebigen Schritten von Ground-Truth-Rollouts injiziert. Das System verwendet eine YAML-Konfiguration, um Rauschbereiche festzulegen (z. B. $\pm0,1$ für Translation, $\pm1$ Radiant für Rotation) und die Phasen, in denen die Fehler auftreten. Dies imitiert den realen Einsatz, bei dem Fehler unerwartet auftreten können.

2. Aktionssammlung

Im Gegensatz zu bisherigen Methoden, die Text ausgeben, sammelt FailSafe 7-DoF-Endeffektor-Wiederherstellungsaktionen ($\Delta A$).

• Mapping: Für eine abweichende Pose ($P_d$) in einer Fehler-Trajektorie bildet das System diese auf eine entsprechende Korrekturpose ($P_c$) in der korrekten Trajektorie ab.
• Beschränkungen: Um Kollisionen zu vermeiden, wird $P_c$ aus einem Fenster ausgewählt, das 10 Schritte nach Beginn des Fehlers startet und 3 Schritte vor Abschluss der Aufgabe endet.
• Diversität: Das System generiert mehrere Kandidaten-$(P_d, P_c)$-Paare. Die resultierende Korrektionsaktion $\Delta A$ ist die 7-DoF-Differenz zwischen diesen Posen. Entscheidend ist, dass selbst wenn ein spezifischer Fehlertyp (z. B. Translation X) injiziert wurde, die resultierende $\Delta A$ nicht auf eine einzige Dimension beschränkt ist; sie bietet Anpassungen über alle sieben Dimensionen hinweg, um simultane oder komplexe Fehlermodi zu handhaben.

3. Systematische Verifizierung

Vor der Aufnahme in den Datensatz durchläuft jede Kandidaten-Wiederherstellungsaktion eine strenge Verifizierung:

• Das System spielt die Trajektorie nach ab: $A \to P_d \to P_c \to \text{Rest der Aufgabe}$.
• Wenn die Aufgabe, die ursprünglich fehlschlug, nach Anwendung der Korrekturpose $P_c$ erfolgreich abgeschlossen wird, gilt das Paar als validiert.
• Dies stellt sicher, dass die gesammelten Aktionen robust und effektiv sind, wenn sie zu verschiedenen Zeitpunkten angewendet werden.

4. Datensatzkonstruktion

Die Pipeline wurde auf drei Aufgaben in ManiSkill angewendet: Pick Cube, Push Cube und Stack Cube.

• Skalierung: Der resultierende Datensatz enthält etwa 131.000 Fehler-Aktions-Paare und 56.000 Ground-Truth- (erfolgreiche) Trajektorien.
• Format: Jeder Eintrag umfasst 10 aufeinanderfolgende Multi-View-Bilder (Front, Seite, Handgelenk), Aufgabeninstruktionen, Sub-Task-Identifikation, Fehlerklassifizierung (Ja/Nein), Fehlertyp und den 7-DoF-Korrekturaktionsvektor.

5. Modelltraining (FailSafe-VLM)

Die Autoren haben LLaVa-OneVision-7B (LLaVa-OV-7B) auf dem FailSafe-Datensatz feinjustiert.

• Architektur: Das Modell nutzt Qwen2-7B-Instruct als Sprach-Backbone und SigLIP als Vision-Tower, mit einem zwei-lagigen GELU-MLP-Projektor.
• Training: Es wurde ein vollständiges Instruction-Fine-Tuning mit Co-Training auf einer RoboPoint VQA-Mischung durchgeführt, um die Generalisierung zu verbessern.
• Inferenzstrategie: FailSafe-VLM operiert als externer Assistent für ein Basis-VLA-Modell. Alle 10 Schritte analysiert es den aktuellen Zustand, um zu bestimmen, ob ein Fehler wahrscheinlich ist. Wenn „Ja“, gibt es eine Korrekturaktion aus; wenn „Nein“, kehrt die Steuerung zum Basis-VLA zurück.

Wichtige Beiträge

1. Skalierbare Fehler-Aktions-Pipeline: Das erste Framework, das automatisch sowohl Fehlererklärungen als auch präzise, ausführbare 7-DoF-Wiederherstellungsaktionen für Roboter generiert, adaptierbar an Simulatoren mit Bewegungsplanung.
2. Leistungssteigerung: Es wurde demonstriert, dass der FailSafe-Datensatz bestehende VLMs befähigt, über Fehler zu schlussfolgern, was die Erfolgsraten von drei State-of-the-Art VLA-Modellen ($\pi$o-FAST, OpenVLA, OpenVLA-OFT) signifikant steigert.
3. Generalisierung: Es wurde gezeigt, dass FailSafe-VLM über diverse räumliche Konfigurationen, Kameraperspektiven, Objektkategorien (einschließlich ungesehener Objekte wie Kugeln und Ladegeräte) und Roboter-Embodiments (z. B. Transfer von Franka Emika Panda zu xArm 6) hinweg generalisieren kann.

Experimentelle Ergebnisse

Die Autoren evaluierten FailSafe-VLM auf dem Franka Emika Panda Arm in der ManiSkill-Umgebung:

• VLA-Leistungsgewinne:

  • OpenVLA: Erzielte die größte Verbesserung mit einer durchschnittlichen Steigerung der Erfolgsrate um 22,6 % (von 14,7 % auf 37,3 %).
  • OpenVLA-OFT: Verbesserte sich um 8,0 % (von 90,7 % auf 98,7 %).
  • $\pi$o-FAST: Verbesserte sich um 4,0 % (von 78,7 % auf 82,7 %).
  • Diese Gewinne wurden erzielt, selbst wenn die für FailSafe-VLM verwendete Kameraperspektive neu war (anders als die Trainingsansicht), während die Trainingsansicht des VLA beibehalten wurde.

• Generalisierung:

  • Ungesehene Objekte: Bei Tests auf Pick Sphere, Place Sphere und Pick Charger verbesserte FailSafe-VLM die OpenVLA-OFT-Leistung um durchschnittlich 17,4 %.
  • Ungesehene Embodiments: Bei Anwendung auf einen xArm 6 Roboter (trainiert nur auf Franka-Daten) verbesserte es die Stack Cube Erfolgsrate von 56 % auf 76 %.

• Vergleich mit State-of-the-Art VLMs:

  • FailSafe-VLM übertraf GPT-4o, Gemini-2.5-flash und Qwen2.5-VL signifikant in der Fehlererkennung (Binärer Erfolg: 0,9094 vs. ~0,70 für GPT-4o), der Identifizierung des Fehlertyps (Genauigkeit: 0,8368 vs. ~0,20) und der Vorhersage der Wiederherstellungsaktion (Kosinus-Ähnlichkeit: 0,6522 vs. nahezu 0 für andere).
  • Bemerkenswerterweise gab Qwen2.5-VL häufig „kein Fehler“ und Null-Aktionen aus und versagte somit bei der Unterstützung der Wiederherstellung.

• Effizienz:

  • Die Integration verursachte einen marginalen Inferenz-Overhead von +3,8s bis +9,1s pro Aufgabe, primär aufgrund der Re-Planung im Simulator.

Bedeutung und Behauptungen

Das Paper positioniert FailSafe als einen kritischen Schritt in Richtung robuster und erklärbarer Embodied AI. Die Autoren behaupten:

• Autonomie: Durch die Entfernung der Notwendigkeit menschlicher Überwachung bei der Fehlererkennung und -behebung bringt FailSafe VLA-Systeme näher an die volle Autonomie.
• Handlungsorientierte Argumentation: Der Übergung von textuellen Fehlerbeschreibungen zu ausführbaren Delta-Aktionen überbrückt die Lücke zwischen hochgradiger Argumentation und niedriggradiger Steuerung, eine Limitation früherer Arbeiten.
• Skalierbarkeit: Das Design der Pipeline ermöglicht die skalierbare Erstellung von Fehler-Wiederherstellungs-Daten, was in der realen Welt prohibitiv schwierig zu sammeln ist.
• Fundament für zukünftige Arbeit: Während sich die aktuelle Methode auf die Wiederherstellung auf Bewegungsebene konzentriert und noch keine Fehler auf Objektebene (z. B. Fallenlassen eines Objekts) adressiert, schafft sie ein Fundament für zukünftige Systeme, die in der Lage sind, sich in komplexen, dynamischen Umgebungen selbst zu korrigieren.

Die Autoren kommen zu dem Schluss, dass FailSafe als ein früher Versuch dient, eine stärkere Fehleranalyse und Autonomie zu ermöglichen, was den Weg für eine zuverlässigere Robotermanipulation in unstrukturierten Umgebungen ebnet.