Technische Samenvatting: FailSafe – Redeneren en Herstel van Fouten in Vision-Language-Action Modellen

Probleemstelling

Recente vooruitgang in Vision-Language-Action (VLA) modellen heeft robots in staat gesteld complexe manipulatietaken uit te voeren door lage-niveau besturing te integreren in Vision-Language Modellen (VLM's). Deze modellen leunen echter zwaar op grootschalige datasets die bestaan uit schone, grondwaarheid-trajecten (ground-truth), die zelden scenario's met fouten bevatten. Hierdoor presteren VLA's weliswaar goed binnen de distributie, maar hebben ze moeite met het detecteren of herstellen van onvoorspelbare, abrupte fouten tijdens de uitvoering in de echte wereld.

Bestaande benaderingen voor foutredenering kampen met aanzienlijke beperkingen:

• Gebrek aan Uitvoerbare Acties: Veel datasets bieden alleen tekstuele verklaringen van fouten (bijv. "de grijper moet naar links bewegen"), wat ambigu is met betrekking tot grootte en eindpunten, waardoor ze moeilijk direct door VLA-modellen kunnen worden uitgevoerd.
• Afhankelijkheid van Menselijk Toezicht: Methoden zoals OLAF en YAY vereisen externe menselijke waarnemers om operaties te monitoren en in te grijpen, wat onpraktisch is voor volledig autonome systemen.
• Onvermogen om te Schalen: Hoewel sommige pipelines fouttrajecten genereren, slagen ze er vaak niet in om bijbehorende corrigerende acties te produceren die zowel geldig als uitvoerbaar zijn voor robots.

De kernuitdaging die dit werk aanpakt, is de afwezigheid van een schaalbare pipeline die automatisch hoogwaardige foutredenering kan genereren, gekoppeld aan laag-niveau, uitvoerbare herstelacties om de robuustheid van VLA's te verbeteren.

Methodologie: De FailSafe Pipeline

De auteurs stellen FailSafe voor, een nieuw framework dat is ontworpen om automatisch diverse foutgevallen te genereren, gepaard met uitvoerbare herstelacties binnen simulators die bewegingsplanning ondersteunen (gedemonstreerd in ManiSkill). De pipeline bestaat uit vijf fasen:

1. Foutgeneratie

FailSafe definieert drie fundamentele foutmodi om veelvoorkomende robotische fouten te modelleren:

• Translatiefout: Perturbaties langs de Cartesiaanse assen ($x, y, z$).
• Rotatiefout: Angular afwijkingen in roll, pitch of yaw.
• No-ops Fout: De robotarm die gedurende een periode zonder beweging blijft hangen.

Deze fouten worden geïnjecteerd op willekeurige stappen van de ground-truth rollouts. Het systeem gebruikt een YAML-configuratie om ruisbereiken te specificeren (bijv. $\pm0.1$ voor translatie, $\pm1$ radiaan voor rotatie) en de stadia waarin de fouten optreden. Dit bootst de werkelijke inzet na waarbij fouten onverwacht kunnen optreden.

2. Actiecollectie

In tegenstelling tot eerdere methoden die tekst outputten, verzamelt FailSafe 7-DoF end-effector herstelacties ($\Delta A$).

• Mapping: Voor een afwijkende pose ($P_d$) in een fouttraject, mapt het systeem deze naar een overeenkomstige corrigerende pose ($P_c$) in het correcte traject.
• Constraints: Om botsingen te voorkomen, wordt $P_c$ geselecteerd uit een venster dat start 10 stappen nadat de fout is begonnen en eindigt 3 stappen voordat de taak wordt voltooid.
• Diversiteit: Het systeem genereert meerdere kandidaat $(P_d, P_c)$ paren. De resulterende corrigerende actie $\Delta A$ is het 7-DoF verschil tussen deze poses. Cruciaal is dat zelfs als een specifiek fouttype (bijv. Translatie X) is geïnjecteerd, de resulterende $\Delta A$ niet beperkt is tot één dimensie; het biedt aanpassingen over alle zeven dimensies om simultane of complexe foutmodi af te handelen.

3. Systematische Verificatie

Voordat ze worden opgenomen in de dataset, ondergaat elke kandidaat herstelactie een rigoureuze verificatie:

• Het systeem speelt het traject opnieuw af: $A \to P_d \to P_c \to \text{Rest van de Taak}$.
• Als de taak, die oorspronkelijk faalde, slaagt na het toepassen van de corrigerende pose $P_c$, wordt het paar gevalideerd.
• Dit zorgt ervoor dat de verzamelde acties robuust en effectief zijn wanneer ze op verschillende tijdstippen worden toegepast.

4. Datasetconstructie

De pipeline werd toegepast op drie taken in ManiSkill: Pick Cube, Push Cube en Stack Cube.

• Schaal: De resulterende dataset bevat ongeveer 131.000 fout-actie paren en 56.000 ground-truth (succesvolle) trajecten.
• Formaat: Elke entry bevat 10 opeenvolgende multi-view beelden (voorzijde, zijde, pols), taalinstructies, sub-taak identificatie, foutclassificatie (ja/nee), fouttype en de 7-DoF corrigerende actievector.

5. Modeltraining (FailSafe-VLM)

De auteurs hebben LLaVa-OneVision-7B (LLaVa-OV-7B) gefinetuned op de FailSafe dataset.

• Architectuur: Het model gebruikt Qwen2-7B-Instruct als het taalbackbone en SigLIP als de vision tower, met een twee-laagse GELU MLP projector.
• Training: Volledige instructie fine-tuning werd uitgevoerd met co-training op een RoboPoint VQA-mix om generalisatie te verbeteren.
• Inference Strategie: FailSafe-VLM werkt als een externe assistent voor een basis VLA-model. Elke 10 stappen analyseert het de huidige staat om te bepalen of een fout waarschijnlijk is. Indien "Ja", geeft het een corrigerende actie uit; indien "Nee", keert de controle terug naar het basis VLA-model.

Belangrijkste Bijdragen

1. Schaalbare Fout-Actie Pipeline: Het eerste framework dat automatisch zowel foutredenering-uitleg als nauwkeurige, uitvoerbare 7-DoF herstelacties voor robots genereert, aanpasbaar aan simulators met ondersteuning voor bewegingsplanning.
2. Prestatieverbetering: Heeft aangetoond dat de FailSafe dataset bestaande VLM's in staat stelt om over fouten te redeneren, wat de succespercentages van drie state-of-the-art VLA-modellen ($\pi$o-FAST, OpenVLA, OpenVLA-OFT) aanzienlijk verhoogt.
3. Generalisatie: Heeft aangetoond dat FailSafe-VLM kan generaliseren over diverse ruimtelijke configuraties, camerastandpunten, objectcategorieën (inclusclusief onbekende objecten zoals bollen en opladers) en robotische belichamingen (bijv. transfereren van Franka Emika Panda naar xArm 6).

Experimentele Resultaten

De auteurs evalueerden FailSafe-VLM op de Franka Emika Panda arm in de ManiSkill omgeving:

• VLA Prestatiewinsten:

  • OpenVLA: Behaalde de grootste verbetering, met een gemiddelde stijging van het succespercentage van 22,6% (van 14,7% naar 37,3%).
  • OpenVLA-OFT: Verbeterde met 8,0% (van 90,7% naar 98,7%).
  • $\pi$o-FAST: Verbeterde met 4,0% (van 78,7% naar 82,7%).
  • Deze winsten werden behaald zelfs wanneer het camerabeeld dat voor FailSafe-VLM werd gebruikt nieuw was (anders dan de trainingsview), terwijl de trainingsview van de VLA werd gematcht.

• Generalisatie:

  • Onbekende Objecten: Bij testen op Pick Sphere, Place Sphere en Pick Charger, verbeterde FailSafe-VLM de OpenVLA-OFT prestaties met gemiddeld 17,4%.
  • Onbekende Belichamingen: Wanneer toegepast op een xArm 6 robot (getraind op enkel Franka-data), verbeterde het de Stack Cube succesrate van 56% naar 76%.

• Vergelijking met State-of-the-Art VLMs:

  • FailSafe-VLM presteerde aanzienlijk beter dan GPT-4o, Gemini-2.5-flash en Qwen2.5-VL op het gebied van foutdetectie (Binair Succes: 0,9094 vs. ~0,70 voor GPT-4o), fouttype identificatie (Nauwkeurigheid: 0,8368 vs. ~0,20) en herstelactie voorspelling (Cosine Similarity: 0,6522 vs. bijna 0 voor anderen).
  • Opvallend genoeg gaf Qwen2.5-VL vaak "geen fout" en nul acties terug, waardoor het faalde in het assisteren bij herstel.

• Efficiëntie:

  • De integratie veroorzaakte een marginale inference overhead van +3,8s tot +9,1s per taak, voornamelijk door simulator replanning.

Betekenis en Claims

Het papier positioneert FailSafe als een cruciale stap richting robuuste en verklaarbare embodied AI. De auteurs beweren dat:

• Autonomie: Door de noodzaak van menselijk toezicht bij foutdetectie en herstel te verwijderen, brengt FailSafe VLA-systemen dichter bij volledige autonomie.
• Actiegerichte Redenering: De verschuiving van tekstuele foutbeschrijvingen naar uitvoerbare delta-acties overbrugt de kloof tussen hoog-niveau redenering en laag-niveau besturing, een beperking in eerder werk.
• Schaalbaarheid: Het ontwerp van de pipeline maakt de schaalbare creatie van fout-herstel data mogelijk, wat in de echte wereld zeer moeilijk te verzamelen is.
• Fundament voor Toekomstig Werk: Hoewel de huidige methode zich richt op bewegingsniveau herstel en nog geen object-niveau fouten (zoals het laten vallen van een object) aanpakt, legt het een fundament voor toekomstige systemen die in staat zijn tot zelfcorrectie in complexe, dynamische omgevingen.

De auteurs concluderen dat FailSafe dient als een vroege poging om sterkere foutredenering en autonomie mogelijk te maken, wat de weg vrijmaakt voor meer betrouwbare robotische manipulatie in ongestructureerde omgevingen.