Technische Samenvatting: Het blootleggen van de kwetsbaarheid van Vision-Language-Action modellen onder fysieke fouten op gewrichtsniveau

Probleemstelling

De inzet van Vision-Language-Action (VLA) modellen in echte robotische systemen staat voor een kritiek robuustheidsgat: hoewel deze modellen sterke generalisatie vertonen voor semantische en perceptuele variaties, missen ze vaak robuustheid tegenover embodiment-zijde fouten. Specifiek gaan VLA-policies ervan uit dat het robotlichaam voorspelde acties getrouw omzet in beoogde bewegingen. Echter, echte robots zijn vatbaar voor fysieke fouten op gewrichtsniveau, zoals actuatordegradatie, hardwaredefecten, door veiligheid opgelegde limieten, botsingsschade en door slijtage veroorzaakte wrijving.

Deze fouten veranderen de actie-naar-beweging interface, waardoor de geleerde closed-loop relatie tussen gecommandeerde acties, gerealiseerde beweging en daaropvolgende observaties wordt verstoord. In tegenstelling tot conventionele actieruis (die de policy-output direct verstoort), veranderen gewrichtsniveau fysieke fouten de kinematische of dynamische capaciteit van de robot zelf. Gevolgelijk kan dezelfde gecommandeerde actie resulteren in verschillende gerealiseerde toestanden, afhankelijk van het getroffen gewricht en de ernst van de fout. Dit leidt tot een closed-loop executie mismatch, waarbij de robot afwijkt van de nominale trajectorie die de VLA-policy verwacht, wat potentieel onherstelbare fouten kan veroorzaken, zelfs als de taak fysiek nog uitvoerbaar is.

Methodologie: J-PARC

Om deze kwetsbaarheid aan te pakken, stellen de auteurs Joint-level Physical-fault Aware Residual Calibrator (J-PARC) voor, een lichtgewicht framework dat bovenop een bevroren VLA-policy werkt zonder de basismodellen te finetunen.

Kernarchitectuur

J-PARC functioneert als een residuele correctiemodule die de translationele componenten van de actie-output van de VLA aanpast op basis van de geïnferreerde executiecontext.

1. Input Context: De module observeert recente gewrichtsdynamiek en executiegeschiedenis ($H_t$), welke de basisacties, end-effector/gripper-toestanden en het verschil tussen gecommandeerde en geëxecuteerde acties bevat.
2. Fault Regime Inference: Een vooraf getrainde encoder ($g_\psi$) verwerkt recente gewrichtsbeweging om een latente gewrichtsfout-regime ($u_t$) te extraheren. Deze encoder is getraind om de aanwezigheid van een fout te detecteren en het specifieke getroffen gewricht te classificeren, maar blijft bevroren tijdens de residuele trainingsfase.
3. Residuele Voorspelling: Een transformer-gebaseerde residuele calibrator ($f_\theta$) neemt de basis actie-chunk, de executiegeschiedenis en het geïnferreerde fout-regime als input. Het voorspelt een residuele chunk ($R_{\theta,t}$) specifiek voor de translationele armcommando's ($\Delta x, \Delta y, \Delta z$).
4. Actie Correctie: De uiteindelijke geëxecuteerde actie is de som van de basis VLA-actie en het voorspelde residu. De rotatie- en grippercommando's van de basispolicy worden behouden om onnodige herconfiguratie van de gewrichten te voorkomen.

Trainingsstrategie

J-PARC maakt gebruik van een reference-guided residual target benadering:

• Dataverzameling: Het systeem koppelt foutvrije referentie-rollouts aan rollouts onder condities van geblokkeerde gewrichten, beginnend vanuit dezelfde initiële toestand.
• Target Generatie: Een "teacher"-mechanisme vergelijkt de foutieve executiestatus met de foutvrije referentie-trajectorie. Als de afwijking een drempelwaarde overschrijdt, wordt de doel-residuele berekend om de end-effector richting de foutvrije waypoint te sturen. Als de afwijking binnen een "demonstration tube" valt, is de doel-residuele nul.
• Optimalisatie: De residuele calibrator wordt getraind om de gemiddelde kwadratische fout tussen de voorspelde residuele en de door de teacher gegenereerde target te minimaliseren, terwijl de basis VLA-policy en de fout-encoder bevroren blijven.

Belangrijkste Bijdragen

1. Identificatie van Kwetsbaarheid: Het artikel stelt gewrichtsniveau fysieke fouten (blokkering, bereiklimieten, verhoogde wrijving) vast als een kritische, onderscheidende robuustheidsuitdaging voor VLA-implementatie, los van perceptuele of commando-ruis.
2. Analyse van Heterogene Effecten: Door uitgebreide analyse tonen de auteurs aan dat de effecten van fouten gewrichtsafhankelijk zijn. Taken verslechteren heterogeen op basis van welk gewricht is getroffen en de gebruiksintensiteit van dat gewricht in de taak. Bovendien treden prestatieverminderingen op zelfs in haalbare scenario's (bijv. verhoogde wrijving), wat aangeeft dat het probleem niet enkel fysieke onhaalbaarheid is, maar een closed-loop executie mismatch.
3. J-PARC Framework: De voorstel van een lichtgewicht, residuele kalibratieframework dat latente fout-regimes afleidt uit de executiegeschiedenis en acties dienovereenkomstig aanpast, waarbij de gedragingen van de basispolicy in foutvrije omgevingen behouden blijven.
4. Empirische Validatie: Experimenten op de LIBERO benchmark en op hardware in de echte wereld (Trossen WidowX AI) tonen aan dat J-PARC het succespercentage aanzienlijk verbetert onder gewrichtsfouten, terwijl de prestaties in nominale condities behouden blijven.

Experimentele Resultaten

De auteurs evalueerden J-PARC op twee bevroren VLA-backbones (OpenVLA-OFT en $\pi_0.5$) over de LIBERO benchmark suites.

• Locked Joint Faults: Onder condities van geblokkeerde gewrichten verbeterde J-PARC het gemiddelde succespercentage van 42,3% naar 46,8% (OpenVLA-OFT) en van 48,4% naar 55,2% ($\pi_0.5$). Opvallend genoeg presteerde het beter dan baselines zoals Constrained Inverse Kinematics (CIK) en RobustVLA, die er niet in slaagden consistent de prestaties te verbeteren of deze zelfs verslechterden.
• Ongeziene Wrijvingsfouten: Cruciaal is dat J-PARC alleen werd getraind op locked-joint data. Wanneer het werd getest op verhoogde gewrichtswrijving (een andere foutmodus die niet tijdens de training was gezien), verbeterde het nog steeds de gemiddelde succespercentages (bijv. van 46,4% naar 55,1% voor OpenVLA-OFT), wat de generalisatie naar ongeziene executie mismatches aantoont.
• Bewaring van Foutvrije Toestand: In foutvrije omgevingen behield J-PARC de prestaties van de basispolicy, wat bevestigt dat de residuele module de nominale operatie niet verstoort.
• Validatie in de Werkelijkheid: Op een fysieke robot bij een bowl pick-and-place taak faalde de basispolicy volledig onder gewrichtsblokkeringen, terwijl J-PARC in de meeste proeven slaagde door de end-effector traject dicht bij het foutvrije referentiepad te houden.

Betekenis en Claims

Het artikel betoogt dat embodiment-zijde robuustheid een noodzakelijke voorwaarde is voor betrouwbare VLA-implementatie, en niet slechts een secundaire hardwarematige kwestie. De auteurs beweren dat:

• Huidige robuustheidsmethoden die zich richten op actieruis of perceptuele perturbaties onvoldoende zijn voor het afhandelen van persistente fysieke fouten die de dynamica van de robot veranderen.
• De mismatch tussen gecommandeerde acties en gerealiseerde bewegingen accumuleert over tijd, wat adaptieve actie-kalibratie vereist die geconditioneerd is op de huidige executiecontext in plaats van statische beperkingen.
• J-PARC een praktische, lichtgewicht oplossing biedt die de robuustheid verhoogt zonder de computationele kosten van het finetunen van grote VLA-modellen of de noodzaak voor uitgebreide adversariële trainingsdata.

De auteurs blijven bescheiden over beperkingen en merken op dat hun validatie in de echte wereld momenteel beperkt is tot specifieke gewrichten (4 en 5) en een enkele taak vanwege veiligheidsrestricties, en dat de methode momenteel toegang vereist tot foutvrije referentie-trajecten voor training. Toekomstig werk suggereert de exploratie van automatische referentieconstructie en bredere actieruimtes.