When would Vision-Proprioception Policies Fail in Robotic Manipulation?

Titel: Wanneer falen Vision-Proprioception Policies in Robotische Manipulatie?

Auteurs: Jingxian Lu, Wenke Xia, Yuxuan Wu, Zhiwu Lu, Di Hu (Renmin University of China & Beihang University)

1. Het Probleem

In robotische manipulatie wordt vaak aangenomen dat het combineren van visuele informatie (camera's) en proprioceptieve informatie (intern robottoestand, zoals gewrichtshoeken en gripperpositie) de prestaties van beleidsstrategieën (policies) verbetert. Echter, recente studies tonen tegenstrijdige resultaten: sommige werken tonen verbeteringen, terwijl andere (zoals Octo) aangeven dat policies met proprioceptie soms slechter presteren dan visie-only policies.

De kernvraag die dit paper adresseert is: Wanneer en waarom falen vision-proprioception policies?
De auteurs ontdekken dat dit falen optreedt tijdens specifieke fasen van een taak: de bewegingsovergangen (motion-transition phases).

• Bewegingsconsistente fasen: Waar de robot een continue beweging uitvoert (bijv. "beweeg vooruit"), is proprioceptie cruciaal en dominant.
• Bewegingsovergangsfasen: Waar de robot van richting verandert of een nieuw doel moet lokaliseren (bijv. "vind de basis" of "monteer onderdelen"), is visie essentieel voor nauwkeurige lokalisatie.

Het paper toont aan dat tijdens deze overgangsfasen de visiemodus van de policy vaak onderdrukt wordt. Omdat visuele cues tijdens subtiele bewegingen vaak slechts op pixelniveau verschillen, neigt de policy tijdens het trainen (via Behavior Cloning) er automatisch voor om te vertrouwen op de beknopte en directere proprioceptieve signalen om de trainingsfout (loss) sneller te minimaliseren. Dit leidt tot een optimalisatie-dominantie van proprioceptie, waardoor de visuele modus niet effectief leert en de generalisatie van de policy verslechtert, vooral bij objecten op onbekende posities.

2. Methodologie: Gradient Adjustment with Phase-guidance (GAP)

Om dit probleem op te lossen, stellen de auteurs het GAP-algoritme voor. Dit algoritme past de optimalisatie van proprioceptie adaptief aan om een dynamische samenwerking tussen visie en proprioceptie te faciliteren.

De methode bestaat uit drie hoofdstappen:

1. Representatie van Robotbeweging:
   De auteurs definiëren de robotbeweging op basis van veranderingen in de proprioceptieve signalen (positie, oriëntatie en opening van de gripper). Ze segmenteren de trajecten in "bewegingsconsistente fasen" met behulp van een Change Point Detection (CPD) algoritme.

2. Schatting van Overgangsfasen (Motion-Transition Phase Estimation):
   Omdat overgangen continu zijn en CPD discrete labels geeft, gebruiken ze een tijdsnetwerk (zoals een LSTM) om de tijdsverschillen in proprioceptie ($\Delta s_t$) te modelleren. Dit netwerk voorspelt een indicator $\rho_t$ die de waarschijnlijkheid aangeeft dat tijdstip $t$ deel uitmaakt van een bewegingsovergangsfase. Dit helpt om de overgangen vloeiend te modelleren en fouten door de segmentatie te minimaliseren.

3. Gradient Adjustment (Gradiëntaanpassing):
   Tijdens het trainen van de policy wordt de gradiënt van de proprioceptieve parameters ($\omega_s$) dynamisch aangepast op basis van de geschatte indicator $\rho_t$.
   De update-regel is als volgt:
   $$\omega^{j+1}_s = \omega^j_s - \lambda \cdot (1 - \rho) \cdot \eta \nabla_{\omega^j_s} L_{BC}$$
   Waarbij:

   • $\rho$ de geschatte waarschijnlijkheid is dat het moment een overgangsfase is.
   • $\lambda$ een hyperparameter is die de mate van aanpassing controleert.
   • Als $\rho$ hoog is (overgangsfase), wordt de grootte van de proprioceptieve gradiënt verlaagd. Dit dwingt de policy om meer aandacht te besteden aan de visuele cues in plaats van te vertrouwen op proprioceptie.
   • Als $\rho$ laag is (consistente beweging), wordt de proprioceptieve gradiënt normaal verwerkt.

Dit zorgt ervoor dat de policy proprioceptie effectief gebruikt zonder de leercurve van de visuele modus te onderdrukken.

3. Belangrijkste Bijdragen

• Analyse van Falen: Het paper identificeert en kwantificeert dat vision-proprioception policies falen tijdens bewegingsovergangen omdat de optimalisatie onterecht wordt gedomineerd door proprioceptie, wat leidt tot onderbenutting van visuele informatie.
• GAP Algoritme: Introductie van een nieuw algoritme dat gradiënten van proprioceptie adaptief dempt tijdens overgangsfasen, waardoor een evenwichtige en dynamische fusie van modaliteiten ontstaat.
• Universele Toepasbaarheid: Het algoritme is compatibel met verschillende architecturen (MLP, Diffusion, Transformer), verschillende fusiemethoden (Concatenation, Summation, FiLM) en zowel conventionele als Vision-Language-Action (VLA) modellen (zoals Octo).
• Uitgebreide Validatie: De methode is getest in gesimuleerde omgevingen (Meta-World, RoboSuite) en in de echte wereld (enkele en dubbele armen), met succes op complexe taken zoals het schroeven, gieten en handover.

4. Resultaten

De experimentele resultaten tonen een significante verbetering ten opzichte van bestaande methoden:

• Prestatieverbetering: GAP-equipped policies presteren consequent beter dan visie-only policies en andere fusiemethoden (zoals MS-Bot, Aux Loss, Masking). Bijvoorbeeld, in de Meta-World "assembly" taak steeg het succespercentage van ~82% (visie-only) naar 94% met GAP.
• Generalisatie (OOD): In Out-of-Distribution (OOD) scenario's, waar objectposities verschillen van de trainingsdata, behouden GAP-policies hun superioriteit. Visie-only policies presteren goed, maar standaard vision-proprio policies falen vaak; GAP combineert de sterktes van beide.
• Visuele Modus Gebruik: Interventie-experimenten tonen aan dat na toepassing van GAP de visuele modus tijdens overgangsfasen daadwerkelijk bijdraagt aan de beslissingen, in tegenstelling tot de onderdrukte versie.
• Compatibiliteit: Het algoritme werkt ook effectief op geavanceerde VLA-modellen (Octo), waar het de prestaties van de proprioceptieve versie aanzienlijk verbetert (gemiddeld +17% verbetering) en zelfs superieur maakt aan de visie-only versie.

5. Betekenis en Impact

Dit werk biedt een cruciaal inzicht in de ontwikkeling van multimodale robotpolicies. Het weerlegt de aanname dat het simpelweg toevoegen van proprioceptie altijd helpt, en toont aan dat het tijdstip en de manier waarop modaliteiten worden gefuseerd, kritiek zijn.

De GAP-methode lost het fundamentele probleem van "modale onderdrukking" op tijdens kritieke overgangsmomenten. Dit maakt het mogelijk om robuustere en generaliserendere robots te bouwen die complexe taken kunnen uitvoeren in dynamische omgevingen, waarbij ze zowel de precisie van proprioceptie als de contextuele intelligentie van visie optimaal benutten. Het is een belangrijke stap voorwaarts voor het toepassen van robotica in de echte wereld, waar onzekerheid en variatie in objectposities de norm zijn.