Technische Samenvatting: AxisGuide

Probleemstelling

Recente visuomotorische manipulatiebeleid, met name die gebruikmaken van grootschalige behavior cloning en Vision-Language-Action (VLA) modellen, hebben een sterke semantische scène-begrip getoond. Echter, er blijft een kritieke kloof bestaan tussen semantisch begrip en betrouwbare uitvoering van lage-niveau acties, vooral onder distributieverschuivingen. Zelfs bij taken met identieke scène-indelingen, camerastandpunten en verlichting, neemt de prestatie aanzienlijk af wanneer objecten op ongeziene locaties worden geplaatst.

De auteurs stellen dat deze mislukking voortkomt uit onvoldoende actie-begrip: het onvermogen van het beleid om het coördinatensysteem van de robot-baseframe actie binnen de beeldruimte te interpreteren. Standaard RGB-observaties en proprioceptieve staten bieden zelden een expliciete visuele referentie die het actie-coördinatensysteem verankert (bijv. hoe een "+x" of "+z" beweging eruitziet in pixels). Gevolgen daarvan degenereren beleid vaak tot het memoriseren van beeld-naar-vector correspondenties, in plaats van het leren van de geometrische relatie tussen visuele observaties en de baseframe-acties van de robot. Dit leidt tot een slecht generalisatievermogen wanneer het doelobject verschuift, omdat het model niet in staat is om nieuwe relatieve end-effector verplaatsingen correct samen te stellen.

Methodologie: AxisGuide

Om de kloof tussen semantisch begrip en actie-coördinat-interpretatie te overbruggen, stellen de auteurs AxisGuide voor, een lichtgewicht begeleidingsmethode die het actie-coördinatensysteem van de robot expliciet verankert in RGB-observaties.

Kernmechanisme

AxisGuide breidt standaard RGB-observaties uit met een kleine set aanvullende kanalen die de betekenis van actiedimensies (+x, +y, +z) in de beeldruimte visualiseren.

1. Projectie van Assen: Met behulp van bekende cameraintrinsics en -extrinsics, samen met de huidige end-effector (EEF) pose, projecteert de methode de baseframe-assen van de robot op het 2D-beeldvlak.
2. Visuele Aanwijzingen: Voor elk camerastandpunt rendert de methode drie richtingvectoren die voortkomen uit de geprojecteerde EEF-locatie. Deze vectoren komen overeen met eenheidstranslaties langs de x-, y- en z-assen van het baseframe van de robot.
3. Representatie: Deze vectoren worden gecodeerd als een 3-kanaals beeld ($A_t \in \mathbb{R}^{3 \times H \times W}$), waarbij de rode, groene en blauwe kanalen respectievelijk de x-, y- en z-richtingen vertegenwoordigen.
4. Integratie: De cue-afbeelding wordt kanaalsgewijs geconcateneerd met de originele RGB-afbeelding (waardoor het aantal invoerkanalen per view toeneemt van 3 naar 6) in plaats van eroverheen te worden geplaatst. Dit behoudt de ruwe verschijningsdistributie terwijl er een toegewezen, ontkoppeld kanaal wordt geboden waar het beleid gebruik van kan maken kan.
5. Beleid Leren: Het beleid (bijv. Diffusion Policy of SmolVLA) wordt getraind via standaard behavior cloning op dit uitgebreide observatieruimte. De visuele backbone's eerste convolutielaag wordt simpelweg aangepast om de verhoogde kanaaldimensie te accepteren.

Belangrijke Ontwerpkeuzes

De auteurs identificeren drie cruciale ontwerpkeuzes voor een effectieve representatie:

• Injectie: Kanaalsgewijze concatenatie geniet de voorkeur boven overlaying, omdat dit occlusie van kritieke visuele details voorkomt.
• Positionering: Het verankeren van de aanwijzingen bij de end-effector locatie (EEF-aligned) is superieur aan een vaste centrum-uitgelijnde positie, omdat het een actie-gecentreerde referentie biedt die relevant is voor het huidige interactiepunt.
• Normalisatie: Het normaliseren van de geprojecteerde vectoren naar eenheidrichtingen verwijdert schaalvariaties veroorzaakt door diepte en camerageometrie, waardoor het beleid zich kan concentreren op directionele semantiek.

Belangrijkste Bijdragen

1. Probleemidentificatie: Het papier identificeert en definieert de "actie-coördinatensysteem begrip" kloof als een primaire oorzaak van slecht generalisatievermogen van visuomotorische beleid onder distributieverschuivingen.
2. AxisGuide Voorstel: Een eenvoudige, effectieve oplossing die expliciete referenties voor het actie-coördinatensysteem in RGB-beelden injecteert zonder dat daarvoor dieptesensoren, extra supervisie of grote architecturale wijzigingen nodig zijn.
3. Empirische Validatie: Demonstratie van consistente prestatiewinsten en verbeterd generalisatievermogen over diverse cameraconfiguraties (single-view en multi-view) in zowel simulatie (LIBERO benchmark) als real-world omgevingen.

Experimentele Resultaten

De auteurs evalueerden AxisGuide tegen baselines inclusief Diffusion Policy (DP) en SmolVLA over meerdere taken.

• Generalisatie naar Ongeziene Locaties: In een "Pick Up" taak met gerandomiseerde objectplaatsingen, verbeterde AxisGuide de succesratio's op ongeziene locaties aanzienlijk.
  • Simulatie: Succesratio steeg van 52,38% naar 65,71% (+13,33%p).
  • Real-World: Succesratio steeg van 30,12% naar 50,00% (+19,88%p).
• Single-Task Prestaties: In de LIBERO simulatie verbeterde AxisGuide de succesratio's over alle taken (Pick & Place, Drawer, Stove), met de grootste winst (+13,34%p) op Pick & Place. In real-world single-view settings werden winsten waargenomen op Pick & Place (+10,00%p) en Flip Pot (+13,35%p).
• Multi-Task Prestaties: Wanneer toegepast op SmolVLA over 10 taken in de LIBERO suites, presteerde AxisGuide consequent beter dan zowel frozen-backbone als volledig getrainde baselines, met een +7,5% winst op de LIBERO-Object suite.
• Vergelijking met Baselines: AxisGuide presteerde beter dan andere visuele cue methoden zoals TraceVLA (motion traces) en AimBot (reticles), die zich richten op scène-niveau ruimtelijke relaties maar falen in het expliciet grondvesten van het actie-coördinatensysteem van de robot.
• Robuustheid: De methode demonstreerde robuustheid tegen kalibratiefouten (extrinsische en intrinsieke perturbaties), waarbij de prestaties boven de baseline bleven, zelfs met geïnjecteerde ruis.

Betekenis en Claims

Het papier claimt dat AxisGuide effectief de kloof overbrugt tussen semantisch scène-begrip en actie-uitvoering door het actie-coördinatensysteem expliciet te maken in de pixelruimte. De auteurs benadrukken dat:

• Visuomotorische beleid moeite hebben met generaliseren, niet omdat ze een gebrek aan semantisch begrip hebben, maar omdat ze er niet in slagen hoge-niveau intenties te mappen naar lage-niveau baseframe-acties in nieuwe ruimtelijke configuraties.
• Het expliciet visualiseren van het actie-coördinatensysteem beleid in staat stelt om end-effector bewegingen betrouwbaarder aan te passen wanneer doelen verschuiven, wat leidt tot robuuste, overdraagbare generalistische beleid.
• Deze aanpak een lichtgewicht, model-agnostische verbetering biedt die niet afhankelijk is van complexe architecturale wijzigingen of diepte-informatie, waardoor het toepasbaar is op een breed scala aan bestaande visuomotorische pipelines.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methode toegang vereist tot cameraparameters (hoewel deze vaak beschikbaar of schatbaar zijn) en dat coördinat-grondvesting alleen niet alle fouten oplost, met name in contact-rijke fasen zoals grijpen. Zij suggereren dat toekomstig werk de mogelijkheden kan verkennen om deze bevindingen te schalen naar massieve, diverse datasets zoals DROID.