Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation

Technische Samenvatting: Rotatie-bewuste Point-Cloud Embeddings voor Visuele In-Hand Reoriëntatie

Probleemstelling
Het artikel behandelt de uitdaging van behendige in-hand reoriëntatie met behulp van point-cloud doelen. Hoewel point clouds een natuurlijke manier bieden om een gewenste 3D-geometrie te specificeren zonder dat daar objectspecifieke pose-frames of 6D-pose schattingen voor nodig zijn, is directe conditionering op een ruwe point-cloud slecht geschikt voor beleidsleren (policy learning). De fundamentele moeilijkheid ligt in de aard van point clouds: ze zijn ongeordend, onafhankelijk gesampled en afhankelijk van zichtbaarheid. Bijgevolg is de discrepantie tussen een huidige observatie en een doel-cloud verstrengeld met permutatie, resampling en instabiele correspondentiestructuren.

Eerdere benaderingen hebben geprobeerd dit te omzeilen door externe structuren toe te voegen, zoals:

• Expliciete pose of relatieve-pose inputs (bijv. Geometry-Dex).
• Dense flow features die puntbeweging aangeven (bijv. HACMan).
• Distillatie van geprivilegieerde docenten die toegang hebben tot de grondwaarheid (ground-truth) staat.

Deze methoden vertrouwen op broze berekeningen tijdens de testtijd (pose-schatting, registratie) of vereisen expert-supervisie. De auteurs stellen dat generieke point-cloud encoders (getraind voor reconstructie of vormidentiteit) er niet in slagen om taakrelevante toestanden te organiseren op een manier die controle faciliteert, omdat ze vaak de specifieke rotatiesignalen die nodig zijn voor reoriëntatie negeren.

Methodologie
De voorgestelde oplossing is een rotatie-bewuste point-cloud embedding die de Euclidische afstand in de latente ruimte kalibreert aan de SO(3) geodetische fout tussen objectoriëntaties. Dit stelt een model-vrij Reinforcement Learning (RL) beleid in staat om direct te leren van huidige en doel point-cloud embeddings zonder expliciete pose, flow of docent-supervisie.

1. Pose-bewuste Encoder ($\phi$):

   • Architectuur: Een PointNet++ gebaseerde encoder die gekleurde point clouds ($P \in \mathbb{R}^{N \times 6}$) mapt naar 128-dimensionale embeddings.
   • Trainingsdoel: De encoder wordt getraind met een metric-learning objectief in een Siamese stijl. Voor twee clouds van hetzelfde object bij oriëntaties $q_1$ en $q_2$, wordt de Euclidische afstand tussen hun embeddings geregreerd naar de SO(3) geodetische rotatiefout:
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • Curriculum: Het trainen maakt gebruik van een occlusie-curriculum op YCB-dataset getextureerde meshes, waarbij progressief punten worden verwijderd om gedeeltelijke observaties te simuleren. Een fine-tuning fase gebruikt een IsaacLab-dataset met hand-achtige occlusies om aan de voorwaarden van beleidsleren te voldoen.

2. Beleid-leren (In-Hand Reoriëntatie):

   • Framework: De taak wordt geformuleerd als een doel-geaugmenteerde Markov Decision Process (MDP) die wordt opgelost met PPO met een asymmetrische actor-critic architectuur.
   • Observaties (Actor): Het beleid ontvangt:
     • Geleerde embeddings van de huidige en doel point clouds ($z_{obj}, z_{goal}$).
     • Proprioceptie (gewrichtsposities, snelheden, fingertip poses).
     • Geometrische metadata (centra van de huidige en doel clouds) om translatie-informatie aan te vullen.
   • Critic: De critic heeft toegang tot geprivilegieerde staat-informatie (ground-truth pose, snelheid, contactkrachten) om snellere convergentie te faciliteren.
   • Beloning: De beloningsfunctie minimaliseert in-hand positie-drift en rotatiefout (gemeten via geodetische afstand op SO(3)), met actie-regularisatie en een succesbonus.

Belangrijkste Bijdragen

• Representatie-leren voor Controle: Het artikel demonstreert dat een representatie op zichzelf een point-cloud doel bruikbaar kan maken voor standaard beleidsleren, waardoor de noodzaak voor externe ondersteuning zoals pose-schatters of dense flow velden vervalt.
• SO(3)-gekalibreerde Embeddings: Door de encoder expliciet te trainen om de latente afstand af te stemmen op de rotatiefout, creëert de methode een vloeiend controlesignaal waarbij het verschil in embeddings direct de benodigde rotatie reflecteert om het doel te bereiken.
• Succes van Model-vrij RL: De auteurs tonen aan dat een model-vrij beleid met deze embeddings stabiel kan leren en de prestaties van distillatie-gebaseerde baselines en geprivilegieerde-staat methoden kan evenaren, ondanks het ontbreken van toegang tot ground-truth pose of docent-acties tijdens de training.
• Diagnostisch Bewijs: Het artikel levert bewijs dat generieke zelf-gesuperviseerde pretraining (bijv. Point-MAE) onvoldoende is voor deze taak, omdat het weliswaar vormkenmerken behoudt, maar faalt in het organiseren van de latente ruimte volgens rotatieassen en -groottes, terwijl de voorgestelde metric-learning aanpak deze structuur wel herstelt.

Resultaten
Experimenten werden uitgevoerd in simulatie met de Shadow Hand en vier YCB-objecten (Peach, Rubik's Cube, Pear, Tuna Can).

• Prestaties: De voorgestelde methode behaalde een succespercentage van 100% over alle geteste objecten, wat overeenkomt met de prestaties van de "Teacher" (geprivilegieerde staat) en "Distilled Student" baselines.
• Efficiëntie: Hoewel de voorgestelde methode succesvol was, vereiste het gemiddeld meer tijdstappen om het doel te bereiken vergeleken met de geprivilegieerde docent (bijv. 85,29 stappen versus 25,40 voor de Peach). De auteurs schrijven dit toe aan het model-vrije karakter van het leren (optimaliseren vanuit beloning in plaats van per stap acties) en merken op dat langere trainingsruns de snelheid verder kunnen verbeteren.
• Vergelijking met Baselines:
  • Methoden die vertrouwen op pose-schatters (bijv. FoundationPose) of registratie (Open3D) vertoonden aanzienlijk lagere succespercentages (bijv. 33-58% voor de Rubik's Cube en de Pear) en veel hogere faaltijden, wat de broosheid van deze tussenliggende modules tijdens implementatie benadrukt.
  • Flow-gebaseerde methoden die gebruikmaken van gesimuleerde staat presteerden goed, maar die afhankelijk waren van registratie faalden aanzienlijk.
  • Generieke Encoders: Een beleid dat een gefinetunede Point-MAE encoder gebruikte, slaagde er niet in om te leren, wat bevestigt dat generieke vormkenmerken niet het noodzakelijke rotatie-bewuste signaal bieden.
• Representatie-analyse: Visualisaties van de latente ruimte (oppervlakteplots en t-SNE) bevestigden dat de voorgestelde encoder embeddings organiseert op basis van rotatieas en -grootte, waardoor een gestructureerd landschap ontstaat dat vergelijkbaar is met dat van een distillatie-gebaseerde student, maar zonder de noodzaak van actie-supervisie.

Betekenis en Claims
Het artikel claimt dat point-cloud doelen praktisch worden voor behendige controle wanneer de representatie zelf de taakrelevante geometrie van rotatie codeert, in plaats van te vertrouwen op externe modules om pose of flow te berekenen.

• Het werk suggereert dat de "ondersteuning" van pose-schatting en registratie niet strikt noodzakelijk is als de visuele representatie correct is gekalibreerd op de geometrische beperkingen van de taak.
• Het benadrukt een beperking van generieke visuele pretraining: het behouden van vormidentiteit is onvoldoende voor controletaken die een precieze geometrische vergelijking vereisen; de representatie moet expliciet gestructureerd zijn voor de specifieke transformatiegroep (SO(3) in dit geval).
• De auteurs merken op dat hoewel de evaluatie in simulatie plaatsvindt, het gebruik van occlusie-curricula, point jittering en domein-randomisatie bewijs levert dat de representatie robuust is tegen de verstoringen die verwacht worden bij echte robotimplementatie, wat toekomstige validatie op echte robots motiveert.

Beperkingen
De auteurs erkennen dat de huidige embedding primair rotatie-relevante staat behoudt en niet expliciet is beperkt tot het behoud van objectvorm, wat het vermogen beperkt om een enkel algemeen beleid over verschillende objecten te leren. Toekomstig werk richt zich op het verkennen van embeddings die zowel vorm behouden als controle-vriendelijke vergelijkingen mogelijk maken, evenals het uitbreiden van het metric-doel naar de volledige SE(3)-groep voor algemene manipulatie.