Object Pose and Shape Estimation for Grasping: Does it Work?

Technische Samenvatting: Schatting van Objectpose en -vorm voor Grijpen

Probleemstelling
Het artikel behandelt een fundamentele vraag in de robotica: zijn recente vooruitgangen in de schatting van objectpose en -vorm voldoende rijp om state-of-the-art end-to-end-methoden voor het synthetiseren van grijpbewegingen te overtreffen? Traditioneel leunde het synthetiseren van grijpbewegingen op bekende objectgeometrie of analytische optimalisatie. Waar moderne end-to-end-methoden (bijv. AnyGrasp) grijpposen direct afleiden uit single-view RGB-D-beelden met hoge snelheid, kampen ze vaak met stabiliteitsproblemen en het bereiken van krachtsluiting. Omgekeerd zijn modulaire benaderingen – waarbij eerst de objectgeometrie wordt gereconstrueerd en vervolgens antipodale bemonstering wordt toegepast – historisch beperkt geweest door de ambiguïteit van single-view-reconstructie. Dit werk onderzoekt of moderne encoder-decoder- en op diffusie gebaseerde reconstructiemodellen nu een superieure basis kunnen vormen voor het synthetiseren van grijpbewegingen in vergelijking met directe regressie.

Methodologie
De auteurs beperken hun studie tot parallelle kaakgrepen, 7-DoF-grijpbewegingen en single-view RGB-D-input. Ze implementeren en vergelijken vier basismethoden:

1. End-to-End Basismethode: AnyGrasp, een state-of-the-art-model dat direct 7-DoF-grijpposen afleidt uit gedeeltelijke puntwolken zonder expliciete geometrische reconstructie.
2. Modulaire Basismethoden: Drie methoden die eerst de objectpose en -vorm schatten voor alle objecten in het tafereel, een 3D-mesh renderen (via marching cubes), en vervolgens grijpbewegingen synthetiseren met behulp van antipodale bemonstering (waarbij krachtsluiting wordt gewaarborgd) en botsingsfiltering. Deze modulaire methoden maken gebruik van twee verschillende reconstructieparadigma's:
   • Encoder-Decoder-modellen: CRISP-Grasp (met CRISP) en SAM3D-Grasp (met SAM3D). Deze modellen coderen RGB-D-beelden in vorm-embeddings of genormaliseerde coördinaten om objectmessen en posities te decoderen.
   • Op Diffusie Gebaseerde Modellen: SC-Grasp (met SceneComplete). Deze pijplijn maakt gebruik van InstantMesh (een diffusiemodel voor synthesese vanuit nieuwe gezichtshoeken) aangevuld met BrushNet voor het omgaan met occlusie en FoundationPose voor poseschatting om multi-object-scènes te reconstrueren.

De evaluatie wordt uitgevoerd in drie omgevingen: een fysische simulator (PyBullet met YCBV-objecten), real-world datasets (YCBV- en NOCS-testsets) en fysieke experimenten met een Xarm7-manipulator en een parallelle kaakgreep. Metrieken omvatten de Grijpbotsingsratio (GCR), de Ratio van Mislukte Krachtsluiting (FCFR) en Grijpstabiliteit (GS).

Belangrijkste Bijdragen

• Vergelijkende Analyse: Het artikel biedt een rigoureuze experimentele vergelijking tussen directe end-to-end-synthese van grijpbewegingen en een modulaire pijplijn die moderne reconstructie combineert met antipodale bemonstering.
• Validatie van Prestaties: Het toont aan dat modulaire methoden consistent beter presteren dan end-to-end-methoden wat betreft succespercentages van grijpen, stabiliteit en het voldoen aan krachtsluiting, zowel in gesimuleerde als real-world omgevingen.
• Analyse van Falingsmodi: De auteurs ontleden de falingsmodi van modulaire methoden en identificeren dat onjuiste schatting van de schaal de primaire oorzaak van falen is (38–50% van de gevallen), gevolgd door pose- en vormfouten in op diffusie gebaseerde modellen.
• Taalgeconditioneerd Grijpen: Het werk breidt de modulaire pijplijn uit naar taalgeconditioneerd grijpen. Door een "digitale tweeling" te reconstrueren vanuit een enkel gezichtspunt en deze te voeden in de LERF-TOGO-pijplijn, bereiken de auteurs prestaties die vergelijkbaar zijn met multi-view-basismethoden, wat semantische selectie van grijpbewegingen vanuit single-view-inputs mogelijk maakt.

Resultaten

• Succespercentages: In fysische simulaties behaalden modulaire methoden een succespercentage voor grijpen dat 1,6 tot 2 keer zo hoog was als dat van AnyGrasp. In real-world datasets behaalde AnyGrasp slechts 10–11% succes, terwijl modulaire methoden aanzienlijk beter presteerden.
• Stabiliteit en Krachtsluiting: De end-to-end-methode vertoonde een hoge Ratio van Mislukte Krachtsluiting (61,3% in simulatie) en produceerde onstabiele grijpbewegingen in real-world-proeven (bijv. rotaties na het optillen). Modulaire methoden, door expliciet krachtsluiting af te dwingen via antipodale bemonstering op gereconstrueerde meshes, leverden in fysieke experimenten bij meerdere objecten in 100% van de proeven stabiele grijpbewegingen op.
• Verstopping en Occlusie: De prestaties van alle methoden verslechterden naarmate de verstopping in het tafereel toenam. Modulaire methoden (met name CRISP-Grasp) behielden echter een prestatievoordeel ten opzichte van end-to-end-methoden, zelfs in scènes met 10 objecten. De op diffusie gebaseerde SC-Grasp vertoonde een grotere prestatiedaling in sterk verduisterde scènes vanwege beperkingen in zijn in-painting-model.
• Uitvoeringstijd: De end-to-end-methode (AnyGrasp) was de snelste (0,33s). Modulaire methoden waren aanzienlijk langzamer (45–105s totaal), waarbij de bottleneck lag in de pose-/vormschatting (met name voor diffusiemodellen) en het proces van antipodale bemonstering.
• Efficaciiteit van Filtering: Het toepassen van pose- en vormschattingen om grijpbewegingen die door de end-to-end-methode (AnyGrasp) zijn gegenereerd, te filteren (AnyGrasp+CRISP/SC), verminderde het aantal kandidaat-grijpbewegingen drastisch, maar verhoogde het succespercentage aanzienlijk. Dit bevestigt dat de kwaliteit van reconstructie een sterke indicator is voor de haalbaarheid van een grijpbeweging.

Betekenis en Beweringen
Het artikel beweert dat het vakgebied een "inflectiepunt" heeft bereikt. Waar eerdere literatuur (bijv. Sundermeyer et al., 2021) betoogde dat geleerde single-view-reconstructies te ambigu en grof waren voor betrouwbare planning van grijpbewegingen, toont dit werk aan dat met huidige state-of-the-art-reconstructiemodellen (SAM3D, CRISP, SceneComplete) de modulaire aanpak nu superieur is aan end-to-end-regressie voor het synthetiseren van grijpbewegingen, wat betreft robuustheid en stabiliteit.

De auteurs concluderen bescheiden dat hoewel modulaire methoden qua kwaliteit beter presteren dan end-to-end-benaderingen, hun adoptie momenteel wordt beperkt door de vereisten voor computatietijd. Zij stellen dat de nauwkeurigheid van de downstream-taak voor grijpen afhankelijk is van de nauwkeurigheid van de upstream-schatting van pose en vorm, met name wat betreft schaal en het omgaan met occlusie. Bovendien onderstreept het werk de levensvatbaarheid van het gebruik van single-view-reconstructie als brug voor vision-language-modellen, wat semantisch betekenisvol, taalgeconditioneerd grijpen mogelijk maakt zonder de noodzaak voor multi-view-scanning.