Technische Samenvatting: Categorie-niveau 3D-correspondentie in cameraruimte via morphabe objectpriors

Probleemdefinitie

Het artikel adresseert de uitdaging van monoculaire categorie-niveau 3D-correspondentie in cameraruimte. Hoewel recente vooruitgang de schatting van categorie-niveau pose heeft verbeterd, falen bestaande representaties vaak om de fijnkorrelige semantiek vast te leggen die vereist is voor redenering over objectonderdelen, functies en interacties.

De taak wordt formeel als volgt gedefinieerd: Gegeven twee RGB-D-afbeeldingen ($I_q$ en $I_t$) van objecten uit dezelfde categorie en een query 3D-punt $x_q$ in de cameraruimte van $I_q$, is het doel het voorspellen van het corresponderende 3D-punt $x_t$ in de cameraruimte van $I_t$ dat hetzelfde semantische deel vertegenwoordigt. In tegenstelling tot eerdere benaderingen die pixels afbeelden naar genormaliseerde canonieke ruimten (bijv. NOCS), richt dit werk zich op correspondenties direct in 3D-cameraruimte. Deze aanpak beoogt ambiguïteiten inherent aan 2D-matchen (afhankelijkheid van gezichtspunt, occlusie, symmetrie) op te lossen en vermijdt de ongedefinieerde aard van objectgerichte ruimten waar schaal en centrum niet goed gedefinieerd zijn.

Een kritieke kloof die is geïdentificeerd, is het gebrek aan benchmarks die amodale correspondentie (infereren van delen die zijn verduisterd of niet zichtbaar) en expliciete symmetriebehandeling (waar meerdere geometrische posities semantisch equivalent zijn) ondersteunen voor diverse huishoudelijke objecten.

Methodologie: Morpheus

De auteurs stellen Morpheus voor, een raamwerk dat morphabe categorie-niveau vormpriors leert om semantisch consistente 3D-correspondenties tot stand te brengen zonder expliciete correspondentie-supervisie. Het kernidee is om alle objecten binnen een categorie te representeren als identiteitsbehoudende vervormingen van een gedeeld sjabloonnet.

1. Netwerkgebaseerde 3D-correspondentievoorspelling

Morpheus bemiddelt alle voorspellingen via een gedeeld vervormbaar sjabloon. Voor een invoer RGB-D-afbeelding voorspelt het model:

• Een instantie-specifieke vervorming van het sjabloonnet.
• Een 6D-objectpose ($\omega$), geschat met behulp van een vooringeschoolde pose-diffusienetwerk.

Correspondentie wordt tot stand gebracht via netoverdracht:

1. Een query 3D-punt $x_q$ wordt geprojecteerd op het oppervlak van het vervormde query-net ($M_q^{def}$).
2. De locatie van het punt wordt gecodeerd als barycentrische coördinaten ten opzichte van het onderliggende netvlak.
3. Omdat alle instanties dezelfde nettopologie delen, worden deze coördinaten direct overgebracht naar het doelvervormde net ($M_t^{def}$), wat het corresponderende punt $x_t$ in de doelcameraruimte oplevert.
   Dit reduceert het probleem tot het voorspellen van de pose en vervorming van een gedeeld sjabloon in plaats van het direct matchen van punten tussen afbeeldingen.

2. 3D-morphabe Priors

Het raamwerk maakt gebruik van een hybride volumetrische netrepresentatie:

• Canonieke Vorm: Gerepresenteerd als een Signed Distance Field (SDF) $\phi_{sdf}$, dat via Differentiable Marching Tetrahedra wordt omgezet in een net. Dit maakt flexibele modellering van ingewikkelde geometrieën mogelijk.
• Instantie-specifieke Vervormingen: Een affiene vervormingsveld $\phi_a$ past het canonieke net aan aan specifieke instanties. Dit veld wordt aangedreven door een latente code $l$ die uit de invoerafbeelding wordt gehaald door een vervormingsencoder (gebaseerd op een DINOv2-ruggengraat).
• De vervorming wordt gedefinieerd als een affiene afbeelding die hoekpunten verplaatst op basis van de latente code, waarbij de semantische identiteit van sjabloonhoekpunten over vervormingen behouden blijft.

3. Trainingsdoelen

Morpheus wordt getraind met geometrische supervisie zonder expliciete correspondentielabels. Semantische uitlijning ontstaat impliciet omdat elke instantie hetzelfde canonieke sjabloon moet vervormen terwijl het consistent blijft met waargenomen data. De trainingsverliesfunctie omvat:

• 2D-verlies: Amodale objectmasker-reconstructie (MSE) en overlap van afstandstransformatie om ervoor te zorgen dat het vervormde net overeenkomt met de zichtbare en verduisterde gebieden van het object.
• 3D-verlies: Chamfer-afstand tussen de hoekpunten van het vervormde net en de grond-waarheid net-hoekpunten.
• Regularisatie: Eikonaal verlies (om SDF-eigenschappen af te dwingen), $\ell_2$-vervormingsregularisatie (om overmatige vervorming te voorkomen) en randgebaseerde gladheidsregularisatie.
• Pose-supervisie: 6D-pose-supervisie wordt geboden om optimalisatie te stabiliseren en lokale minima te verminderen.

Belangrijkste Bijdragen

1. Taakformulering: Het artikel identificeert monoculaire categorie-niveau 3D-correspondentie in cameraruimte als een noodzakelijke stap voorbij pose-gerichte representaties naar semantisch uitgelijnd 3D-begrip.
2. HouseCorr3D-benchmark: De auteurs introduceren HouseCorr3D, de eerste grootschalige benchmark voor deze taak. Deze omvat:
   • 178.000 afbeeldingen over 50 huishoudelijke objectcategorieën.
   • 280 unieke objectinstanties.
   • 3D-keypointannotaties direct op CAD-modellen.
   • Amodale correspondentielabels voor verduisterde gebieden.
   • Expliciete symmetrieannotaties om geometrische ambiguïteiten eerlijk te behandelen.
3. Morpheus-raamwerk: Een methode die morphabe priors leert om semantisch consistente 3D-correspondenties direct in cameraruimte te produceren door canonieke vorm, vervorming en objectpose te ontkoppelen.
4. Empirische Validatie: Demonstratie dat semantisch 3D-objectbegrip kan ontstaan zonder directe correspondentiesupervisie, met state-of-the-art resultaten op de voorgestelde benchmark.

Resultaten

Experimenten op HouseCorr3D tonen aan dat Morpheus bestaande baselines aanzienlijk overtreft, waaronder:

• 2D-kenmerkmatching: DINOv2, MagicPony2D en NOCS (opgeheven naar 3D).
• 3D-ruimtematching: GenPose++ en MagicPony.

Belangrijkste Bevindingen:

• Prestaties: Morpheus behaalt de hoogste PCK@0.1 (Percentage of Correct Keypoints) over 2D, 3D-modale (zichtbare) en 3D-amodale (verduisterde) instellingen.
• Occlusiebehandeling: In tegenstelling tot 2D-methoden die falen bij verduisterde delen, reconstrueert Morpheus verduisterde gebieden succesvol dankzij zijn amodale supervisie en gedeelde prior.
• Symmetrie en Vervorming: Morpheus gaat beter om met objectsymmetrieën en vormvariaties dan methoden die vertrouwen op genormaliseerde objectruimten (zoals NOCS) of verstrengelde canonieke/cameraruimten (zoals MagicPony).
• Generalisatie: Evaluatie op een gefilterde subset van de real-world ROPE-dataset (van Omni6DPose) bevestigt dat het model generaliseert naar real data, waarbij prestatiedalingen voornamelijk worden toegeschreven aan ruisachtigere diepte en annotaties in plaats van modelfalen.

Betekenis en Claims

Het artikel beweert dat het tot stand brengen van correspondenties in 3D-cameraruimte een fundamentele verschuiving is ten opzichte van eerdere 2D- of genormaliseerde 3D-objectruimte-benaderingen. Door morphabe objectpriors te benutten, tonen de auteurs aan dat:

• Semantische 3D-correspondenties impliciet kunnen worden geleerd via gedeelde vervormbare representaties, waardoor de behoefte aan dure, expliciete correspondentiesupervisie wordt geëlimineerd.
• Deze aanpak amodale redenering mogelijk maakt, waardoor systemen de volledige 3D-structuur van objecten kunnen infereren, zelfs wanneer delen zijn verduisterd, wat cruciaal is voor robotmanipulatie en interactie.
• De HouseCorr3D-benchmark een kritieke leemte in de literatuur opvult, en de eerste grootschalige dataset biedt met amodale en symmetrie-bewuste annotaties voor het evalueren van categorie-niveau 3D-correspondentie uit enkele afbeeldingen.

Het werk suggereert dat toekomstige vooruitgang in ingebouwde robotica en AR/VR vereist dat men verder gaat dan 2D-kenmerkmatching naar robuuste 3D-redenering die rekening houdt met de volledige objectgeometrie, inclusief verduisterde gebieden en symmetrieën.