Riepilogo Tecnico: Corrispondenza 3D a Livello di Categoria nello Spazio della Telecamera tramite Priors di Oggetti Morfabili

Definizione del Problema

Il documento affronta la sfida della corrispondenza 3D a livello di categoria monoculare nello spazio della telecamera. Sebbene i recenti progressi abbiano migliorato la stima della posa a livello di categoria, le rappresentazioni esistenti spesso non riescono a catturare le semantica granulare necessarie per il ragionamento su parti, funzioni e interazioni degli oggetti.

Il compito è definito formalmente come segue: date due immagini RGB-D ($I_q$ e $I_t$) di oggetti della stessa categoria e un punto 3D di query $x_q$ nello spazio della telecamera di $I_q$, l'obiettivo è prevedere il punto 3D corrispondente $x_t$ nello spazio della telecamera di $I_t$ che rappresenta la stessa parte semantica. A differenza degli approcci precedenti che mappano i pixel su spazi canonici normalizzati (ad esempio NOCS), questo lavoro mira alle corrispondenze direttamente nello spazio 3D della telecamera. Questo approccio mira a risolvere le ambiguità intrinseche nell'abbinamento 2D (dipendenza dal punto di vista, occlusione, simmetria) ed evita la natura indefinita degli spazi centrati sull'oggetto, dove scala e centro non sono ben definiti.

Un gap critico identificato è la mancanza di benchmark che supportino la corrispondenza amodale (inferenza di parti occluse o non visibili) e la gestione esplicita della simmetria (dove multiple posizioni geometriche sono semanticamente equivalenti) per una varietà di oggetti domestici.

Metodologia: Morpheus

Gli autori propongono Morpheus, un framework che impara priors di forma morfabili a livello di categoria per stabilire corrispondenze 3D semanticamente coerenti senza supervisione esplicita delle corrispondenze. L'idea centrale è rappresentare tutti gli oggetti all'interno di una categoria come deformazioni che preservano l'identità di una mesh template condivisa.

1. Previsione della Corrispondenza 3D Basata su Mesh

Morpheus media tutte le previsioni attraverso una mesh template deformabile condivisa. Per un'immagine RGB-D in input, il modello prevede:

• Una deformazione specifica dell'istanza della mesh template.
• Una posa 6D dell'oggetto ($\omega$), stimata utilizzando una rete di diffusione della posa pre-addestrata.

La corrispondenza è stabilita tramite trasferimento di mesh:

1. Un punto 3D di query $x_q$ viene proiettato sulla superficie della mesh deformata di query ($M_q^{def}$).
2. La posizione del punto viene codificata come coordinate baricentriche rispetto alla faccia della mesh sottostante.
3. Poiché tutte le istanze condividono la stessa topologia della mesh, queste coordinate vengono trasferite direttamente alla mesh deformata target ($M_t^{def}$), producendo il punto corrispondente $x_t$ nello spazio della telecamera target.
   Ciò riduce il problema alla previsione della posa e della deformazione di una template condivisa piuttosto che all'abbinamento diretto di punti tra immagini.

2. Priors 3D Morfabili

Il framework utilizza una rappresentazione ibrida volumetrica a mesh:

• Forma Canonica: Rappresentata come un Campo di Distanza Segnata (SDF) $\phi_{sdf}$, che viene convertito in una mesh tramite Tetraedri di Marcia Differenziabili. Ciò consente una modellazione flessibile di geometrie intricate.
• Deformazioni Specifiche dell'Istanza: Un campo di deformazione affine $\phi_a$ adatta la mesh canonica a istanze specifiche. Questo campo è guidato da un codice latente $l$ estratto dall'immagine di input da un encoder di deformazione (basato su un backbone DINOv2).
• La deformazione è definita come una mappatura affine che sposta i vertici in base al codice latente, preservando l'identità semantica dei vertici della template attraverso le deformazioni.

3. Obiettivi di Addestramento

Morpheus viene addestrato utilizzando supervisione geometrica senza etichette di corrispondenza esplicite. L'allineamento semantico emerge implicitamente perché ogni istanza deve deformare la stessa template canonica rimanendo coerente con i dati osservati. La funzione di perdita di addestramento include:

• Perdita 2D: Ricostruzione della maschera amodale dell'oggetto (MSE) e sovrapposizione della trasformata di distanza per garantire che la mesh deformata corrisponda alle regioni visibili e occluse dell'oggetto.
• Perdita 3D: Distanza di Chamfer tra i vertici della mesh deformata e i vertici della mesh ground-truth.
• Regolarizzazione: Perdita Eikonal (per imporre le proprietà SDF), regolarizzazione della deformazione $\ell_2$ (per prevenire deformazioni eccessive) e regolarizzazione della regolarità basata sui bordi.
• Supervisione della Posa: Viene fornita supervisione 6D della posa per stabilizzare l'ottimizzazione e ridurre i minimi locali.

Contributi Chiave

1. Formulazione del Compito: Il documento identifica la corrispondenza 3D a livello di categoria monoculare nello spazio della telecamera come un passo necessario oltre le rappresentazioni centrate sulla posa verso una comprensione 3D semanticamente allineata.
2. Benchmark HouseCorr3D: Gli autori introducono HouseCorr3D, il primo benchmark su larga scala per questo compito. Comprende:
   • 178.000 immagini distribuite su 50 categorie di oggetti domestici.
   • 280 istanze di oggetti uniche.
   • Annotazioni di punti chiave 3D direttamente sui modelli CAD.
   • Etichette di corrispondenza amodale per le regioni occluse.
   • Annotazioni di simmetria esplicite per gestire le ambiguità geometriche in modo equo.
3. Framework Morpheus: Un metodo che impara priors morfabili per produrre corrispondenze 3D semanticamente coerenti direttamente nello spazio della telecamera, disaccoppiando forma canonica, deformazione e posa dell'oggetto.
4. Validazione Empirica: Dimostrazione che la comprensione semantica 3D degli oggetti può emergere senza supervisione diretta delle corrispondenze, ottenendo risultati all'avanguardia sul benchmark proposto.

Risultati

Gli esperimenti su HouseCorr3D mostrano che Morpheus supera sostanzialmente le baseline esistenti, tra cui:

• Abbinamento di Caratteristiche 2D: DINOv2, MagicPony2D e NOCS (elevato a 3D).
• Abbinamento nello Spazio 3D: GenPose++ e MagicPony.

Risultati Chiave:

• Prestazioni: Morpheus raggiunge il più alto PCK@0.1 (Percentuale di Punti Chiave Corretti) attraverso le impostazioni 2D, 3D modale (visibile) e 3D amodale (occlusa).
• Gestione dell'Occlusione: A differenza dei metodi 2D che falliscono sulle parti occluse, Morpheus ricostruisce con successo le regioni occluse grazie alla sua supervisione amodale e al prior condiviso.
• Simmetria e Deformazione: Morpheus gestisce le simmetrie degli oggetti e le variazioni di forma meglio dei metodi che si basano su spazi di oggetti normalizzati (come NOCS) o su spazi canonici/camera intrecciati (come MagicPony).
• Generalizzazione: La valutazione su un sottoinsieme filtrato del dataset reale ROPE (da Omni6DPose) conferma che il modello si generalizza ai dati reali, con cali di prestazioni attribuiti principalmente a profondità e annotazioni più rumorose piuttosto che a fallimenti del modello.

Significato e Affermazioni

Il documento afferma che stabilire corrispondenze nello spazio 3D della telecamera rappresenta un cambiamento fondamentale rispetto ai precedenti approcci basati su spazi 2D o 3D di oggetti normalizzati. Sfruttando priors di oggetti morfabili, gli autori dimostrano che:

• Le corrispondenze 3D semantiche possono essere apprese implicitamente attraverso rappresentazioni deformabili condivise, eliminando la necessità di una supervisione costosa e esplicita delle corrispondenze.
• Questo approccio abilita il ragionamento amodale, consentendo ai sistemi di inferire la struttura 3D completa degli oggetti anche quando le parti sono occluse, aspetto critico per la manipolazione e l'interazione robotica.
• Il benchmark HouseCorr3D colma una lacuna critica nella letteratura, fornendo il primo dataset su larga scala con annotazioni amodali e consapevoli della simmetria per valutare la corrispondenza 3D a livello di categoria da singole immagini.

Il lavoro suggerisce che i progressi futuri nella robotica incarnata e nella realtà aumentata/virtuale richiedono di andare oltre l'abbinamento di caratteristiche 2D verso un ragionamento 3D robusto che tenga conto della geometria completa dell'oggetto, incluse le regioni occluse e le simmetrie.