Riepilogo Tecnico: Trovare NeMO

Enunciato del Problema

Il documento affronta la sfida della percezione di oggetti con pochi esempi per oggetti non visti durante l'addestramento. Sebbene gli approcci basati su modelli (che utilizzano modelli CAD 3D) abbiano ottenuto prestazioni elevate nella rilevazione, segmentazione e stima della posa 6DoF, risultano poco pratici in molti scenari reali dove i modelli 3D non sono disponibili. Al contrario, i metodi esistenti privi di modello soffrono spesso di scarsa scalabilità rispetto al numero di viste template, si basano su confronti locali pairwise senza ragionamento congiunto, o richiedono un addestramento e un pre-processing estesi per l'integrazione di nuovi oggetti. Gli autori mirano a sviluppare un sistema in grado di adattarsi rapidamente a oggetti nuovi utilizzando solo un insieme di immagini RGB non ordinate, senza richiedere parametri di calibrazione della camera, modelli 3D o il riaddestramento dei pesi principali della rete.

Metodologia: Oggetto a Memoria Neurale (NeMO)

La soluzione proposta è un'architettura encoder-decoder centrata su una nuova rappresentazione incentrata sull'oggetto chiamata Oggetto a Memoria Neurale (NeMO).

1. Encoder NeMO

L'encoder elabora un insieme di $K$ immagini template RGB non ordinate ($I = \{I_i\}$) che raffigurano un oggetto target.

• Estrazione delle Caratteristiche: Un Vision Transformer (ViT) estrae caratteristiche a livello di patch da tutte le immagini template.
• Codifica Multi-Vista: Un encoder multi-vista, che utilizza meccanismi di attenzione incrociata e auto-attenzione, aggiorna queste caratteristiche. Una immagine è designata come "ancora" ($I_A$) per definire l'orientamento iniziale dell'oggetto, mentre le altre interagiscono con essa per aggregare informazioni multi-vista.
• Mappatura Geometrica: Per incorporare la geometria 3D, il sistema campiona un insieme di punti 3D ($Q$) all'interno di un volume normalizzato. Un Perceptron Multistrato (MLP) codifica questi punti in vettori di caratteristiche. Queste caratteristiche dei punti vengono fuse con le caratteristiche delle immagini aggiornate tramite un Blocco di Mappatura Geometrica (utilizzando Decoder Transformer), permettendo ai punti 3D di prestare attenzione a segnali visivi 2D specifici dell'oggetto.
• Ricostruzione della Superficie e Rappresentazione: La rete apprende un Campo di Distanza Senza Segno (UDF) per prevedere la distanza dai punti 3D iniziali alla superficie dell'oggetto stimata. La rappresentazione finale NeMO ($\chi$) è una nuvola di punti sparsa e continua dove ogni punto consiste in una coordinata di superficie 3D stimata ($s_i$) e il suo corrispondente vettore di caratteristiche ($\hat{f}^Q_i$).
• Proprietà Chiave: Le informazioni specifiche dell'oggetto sono disaccoppiate dai parametri del decoder. Il NeMO agisce come una "memoria" che può essere trasformata (ruotata, traslata, scalata) indipendentemente dai pesi della rete.

2. Decoder NeMO

Il decoder prende in input un'immagine di query ($I_q$) e la rappresentazione NeMO pre-calcolata ($\chi$) per generare previsioni dense.

• Fusione delle Caratteristiche: Le caratteristiche dell'immagine di query (estratte tramite ViT) vengono aggiornate prestando attenzione alle caratteristiche NeMO utilizzando attenzione incrociata e auto-attenzione.
• Teste di Previsione Densa: Utilizzando un backbone DPT (Dense Prediction Transformer) con multiple teste di output, il decoder genera:
  • Maschere di Segmentazione Modale e Amodale: Prevedendo sia le parti visibili che quelle occluse dell'oggetto.
  • Corrispondenza 2D-3D (Pointmap): Una mappa densa che collega i pixel 2D nell'immagine di query ai punti di superficie 3D definiti nel sistema di coordinate del NeMO.
  • Mappa di Confidenza: Un punteggio di confidenza associato alla mappatura 2D-3D.
• Stima della Posa: La posa 6DoF è stimata filtrando il pointmap in base alla confidenza e applicando RANSAC con algoritmi Perspective-n-Point (PnP).

3. Strategia di Addestramento

L'encoder e il decoder sono addestrati congiuntamente end-to-end su un dataset sintetico su larga scala generato utilizzando BlenderProc.

• Funzioni di Perdita: L'addestramento minimizza la distanza euclidea tra i punti di superficie previsti e quelli reali (ground-truth), le perdite di segmentazione (Dice e BCE) e una perdita L1 ponderata dalla confidenza per le corrispondenze 2D-3D.
• Aumento dei Dati: Durante l'addestramento, la nuvola di punti NeMO viene casualmente ruotata, traslata e scalata prima di essere passata al decoder. Questo costringe il decoder ad apprendere un sistema di coordinate indipendente dall'immagine di ancoraggio, garantendo robustezza all'orientamento del NeMO.
• Separazione Offline/Online: La codifica computazionalmente pesante delle viste template viene eseguita offline. Il tempo di inferenza dipende solo dall'immagine di query e dal NeMO pre-calcolato, rendendolo invariante rispetto al numero di template di input.

Contributi Chiave

1. Rappresentazione NeMO: Una rappresentazione a nuvola di punti compatta, continua e sensibile alla geometria delle viste template che incapsula sia caratteristiche semantiche che geometriche senza richiedere parametri della camera o modelli 3D.
2. Architettura Unificata: Una singola rete encoder-decoder capace di eseguire rilevazione, segmentazione e stima della posa 6DoF sia per impostazioni prive di modello (solo template RGB) che basate su modelli (modelli CAD disponibili).
3. Scalabilità ed Efficienza: Il metodo disaccoppia le informazioni sull'oggetto dai pesi della rete, consentendo una rapida integrazione di nuovi oggetti senza riaddestramento. Il tempo di esecuzione dell'inferenza e il consumo di memoria rimangono costanti indipendentemente dal numero di immagini template utilizzate per generare il NeMO.
4. Nuovo Dataset: Gli autori contribuiscono con un dataset sintetico diversificato e incentrato sugli oggetti che imita scene disordinate realistiche per supportare la ricerca in questo dominio.

Risultati Sperimentali

Il metodo è stato valutato sul benchmark BOP su vari dataset (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) per impostazioni prive di modello e basate su modelli.

• Rilevazione Senza Modello: Il metodo ha ottenuto risultati Stato dell'Arte (SOTA) sui dataset HOPEv2 e HANDAL, superando i metodi migliori precedenti di 2,7 e 1,9 punti percentuali in Precisione Media (AP), rispettivamente. Notabilmente, è il primo a prevedere segmentazioni amodali in un setting senza modello utilizzando una singola rete.
• Stima della Posa Senza Modello: L'approccio ha ottenuto risultati SOTA sul dataset HANDAL quando si utilizzano le rilevazioni NeMO, performando alla pari con altri metodi quando si utilizzano rilevazioni alternative.
• Percezione Basata su Modelli: In impostazioni basate su modelli (dove i modelli CAD sono disponibili all'inferenza ma non durante l'addestramento), il metodo ha performato in modo competitivo, classificandosi 6° su YCB-V e ottenendo SOTA su TUD-L per la rilevazione. Ha dimostrato un alto recall su TUD-L e YCB-V per la stima della posa senza raffinamento, sebbene abbia avuto difficoltà con gli oggetti simmetrici e senza texture in T-LESS.
• Studi di Ablazione: Gli esperimenti hanno mostrato che le prestazioni scalano con il numero di immagini template (saturando intorno a 32 viste) e con il numero di punti NeMO (saturando intorno a 500 punti). Il sistema ha dimostrato equivarianza alla rotazione, dove ruotare l'input NeMO ha prodotto rotazioni corrispondenti nei pointmap previsti.

Significato e Affermazioni

Il documento afferma che NeMO offre una soluzione versatile per la percezione con pochi esempi senza modello, colmando efficacemente il divario tra la flessibilità dei metodi privi di modello e la precisione geometrica degli approcci basati su modelli. Delegando le informazioni sull'oggetto in un NeMO, il sistema permette:

• Integrazione Rapida: Nuovi oggetti possono essere integrati senza riaddestrare la rete.
• Pipeline Multi-Stadio: La capacità di rilevare e segmentare oggetti in scene disordinate permette di ritagliare regioni di interesse per un successivo elaborazione.
• Scalabilità: La separazione tra codifica e decodifica garantisce che l'aggiunta di più viste template non aumenti la latenza di inferenza.

Gli autori riconoscono le limitazioni, in particolare riguardo agli oggetti simmetrici e altamente privi di texture (come osservato nel dataset T-LESS), attribuendo ciò alle procedure di addestramento attuali e ai bias del dataset piuttosto che alla rappresentazione stessa. Concludono che il loro lavoro stimola il dibattito sul disaccoppiamento della conoscenza degli oggetti dai pesi del modello per avanzare la percezione con pochi esempi.