Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

Sintesi Tecnica: Emergenza di un Frame Oggetto Canonico Condiviso da Video "In-the-Wild"

Definizione del Problema
Il confronto tra le orientazioni e le posizioni degli oggetti tra diverse istanze richiede l'espressione delle loro pose all'interno di un frame canonico condiviso. Tradizionalmente, l'istituzione di tali frame si è basata su una sostanziale supervisione manuale, inclusi modelli CAD allineati, rendering sintetici controllati o una meticolosa annotazione della posa nel mondo reale. Questa dipendenza crea un collo di bottiglia alla scalabilità: i dati sintetici introducono un divario di dominio (domain gap), mentre i dati annotati del mondo reale rimangono limitati in termini di diversità di categoria e di istanza. Di conseguenza, l'apprendimento di rappresentazioni canoniche degli oggetti che si generalizzino ampiamente sui dati del mondo reale senza etichette di posa canonica manuali rimane una sfida aperta. Inoltre, gli approoli self-supervised esistenti spesso addestrano modelli separati per ogni categoria, fallendo nel produrre un frame condiviso tra diversi tipi di oggetti.

Metodologia
Gli autori propongono un approccio self-supervised e agnostico rispetto alla categoria che apprende un frame canonico condiviso da video centrati sugli oggetti catturati "in the wild", utilizzando solo pose della telecamera rumorose recuperate tramite Structure-from-Motion (SfM). Il meccanismo centrale consiste nel far transitare tutte le sequenze di addestramento attraverso un collo di bottiglia geometrico condiviso.

1. Mesh Canonica Condivisa: Il metodo definisce una mesh 3D fissa e grossolana (ad esempio, un cubo o una sfera unitaria) in un sistema di coordinate canonico. Questa mesh non possiede dettagli geometrici specifici della categoria, costringendo la rete a fare affidamento su prior semantici e di aspetto piuttosto che sul matching della forma.
2. Rete di Corrispondenza: Una rete neurale impara a mappare i pixel dell'immagine sui vertici di questa mesh condivisa. Utilizza un estrattore di feature e un decoder Transformer, dove embedding di vertice apprendibili agiscono come query contro le feature dei pixel. L'output è una distribuzione densa sui vertici della mesh per ogni pixel, che effettivamente predice corrispondenze 2D-3D.
3. Allineamento per Sequenza: Poiché le ricostruzioni SfM esistono in sistemi di coordinate arbitrari, il metodo stima una rotazione per sequenza per allineare il frame SfM con il frame della mesh canonica.
   • Inizializzazione: L'allineamento è inizializzato tramite Analisi delle Componenti Principali (PCA) sulla nuvola di punti SfM mascherata per catturare l'estensione geometrica grossolana (ad esempio, l'allungamento).
   • Raffinamento: Durante l'addestramento, la rete stima una rotazione che minimizza la distanza tra le coordinate canoniche predette dalla rete e le coordinate derivate da SfM (trasformate dalla rotazione stimata). Questo è formulato come il problema di Wahba, risolto tramite SVD, con pesi basati sull'entropia della distribuzione di corrispondenza per dare priorità alle predizioni più sicure.
4. Obiettivo di Addestramento: Le pose SfM allineate vengono utilizzate per rasterizzare la mesh canonica, generando pseudo-label (vertici della mesh visibili) per la rete di corrispondenza. La rete viene addestrata utilizzando una perdita di cross-entropy per corrispondere a questi pseudo-label, insieme a una testa di predizione della maschera supervisionata dalla maschera di visibilità. L'allineamento e la rete di corrispondenza co-evolvono durante l'addestramento.
5. Inferenza: Al tempo di test, il modello elabora una singola immagine RGB per predire corrispondenze dense e una maschera di segmentazione. La posa a 6 gradi di libertà (6D pose) viene recuperata tramite EPnP con RANSAC, utilizzando le corrispondenze predette, senza richiedere i passaggi di allineamento per sequenza.

Contributi Chiave

• Emergenza di un Frame Canonico Self-Supervised: Il documento dimostra che un frame canonico condiviso può emergere da video centrati sugli oggetti utilizzando solo pose della telecamera SfM rumorose, eliminando la necessità di annotazioni di posa canonica.
• Collo di Bottiglia Geometrico: Gli autori dimostrano che far transitare diverse sequenze di addestramento attraverso una comune mesh canonica grossolana induce coerenza tra le sequenze. Ciò consente l'emergere di un sistema di riferimento comune attraverso l'allineamento multi-vista e i prior semantici dell'estrattore di feature.
• Generalizzazione Agnostica rispetto alla Categoria: Il metodo addestra un singolo modello attraverso tutte le categorie senza condizionamento alla categoria. Ottiene prestazioni competitive con i metodi supervisionati su molteplici benchmark e si generalizza a categorie di oggetti non viste durante l'addestramento.

Risultati Sperimentali
Il metodo è stato addestrato su circa 160.000 video centrati sugli oggetti "in the wild" dal dataset UCO3D. La valutazione è stata condotta su cinque benchmark: REAL275, Omni6DPose, Objectron, Pascal3D+ e ImageNet3D.

• Prestazioni: Nonostante la mancanza di etichette di posa canonica e l'addestramento esclusivamente su video reali, il metodo ha ottenuto la migliore prestazione media macro (macro-average) su tutti e cinque i dataset rispetto ai baseline supervisionati (ad esempio, OrientAnything V1/V2, QWEN3-VL) e ai metodi self-supervised specifici per categoria.
• Scala dei Dati: Gli studi di ablazione hanno confermato che scalare i dati di addestramento (utilizzando tutte le sequenze disponibili invece di un sottoinsieme limitato) migliora significativamente le prestazioni, evidenziando l'importanza del volume dei dati per apprendere rappresentazioni generalizzabili.
• Ablazioni: Lo studio ha mostrato che, sebbene l'inizializzazione PCA aiuti la convergenza, l'allineamento appreso è critico per risolvere l'orientamento semantico (ad esempio, fronte-vs-retro). Una mesh cubica ha fornito un leggero bias induttivo rispetto a una sferica, ma il principio del collo di bottiglia geometrico è rimasto robusto tra le diverse forme. La copertura multi-vista (K=4 viste) è stata trovata essenziale per un allineamento affidabile.

Significatività e Limitazioni
Il documento sostiene che questo approccio affronta il collo di bottiglia della supervisione canonica, consentendo una stima della posa agnostica rispetto alla categoria che si trasferisce su categorie non viste senza onboarding al tempo di test o etichette manuali. Si mostra che il frame appreso è ampiamente coerente tra diversi tipi di oggetti, con le mappature delle convenzioni per categoria che si raggruppano in pochi modi.

Tuttove, gli autori notano con modestia alcune limitazioni riguardanti la simmetria. Il frame emerso è più coerente per oggetti con assi semantici distintivi. Per oggetti continuamente simmetrici, dove molteplici orientazioni producono evidenze indistinguibili, il metodo fatica perché gli pseudo-label diventano rumorosi. Il documento suggerisce che risolvere tali ambiguità senza etichette canoniche o prior di simmetria rimane una sfida per il lavoro futuro.