Cov2Pose: Leveraging Spatial Covariance for Direct Manifold-aware 6-DoF Object Pose Estimation

Titolo

Cov2Pose: Sfruttare la Covarianza Spaziale per la Stima Diretta e Consapevole della Varietà della Posizione 6-DoF degli Oggetti

1. Il Problema

L'obiettivo è stimare la posizione e l'orientamento (6 gradi di libertà o 6-DoF) di un oggetto a partire da una singola immagine RGB. Esistono due approcci principali:

• Metodi Indiretti: Predicono punti chiave 2D o coordinate dense, risolvendo poi un problema Perspective-n-Point (PnP). Sono molto accurati ma computazionalmente costosi a causa delle iterazioni necessarie.
• Metodi Diretti: Regressano direttamente la posa in modo end-to-end. Sono efficienti ma spesso meno accurati.

Le limitazioni dei metodi diretti attuali sono:

1. Ignorano le statistiche del secondo ordine: Si basano su pooling di primo ordine (media/max) che scarta le informazioni sulle co-attivazioni spaziali, fondamentali per la posa.
2. Rappresentazioni non continue: Spesso usano angoli di Eulero o quaternioni, che possono causare discontinuità e instabilità durante l'addestramento.
3. Mancanza di consapevolezza geometrica: Trattano le feature come spazi euclidei, ignorando la geometria intrinseca dei dati di covarianza.

2. Metodologia: Cov2Pose

Cov2Pose è un framework end-to-end che risolve questi problemi integrando la covarianza spaziale e operando sulla varietà delle Matrici Simmetriche Positive Definite (SPD).

A. Estrazione delle Feature basata sulla Covarianza

Invece di usare feature piatte, il modello calcola una matrice di covarianza spaziale dalle mappe di feature estratte da una CNN (backbone).

• Le feature spaziali vengono appiattite e centrate.
• Viene calcolata la covarianza tra le diverse posizioni spaziali ($H \times W$).
• Ipotesi: La distanza tra le covarianze spaziali di due immagini cresce linearmente con la distanza della posa reale (SE(3)), mentre le feature piatte rimangono invariate. Questo rende la covarianza un rappresentante molto più informativo per la regressione della posa.

B. Head di Apprendimento sulla Varietà SPD

Poiché le matrici di covarianza appartengono alla varietà Riemanniana delle matrici SPD ($\mathcal{S}^n_{++}$), non si possono usare strati standard (FC/Conv). Cov2Pose utilizza:

1. BiMap (Bilinear Mapping): Strati che riducono la dimensionalità della matrice SPD preservandone la struttura geometrica (tramite proiezioni su varietà di Stiefel).
2. ReEig (Eigenvalue Rectification): Un'operazione di non-linearità che "rettifica" gli autovalori piccoli per mantenere la matrice definita positiva, analogo al ReLU ma per varietà SPD.

C. Decodifica Continua della Posa (Cholesky)

Il cuore dell'innovazione è la mappatura dalla matrice SPD compatta alla posa 6-DoF:

• Viene utilizzata una decomposizione di Cholesky differenziabile per decomporre la matrice SPD ($\Sigma = LL^T$) in una matrice triangolare inferiore $L$.
• Gli elementi non nulli di $L$ codificano:
  • Rotazione: Due vettori 3D che vengono mappati su $SO(3)$ tramite un processo di Gram-Schmidt differenziabile, ottenendo una rappresentazione di rotazione 6D continua (più stabile di quaternioni o angoli di Eulero).
  • Traslazione: Un vettore 3D estratto direttamente dalla diagonale e dagli elementi sottostanti.
• Questa mappatura è iniettiva, continua e differenziabile, permettendo l'addestramento end-to-end senza rompere la catena del gradiente.

3. Contributi Chiave

1. Primo framework basato su covarianza: È il primo approccio che utilizza la covarianza spaziale per la regressione diretta della posa 6-DoF end-to-end.
2. Pipeline consapevole della varietà (Manifold-aware): Utilizza strati BiMap e ReEig per rispettare la geometria non euclidea delle matrici SPD.
3. Decodificatore continuo CAD-free: Introduce un mappatura uno-a-uno da SPD a una rappresentazione di rotazione 6D continua e traslazione tramite decomposizione di Cholesky, evitando la necessità di modelli CAD per l'addestramento.
4. Prestazioni SOTA: Dimostra che l'uso di statistiche del secondo ordine e rappresentazioni continue supera i metodi diretti esistenti.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark principali: LineMOD (LM), LineMOD Occlusion (LM-O) e YCB-Video (YCB-V).

• Accuratezza:
  • Su LineMOD, Cov2Pose supera tutti i metodi diretti (end-to-end) e supera leggermente anche i metodi basati su PnP (es. BPnP, EPro-PnP) con un ADD(-S) medio del 97.2%.
  • Su LM-O (szenari con occlusione pesante), ottiene il 76.8% di ADD(-S), superando tutti i metodi diretti e avvicinandosi molto alle migliori soluzioni basate su PnP (ZebraPose).
  • Su YCB-V, raggiunge il miglior risultato tra i metodi diretti (69.7% ADD(-S)) e riduce significativamente il divario rispetto ai metodi basati su PnP.
• Efficienza:
  • Il tempo di inferenza è di circa 46.9 ms (su GPU A100), offrendo un ottimo compromesso tra accuratezza e velocità rispetto ai metodi iterativi (che spesso superano i 100ms).
• Ablation Study:
  • L'uso della rappresentazione di rotazione 6D continua è superiore agli angoli di Eulero (che sono discontinui).
  • L'uso dello SPD Head (BiMap + ReEig) è cruciale: sostituirlo con una semplice rete MLP euclidea fa crollare le prestazioni (da 76.8% a 31.0% su LM-O).
  • La covarianza spaziale è più efficace della covarianza tra canali.

5. Significato e Impatto

Cov2Pose rappresenta un passo avanti significativo nella visione artificiale per la robotica e la realtà aumentata:

• Dimostra l'importanza delle statistiche del secondo ordine: Mostra che ignorare la covarianza spaziale nei regressori diretti è un errore che limita l'accuratezza.
• Stabilità dell'addestramento: L'uso di rappresentazioni continue sulla varietà SPD risolve i problemi di convergenza legati alle discontinuità delle rotazioni.
• Versatilità: Il framework è stato testato con successo anche su compiti di regressione della posa della telecamera (APR) e sulla stima della posa di veicoli spaziali (SPEED+), dimostrando una forte generalizzazione.

In sintesi, Cov2Pose unisce la potenza delle statistiche di ordine superiore con la rigorosa geometria delle varietà Riemanniane per creare un sistema di stima della posa diretto, veloce e altamente accurato, senza dipendere da modelli 3D complessi durante l'addestramento.