Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

Sintesi Tecnica: Rettificazione Epipolare da Sferica a ERP per la Disparità a Singolo Asse in Stereo a 360°

Definizione del Problema
Le telecamere omnidirezionali (sferiche/fisheye) offrono una percezione a tutto campo essenziale per la robotica e la navigazione autonoma, tuttavia le loro proprietà geometriche violano i presupposti fondamentali della classica stima della disparità stereo. Nello stereo rettilineo, la disparità è una quantità monodimensionale allineata con un singolo asse epipolare. Al contrario, le coppie stereo sferiche grezze esibiscono traiettorie epipolari curve (archi di cerchio massimo) sulla sfera di visione. Di conseguenza, le corrispondenze nel piano dell'immagine si manifestano come spostamenti bidimensionali (sia componenti orizzontali che verticali), anche in condizioni di calibrazione ideale. L'applicazione ingenua di euristiche di disparità planare o di standard di magnitudo del flusso ottico a questi input conduce a errori sistematici e prestazioni fragili, particolarmente in regioni a bassa texture. Sebbene recenti approcci di deep learning per la profondità omnidirezionale utilizzino spesso la Proiezione Equirettangolare (ERP) come dominio geometrico stabile, rimane un vuoto nella comprensione se le pipeline standard basate sul flusso ottico non modificate possano estrarre efficacemente la disparità a singolo asse da input sferici dopo tale rettificazione.

Metodologia
L'approccio proposto adotta una pipeline modulare che esternalizza la complessità geometrica attraverso il pre-processing piuttosto che incorporarla all'interno di una rete monolitica. La metodologia consiste in tre fasi primarie:

1. Rettificazione da Sferica a ERP: Le immagini fisheye stereo grezze vengono proiettate nel dominio della Proiezione Equirettangolare (ERP). Questa mappatura trasforma le coordinate sferiche (longitudine e latitudine) in una griglia 2D. Fondamentalmente, questa proiezione raddrizza le curve epipolari circolari in linee di scansione dritte allineate con gli assi dell'immagine. A seconda della configurazione della rig di stereo:

   • Rig Sinistra–Destra: Le linee epipolari diventano orizzontali, producendo disparità puramente orizzontali ($\Delta u$).
   • Rig Alto–Basso: Le linee epipolari diventano verticali, producendo disparità puramente verticali ($\Delta v$).
     Questo passaggio ripristina la struttura della disparità monodimensionale richiesta dagli algoritmi basati sulla corrispondenza.

2. Stima del Flusso Ottico Denso: Una volta che le immagini sono nel dominio ERP, una rete di flusso ottico denso standard, specificamente RAFT [13], viene applicata alla coppia stereo rettificata. RAFT stima un campo di flusso a due canali che rappresenta lo spostamento 2D tra le immagini sinistra e destra.

3. Selezione del Canale Allineato all'Epipolo (EACS): Basandosi sul lavoro precedente degli autori [16], la pipeline applica l'EACS al campo di flusso. Poiché la rettificazione ERP garantisce che la vera disparità esista solo lungo l'asse allineato alla linea di base, il metodo scarta la componente di flusso ortogonale.

   • Per le rig sinistra-destra, viene mantenuto solo il canale di flusso orizzontale.
   • Per le rig alto-basso, viene mantenuto solo il canale di flusso verticale.
     Questa proiezione converte direttamente il flusso ottico in una mappa di disparità a singolo asse senza dover riaddestrare la rete o progettare un'architettura sferica specializzata.

Contributi Chiave
Il documento presenta quattro contributi specifici:

1. Rettificazione Consapevole della Geometria: Dimostra che proiettare coppie fisheye in ERP produce linee di scansione allineate all'epipolo, convertendo efficacementamente spostamenti sferici intrinsecamente 2D in disparità a singolo asse.
2. Estrazione Diretta della Disparità: Stabilisce che nel dominio ERP, la disparità può essere ottenuta semplicemente selezionando la componente di flusso allineata alla linea di base e scartando quella ortogonale, consentendo un post-processing leggero senza riaddestramento della rete.
3. Pipeline dalla Teoria alla Pratica: Il lavoro formalizza la mappatura fisheye-a-ERP e i vincoli di orientamento, fornendo una ricetta pratica per l'estrazione della disparità a singolo asse da input sferici, validata su dati sferici sintetici.
4. Modularità e Implementabilità: L'approccio funziona come uno stadio di pre-processing "drop-in" per gli stimatori di corrispondenza esistenti (inclusi RAFT), facilitando l'integrazione negli stack robotici dove latenza e interpretabilità sono critiche.

Risultati Sperimentali
La pipeline è stata valutata su un dataset stereo omnidirezionale sintetico generato presso la TU Chemnitz, composto da viste RGB fisheye con disparità ground-truth densa. Tutti i metodi sono stati testati sugli stessi input rettificati ERP a una risoluzione di 1600×1600 senza fine-tuning.

• Accuratezza: La pipeline proposta ERP + RAFT + EACS ha raggiunto un Mean Absolute Error (MAE) di 0.3007 e un Root Mean Squared Error (RMSE) di 0.9470. Il tasso di outlier D1-all è stato dello 0.40%, con tassi trascurabili per errori superiori a 3 pixel (0.30%) e 5 pixel (0.05%).
• Confronto: Il metodo ha superato le reti stereo derivate da RAFT consolidate (CREStereo, RAFT-Stereo, LEAStereo) in termini di accuratezza su questi specifici dati sferici rettificati in ERP. Ad esempio, CREStereo ha mostrato un MAE più elevato (0.3581) e un tasso di outlier D1-all più alto (0.98%).
• Efficienza: La pipeline ha raggiunto un throughput di 10 fotogrammi al secondo (FPS) su una GPU NVIDIA TU102, superando significativamente i metodi confrontati (che variavano da 2.0 a 5.0 FPS).
• Analisi Qualitativa: I risultati visivi hanno indicato che il metodo produce mappe di disparità fluide e strutturalmente coerenti che preservano le strutture sottili. Gli errori erano concentrati principalmente nelle discontinuità di profondità e nelle regioni non definite (ad esempio, il cielo), in linea con i bassi tassi di outlier.

Significatività e Rivendicazioni
Il documento afferma che la rettificazione esplicita tramite ERP consente agli algoritmi di corrispondenza standard e maturi di operare correttamente su input stereo sferici senza la necessità di reti sferiche dedicate. La significatività è duplice:

1. Ponte Pratico: Fornisce un percorso principato per i professionisti per riutilizzare stimatori di flusso ottico ad alte prestazioni per l'imaging a 360°, evitando la complessità di addestrare reti stereo sferiche specializzate.
2. Efficienza e Stabilità: Ripristinando la natura monodimensionale della disparità, l'approccio migliora la stabilità numerica e l'efficienza computazionale. Collassa la ricerca di corrispondenza su un singolo asse, elimina la necessità di volumi di costo 4-D intensivi in termini di memoria e consente l'implementazione in tempo reale su hardware comune.

Gli autori concludono che, sebbene il ruolo geometrico di ERP sia ben documentato, questo lavoro valida che la rappresentazione rettificata è sufficiente per l'estrazione della disparità a singolo asse utilizzando pipeline basate sul flusso ottico non modificate, offrendo una soluzione semplice ed efficiente per la stima della profondità omnidirezionale.