ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching

Sintesi Tecnica: ESMStereo

Problematica
Il matching stereo è una componente critica per i sistemi autonomi, eppure lo sviluppo di modelli di deep learning che forniscano simultaneamente un'elevata accuratezza e prestazioni in tempo reale rimane una sfida significativa. Nel cost-volume-based stereo matching, la stima accurata della disparità dipende tipicamente da volumi di costo su larga scala. Tuttavia, questi volumi voluminosi memorizzano una quantità sostanziale di informazioni ridondanti e richiedono unità di aggregazione 3D computazionalmente intensive, rendendo impossibile l'esecuzione in tempo reale su dispositivi con risorse limitate. Al contrario, la costruzione di volumi di costo su piccola scala con unità di aggregazione leggere facilita l'inferenza in tempo reale, ma spesso risulta in un significativo degrado dell'accuratezza dovuto a informazioni di matching insufficienti e alla perdita di dettagli geometrici. Le strategie esistenti per mitigare questo compromesso, come l'upsampling consapevole dei bordi (edge-aware upsampling) o il raffinamento guidato dalle feature, spesso faticano a recuperare efficacemente i dettagli ad alta frequenza o introducono un eccessivo carico computazionale.

Metodologia
Gli autori propongono ESMStereo (Enhanced ShuffleMixer Stereo), un'architettura di stereo matching in tempo reale progettata per bilanciare velocità e accuratezza spostando la complessità computazionale dalla fase di aggregazione 3D alla fase di regressione post-disparità 2D. L'architettura è composta da tre componenti primarie:

1. Cost Volume Compatto e Aggregazione Leggera: La rete costruisce volumi di costo a risoluzioni ridotte (1/4, 1/8 o 1/16 dell'immagine originale) utilizzando estrattori di feature efficienti (EfficientNet-B2 per le varianti più grandi, MobileNetV2 per la variante piccola). Questi volumi sono elaborati da una rete 3D hourglass leggera per generare una mappa di disparità iniziale a bassa risoluzione.
2. Modulo Enhanced ShuffleMixer (ESM): Questo è il contributo principale del documento. Il modulo ESM affronta la perdita di informazioni inerente ai volumi di costo su piccola scala attraverso un processo di upsampling a più stadi:
   • Fusione delle Feature: Estrae le feature dalla mappa di disparità iniziale a bassa risoluzione e le fonde con le feature contestuali dell'immagine sinistra.
   • Enhanced ShuffleMixer: Le feature fuse vengono elaborate attraverso i FMBlocks (Feature Mixer Blocks). Questi blocoli utilizzano uno Shuffle Mixing Layer che applica LayerNorm, un MLP con split-point per canale con connessioni residue e convoluzioni depthwise. Questo meccanismo mescola le feature tramite shuffling e divisione in layer per concentrarsi efficientemente sulle correlazioni locali.
   • Pixel Shuffle e Raffinamento: Le feature mescolate vengono sottoposte a upsampling utilizzando l'operazione computazionalmente efficiente di pixel shuffle. Per compensare la mancanza di smoothing intrinseco nel pixel shuffle, viene impiegata una rete di raffinamento hourglass compatta e guidata dalle feature. Questa rete recupera la geometria fine della scena e ammorbidisce la stima della disparità integrando contesti globali e locali.
3. Upsampling Progressivo: La mappa di disparità viene sottoposta a upsampling in più stadi (ad esempio, da 1/16 a 1/4 a 1/1) utilizzando il modulo ESM, consentendo alla rete di raffinare progressivamente la mappa di disparità mantenendo velocità in tempo reale.

Contributi Chiave

• Enhanced ShuffleMixer (ESM): L'introduzione di un upsampler veloce guidato dalle feature che integra la fusione delle feature, il focus sulle correlazioni locali tramite layer ShuffleMixer e una rete di raffinamento hourglass leggera per recuperare i dettagli della scena persi durante l'aggregazione iniziale a bassa risoluzione.
• Strategia di Efficienza Computazionale: Un nuovo design di architettura che minimizza il carico computazionale dei volumi di costo 3D e dei moduli di aggregazione trasferendo il carico di lavoro alla fase di regressione post-disparità, dove moduli 2D efficienti recuperano i dettagli della scena stereo.
• Benchmark delle Prestazioni: La dimostrazione di prestazioni competitive in tempo reale su molteplici scale (ESMStereo-S, M e L), raggiungendo un'elevata accuratezza sui benchmark standard pur mantenendo tempi di inferenza bassi.

Risultati Sperimentali
Gli autori hanno valutato ESMStereo sui dataset SceneFlow, KITTI 2012, KITTI 2015, ETH3D e Middlebury 2014.

• SceneFlow: La variante ESMStereo-L-gwc ha raggiunto un End-Point Error (EPE) di 0,53 pixel con un tempo di inferenza di 26 ms su una RTX 4070 Super. La variante leggera ESMStereo-S-gwc ha raggiunto un EPE di 1,10 pixel a 116 FPS.
• Benchmark KITKI: Su KITTI 2012, ESMStereo-L-gwc ha ottenuto un errore D1 del 5,4%, e su KITTI 2015 ha ottenuto il 5,5%. Questi risultati posizionano il modello competitamente rispetto ai metodi in tempo reale allo stato dell'arte, superandoli spesso in accuratezza pur mantenendo velocità di inferenza simili o superiori.
• Deployment su Edge: Su NVIDIA Jetson AGX Orin, il modello ESMStereo-S-gwc ha raggiunto 91 FPS con un errore D1 del 10,8%, dimostrando l'idoneità per dispositivi edge.
• Generalizzazione: I modelli addestrati esclusivamente sul dataset sintetico SceneFlow hanno mostrato una forte capacità di generalizzazione su dataset del mondo reale (KITTI, ETH3D, Middlebury), indicando una robusta adattabilità a scenari non visti.
• Studi di Ablazione: Gli esperimenti hanno confermato che il volume di costo di correlazione group-wise supera la norm-correlation, e che la combinazione del FMBlock e del raffinamento hourglass guidato dalle feature riduce significativamente l'EPE rispetto alle configurazioni baseline.

Significatività e Rivendicazioni
Il documento afferma che ESMStereo affronta con successo il compromesso tra velocità e accuratezza nel matching stereo mitigando la perdita di informazioni associata ai volumi di costo su piccola scala. Utilizzando l'Enhanced ShuffleMixer, la rete ripristina efficacementamente i dettagli critici e la geometria della scena senza fare affidamento su operazioni 3D computazionalmente costose durante la fase di upsampling. Gli autori sostengono che questo design permette l'integrazione di sia contesti globali che locali, risultando in mappe di disparità altamente accurate in tempo reale. Il lavoro si posiziona come un passo avanti significativo per i sistemi autonomi in tempo reale, offrendo una soluzione compatta, efficiente e accurata che si generalizza bene su diversi dataset e piattaforme hardware, inclusi i dispositivi edge con risorse limitate. Il codice sorgente è reso disponibile per facilitare l'ulteriore ricerca e l'implementazione.