SciFlow: Semantic Cross Interference for Self-Supervised Optical Flow Domain Generalization

Sintesi Tecnica: SciFlow

Problematica
La stima del flusso ottico è fondamentale per la comprensione dei video, sostenendo compiti quali il tracciamento degli oggetti, l'interpolazione dei fotogrammi e la compressione video. Sebbene il deep learning abbia fatto avanzare il campo, l'acquisizione di una verità fondamentale (ground truth) densa e pixel-per-pixel per scene reali rimane proibitivamente difficile e costosa. Di conseguenza, i modelli vengono tipicamente addestrati su dataset sintetici (es. FlyingChairs, FlyingThings3D, Sintel) e distribuiti in ambienti reali. Ciò crea una significativa sfida di generalizzazione del dominio "dal sintetico al reale", in cui i modelli faticano ad adattarsi alla diversità di illuminazione, dinamiche di movimento e qualità delle immagini presenti negli scenari del mondo aperto. I metodi semi-supervisionati e auto-supervisionati esistenti spesso si affidano a complesse tecniche di data augmentation, rendering neurale o coerenza di trasformazione, ma falliscono frequentemente nel generalizzare a domini non visti o richiedono pipeline computazionalmente costose.

Metodologia
Il documento propone SciFlow (Semantic Cross Interference), un approccio basato sull'addestramento e indipendente dall'architettura, progettato per generalizzare la stima del movimento tra domini sintetici e del mondo aperto utilizzando l'apprendimento auto-supervisionato. L'innovazione principale risiede nella "interferenza semantica cross-dominio", una tecnica che mescola le caratteristiche delle immagini del mondo aperto con le scene sintetiche durante l'addestramento.

La procedura di addestramento consiste in due fasi:

1. Apprendimento curricolare supervisionato: Il modello viene inizialmente addestrato su dataset sintetici ($D_{GT}$) con ground truth, progredendo da esempi di movimento e scena più semplici a più complessi.
2. Fine-tuning auto-supervisionato: Il modello viene adattato a dati reali non etichettati ($D_{NGT}$) utilizzando un framework teacher-student:
   • Teacher ($f_T$): Inizializzato con i pesi dello student e aggiornato tramite Media Mobile Esponenziale (EMA). Elabora coppie di immagini originali "pulite" dal dominio sintetico.
   • Student ($f_S$): Addestrato su coppie aumentate in cui una terza immagine ($I_d$) proveniente dal dominio del mondo aperto interferisce semanticamente con il secondo fotogramma della coppia sintetica. Ciò avviene tramite una funzione di mixing $D_\lambda(I_2, I_d) = \lambda \cdot I_2 + (1-\lambda) \cdot I_d$, dove $\lambda$ è campionato da una distribuzione beta.
   • Funzione di Perdita (Loss Function): Lo student è ottimizzato per corrispondere alle predizioni del teacher sulla coppia originale. La perdita auto-supervisionata è definita come la differenza L1 tra la predizione dello student sulla coppia interferita e la predizione del teacher sulla coppia pulita, mascherata da un punteggio di confidenza ($M_{conf}$) derivato dalla coerenza forward-backward.

Questo approccio consente alla rete di apprendere le statistiche del mondo reale e di adattarsi ai cambiamenti di dominio senza richiedere ground truth nel dominio target o complesse pipeline di ricostruzione.

Contributi Chiave

• Framework SciFlow: Introduzione di un metodo semplice ed efficace che sfrutta l'interferenza semantica cross-dominio per migliorare la generalizzazione del dominio del flusso ottico.
• Adattamento privo di etichette (Label-Free Adaptation): Il metodo raggiunge prestazioni cross-dominio elevate senza richiedere ground truth reali, affrontando sia lo shift di dominio che la scarsità di etichette negli scenari del mondo aperto.
• Indipendenza dall'Architettura: L'approccio è progettato per essere compatibile con varie architetture di rete, dimostrato qui sia su modelli a piena capacità (RAFT) che leggeri (MobileFlow).

Risultati Sperimentali
Gli autori hanno valutato SciFlow su benchmark standard, specificamente sul dataset KITTI, utilizzando le architetture RAFT e MobileFlow.

• Prestazioni Quantitative: Sul benchmark KITTI, SciFlow ha superato significativamente i baseline supervisionati e altri metodi auto-supervisionati (es. DistractFlow). Per il modello leggero MobileFlow, SciFlow ha ridotto l'errore Fl-all da 22.6 (baseline supervisionata) a 8.95 quando addestrato con la combinazione di EMA, masking di confidenza e interferenza semantica sul grande dataset non etichettato Web Stereo Video Dataset (WSVD).
• Prestazioni Qualitative: Le valutazioni visive su diversi dataset del mondo aperto (DAVIS, SlowFlow) hanno dimostrato che SciFlow consente una stima del flusso robusta e accurata in condizioni difficili come scarsa illuminazione, motion blur e alto rumore, dove i modelli baseline spesso falliscono.
• Stabilità: L'integrazione di EMA e del masking di confidenza si è dimostrata critica per la stabilità dell'addestramento, prevenendo la divergenza durante la fase auto-supervisionata.

Significatività e Rivendicazioni
Il documento afferma che SciFlow offre una soluzione pratica al problema della generalizzazione del dominio dal sintetico al reale nella stima del movimento. Introducendo l'interferenza semantica cross-dominio, permette ai modelli di adattarsi efficacemente agli scenari del mondo reale senza la necessità di ground truth nel dominio target. Gli autori sottolineano la semplicità del metodo e la sua natura indipendente dall'architettura, posizionandolo come un percorso ampiamente applicabile verso una stima del movimento più robusta e accurata per la comprensione video in ambienti complessi e dinamici. Il lavoro suggerisce che sfruttare i dati del mondo aperto attraverso l'interferenza semantica è un'alternativa valida alle complesse pipeline di rendering o ricostruzione per migliorare la robustezza del modello.