Sintesi Tecnica: FlexDepth – Una Famiglia Flessibile Basata sulla Scala per la Stima della Profondità Monoculare Auto-Supervisionata

1. Definizione del Problema

La stima della profondità monoculare (MDE) auto-supervisionata è fondamentale per la guida autonoma e la robotica grazie alla sua indipendenza da etichette di profondità ground-truth dense. Tuttavia, gli approcci esistenti affrontano limitazioni significative in ambienti di guida complessi:

• Compromesso tra Scala e Robustezza: La maggior parte dei modelli leggeri si affida a design a scala singola o decoder semplificati, portando a un degrado delle prestazioni in scene dinamiche (es. veicoli in movimento, pedoni) e a una scarsa fedeltà strutturale ai bordi degli oggetti.
• Complessità della Gestione del Dinamismo: I metodi progettati per gestire oggetti dinamici spesso introducono un'eccessiva complessità, compiti ausiliari (es. flusso ottico, segmentazione semantica) o backbone pesanti (es. Vision Transformers), rendendoli inadatti per dispositivi edge con risorse limitate.
• Limitazioni dei Modelli Foundation: Sebbene i modelli foundation supervisionati (es. Depth Anything V2) offrano una forte generalizzazione zero-shot, la loro dipendenza da dataset massicci e requisiti computazionali elevati ne ostacola l'implementazione in scenari automobilistici real-time basati su edge.

La sfida principale affrontata è come colmare il divario di robustezza tra i modelli leggeri auto-supervisionati e i grandi modelli supervisionati, mantenendo l'efficienza dei dati e la capacità di implementazione sull'hardware edge.

2. Metodologia

Gli autori propongono FlexDepth, una famiglia di modelli MDE auto-supervisionati guidati dalla scala, adattati per scenari di guida dinamica. L'architettura consiste in tre innovazioni primarie:

A. Decoder Guidato dalla Scala (SDD)

A differenza dei decoder tradizionali che utilizzano pipeline fisse (pre-convoluzione $\to$ upsampling $\to$ concatenazione), FlexDepth introduce un decoder che seleziona adattivamente i componenti in base alla scala del modello (Nano, Small, Medium, Large, X-Large).

• Design Post-Convoluzione: Gli autori rimuovono lo stadio di pre-convoluzione per prevenire la perdita irreversibile di informazioni semantiche globali. Invece, si concentrano su post-convoluzione ($C$), upsampling ($U$) e teste di predizione ($P$).
  • Scale Piccole (Nano/Small): Utilizzano Bottleneck ad Alta Efficienza (HEB) per garantire la stabilità del flusso del gradiente e un ordine tradizionale della testa di predizione.
  • Scale Grandi (Medium/X-Large): Utilizzano Bottleneck ad Alte Prestazioni (HPB) con strutture Cross Stage Partial (CSP) per una cattura più fine delle caratteristiche locali e una testa di predizione invertita (upsampling prima della predizione) per sfruttare la coerenza ad alto canale delle caratteristiche.
• Upsampling Dinamico ($U$): Sostituisce l'interpolazione bilineare standard con un processo a due stadi: generazione di offset e campionamento dinamico. Uno strato convoluzionale predice gli offset ($\Delta P$) basandosi sul contenuto semantico, permettendo al modello di campionare adattivamente le posizioni ottimali dalle mappe delle caratteristiche, risultando in bordi degli oggetti più nitidi.

B. Addestramento Decoupled Statico-Dinamico a Due Stadi

Per affrontare l'instabilità causata dagli oggetti in movimento senza fare affidamento su prior esterni, FlexDepth impiega una strategia di addestramento a due stadi:

1. Stadio 1 (Ottimizzazione Congiunta): Addestra simultaneamente la Rete di Predizione della Profondità e la PoseNet (basata su ResNet-18) utilizzando la perdita di riproiezione fotometrica standard, la perdita di riproiezione minima e la perdita di fluidità consapevole dei bordi (edge-aware smoothness).
2. Stadio 2 (Raffinamento Dinamico): Sfrutta l'osservazione che le regioni dinamiche presentano un'instabilità predittiva elevata (varianza tra le prime e le ultime epoche di addestramento) rispetto agli sfondi statici.
   • Una Maschera Decoupled Statico-Dinamica ($M$) viene generata confrontando le mappe di disparità delle epoche iniziali e finali dello Stadio 1.
   • Una funzione di soglia adattiva $g(\phi(f_{si}, f_{sl}))$ determina la maschera, distinguendo gli oggetti dinamici dagli sfondi statici in base all'evoluzione delle caratteristiche piuttosto che su soglie fisse.
   • La rete di profondità viene riaddestrata utilizzando questa maschera con una perdita di distribuzione normale mascherata e uno smoothing geometrico della profondità, decouplando efficacemente il rumore dinamico dall'apprendimento della scena statica.

C. Pipeline di Addestramento Auto-Supervisionato

Il modello è addestrato interamente su sequenze video non etichettate utilizzando la coerenza fotometrica.

• Funzioni di Perdita: Combina l'errore fotometrico ($L_p$), la perdita di riproiezione minima ($L_r$), la fluidità consapevole dei bordi ($L_{smooth}$) e, nello Stadio 2, una perdita di distribuzione normale mascherata ($L_m$) e uno smoothing geometrico della profondità ($L_{GDS}$).
• Nessun Dato Ausiliario: Il metodo opera senza etichette semantiche, flusso ottico o mappe di pseudo-profondità.

3. Contributi Chiave

1. Famiglia FlexDepth: Una famiglia di modelli scalabili (da Nano a X-Large) che studia sistematicamente il compromesso accuratezza-efficienza, raggiungendo prestazioni state-of-the-art (SOTA) attraverso qualsiasi scala con un overhead computazionale minimo.
2. Scale-Driven Decoder (SDD): Un'architettura di decoder innovativa che seleziona dinamicamente i tipi di bottleneck (HEB vs. HPB) e le strategie di upsampling in base alla dimensione del modello, bilanciando l'inferenza in tempo reale con una mappatura della profondità ad alta precisione.
3. Addestramento Decoupled Statico-Dinamico: Una strategia a due stadi che isola gli oggetti dinamici dagli sfondi statici utilizzando una maschera adattiva derivata dall'instabilità dell'addestramento, migliorando la robustezza in ambienti dinamici senza costi di inferenza aggiuntivi o input ausiliari.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su KITITI, Cityscapes e Make3D (per la generalizzazione zero-shot).

• Prestazioni vs. Efficienza:
  • Flex-Nano: Richiede solo 0,7 GFLOPs e raggiunge 37,6 FPS su piattaforme mobili (Snapdragon 8 Elite), superando le varianti Tiny e Small di Lite-Mono in accuratezza pur essendo significativamente più leggero.
  • Flex-X-Large: Stabilisce un nuovo SOTA su KITTI e Cityscapes con 24,6 GFLOPs, superando modelli più pesanti come MonoVit (59,7 GFLOPs) e DSI-MonoViT.
• Robustezza nelle Scene Dinamiche: Su Cityscapes, Flex-X-Large raggiunge un'accuratezza superiore nelle regioni dinamiche (Abs Rel 0,091) rispetto ai metodi che si affidano a indizi ausiliari (es. ProDepth, DSI-MonoViT), nonostante non utilizzi informazioni extra.
• Generalizzazione Zero-Shot: Il modello addestrato su KITTI dimostra una forte trasferibilità al dataset Make3D, superando altri metodi auto-supervisionati e avvicinandosi alle prestazioni di modelli foundation più grandi in metriche specifiche.
• Studi di Ablazione: Confermano che i componenti del SDD (HPB, upsampling dinamico, testa invertita) e la strategia di addestramento a due stadi sono critici per i guadagni di prestazione. Rimuovere il secondo stadio porta a gravi cali di prestazione nelle scene dinamiche.

5. Significato e Rivendicazioni

Il paper sostiene che FlexDepth riesce a colmare il divario tra efficienza leggera e percezione robusta in ambienti di guida dinamica.

• Fattibilità di Implementazione: Raggiungendo prestazioni SOTA con un costo computazionale minimo (es. 0,7 GFLOPs per Nano), FlexDepth consente una percezione affidabile in tempo reale su dispositivi edge automobilistici con risorse limitate.
• Robustezza Intrinseca: Il metodo dimostra che la gestione robusta delle scene dinamiche può essere ottenuta attraverso il design architettonico e la strategia di addestramento (decoupling statico-dinamico) piuttosto che affidandosi a pipeline ausiliarie complesse o backbone pesanti.
• Complemento ai Modelli Foundation: Pur riconoscendo le superiori capacità zero-shot dei grandi modelli foundation (es. Depth Anything V2), gli autori sostengono che l'addestramento in-domain auto-supervisionato (come FlexDepth) offre vantaggi pratici per l'implementazione edge grazie al suo minor ingombro di risorse e alla precisione comparabile o superiore in specifici contesti di guida.

Limitazioni: Gli autori notano che FlexDepth è progettato specificamente per la percezione della guida e la sua applicabilità ad ambienti indoor con texture irregolari e occlusioni a corto raggio è limitata.