AdaSFormer: Adaptive Serialized Transformers for Monocular Semantic Scene Completion from Indoor Environments

1. Il Problema: Completamento Semantico di Scene Indoor (MSSC)

Il compito del Monocular Semantic Scene Completion (MSSC) consiste nel prevedere l'occupazione volumetrica e le etichette semantiche di un'intera scena 3D partendo da una singola immagine RGB. Sebbene questo compito sia stato esplorato per ambienti esterni (guida autonoma), rimane sottostimato per gli ambienti indoor.

Le sfide principali negli ambienti indoor sono:

• Complessità spaziale: Strutture intricate, multi-livello, sovrapposizioni di soffitti, pareti e mobili.
• Oclusioni severe: Gli oggetti si nascondono a vicenda molto più frequentemente rispetto agli esterni.
• Limitazioni delle architetture attuali:
  • I metodi basati su CNN hanno campi ricettivi limitati, rendendo difficile modellare le dipendenze a lungo raggio necessarie per inferire la geometria delle regioni occluse.
  • I Transformer sono ideali per le dipendenze globali, ma il loro costo computazionale e di memoria (cubico per i volumi 3D densi) li rende proibitivi per scene indoor ad alta risoluzione.
  • I metodi di serializzazione esistenti assegnano un campo ricettivo fisso a ciascun patch, il che può non adattarsi bene alla struttura irregolare degli oggetti.

2. Metodologia: AdaSFormer

Gli autori propongono AdaSFormer, un framework ibrido che unisce moduli convoluzionali e Transformer per bilanciare efficienza e capacità di modellazione globale. L'architettura prende in input un'immagine RGB, estrae features 2D e stime di profondità, le proietta nello spazio 3D e le elabora attraverso un encoder basato su Transformer.

I tre componenti chiave proposti sono:

A. Adaptive Serialized Attention (ASA)

Per gestire la memoria, i voxel 3D vengono serializzati in una sequenza 1D (utilizzando curve spazio-riempitive come Z-curve o Hilbert). Tuttavia, invece di usare una partizione fissa, AdaSFormer introduce un meccanismo di spostamento (shift) apprendibile.

• Meccanismo: Vengono introdotti parametri apprendibili per determinare l'offset di partenza della serializzazione all'interno di ogni gruppo di voxel.
• Training: Per rendere la selezione discreta differenziabile, viene utilizzato lo Straight-Through Gumbel-Softmax con una strategia di annealing della temperatura. Questo permette alla rete di imparare dinamicamente la migliore allineamento spaziale per catturare i confini degli oggetti e le relazioni spaziali, adattando il campo ricettivo di volta in volta.

B. Center-Relative Positional Encoding (CRPE)

Poiché l'architettura è ibrida (CNN + Transformer) e le CNN catturano già informazioni posizionali locali, l'encoding posizionale tradizionale è ridondante.

• Approccio: Viene calcolato il centro della scena (media delle coordinate dei voxel occupati). Per ogni voxel, si calcolano gli angoli di yaw (rotazione orizzontale) e pitch (inclinazione verticale) rispetto a questo centro.
• Funzione: Questi angoli relativi vengono codificati e aggiunti come bias all'attenzione, permettendo al modello di comprendere la ricchezza spaziale e la struttura globale rispetto al centro della scena, migliorando l'allocazione dell'attenzione.

C. Convolution-Modulated Layer Normalization (CMLN)

Poiché le features estratte dai Transformer e dalle CNN hanno statistiche diverse, la loro intercalazione diretta può causare difficoltà di apprendimento.

• Soluzione: Viene proposta una normalizzazione di livello (Layer Norm) modulata da convoluzioni. I parametri di normalizzazione ($\gamma$ e $\beta$) sono generati dinamicamente dalle features dei voxel stessi tramite piccoli MLP.
• Obiettivo: Armonizzare le statistiche delle features tra i moduli convoluzionali e quelli Transformer, facilitando il flusso delle informazioni e migliorando la rifinitura geometrica.

3. Contributi Chiave

1. Nuovo Framework Ibrido: Introduzione di AdaSFormer, che unisce la capacità di modellazione globale dei Transformer con l'efficienza delle CNN, riducendo significativamente l'impronta di memoria e il costo computazionale rispetto ai Transformer puri.
2. Tre Componenti Innovativi:
   • ASA: Attenzione serializzata adattiva con shift apprendibili per campi ricettivi dinamici.
   • CRPE: Encoding posizionale relativo al centro per una migliore rappresentazione strutturale.
   • CMLN: Normalizzazione che facilita l'integrazione tra rappresentazioni eterogenee.
3. Prestazioni SOTA: Dimostrazione empirica che l'approccio supera lo stato dell'arte su dataset indoor complessi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset NYUv2 e Occ-ScanNet.

• Dataset NYUv2: AdaSFormer raggiunge un mIoU di 32.50, superando il metodo precedente migliore (ISO) di 1.25 punti.
• Dataset Occ-ScanNet: Il miglioramento è ancora più marcato, con un mIoU di 45.33, superando ISO di 14.50 punti.
• Efficienza: Nonostante l'aggiunta di componenti complessi, la latenza è significativamente inferiore rispetto ai metodi basati su volumi densi (es. ISO: 535.2 ms vs AdaSFormer: 178.9 ms).
• Ablation Study:
  • L'aggiunta di ASA da sola porta un miglioramento di +2.68% in SC-IoU.
  • L'uso dello shift tramite Gumbel-Softmax e l'annealing della temperatura sono cruciali per la stabilità e le prestazioni.
  • La rimozione di CRPE o CMLN causa un calo misurabile delle prestazioni, confermando la loro utilità.

5. Significato e Impatto

Questo lavoro è significativo perché risolve il collo di bottiglia principale nell'applicazione dei Transformer alle scene 3D indoor: il compromesso tra costo di memoria e capacità di modellazione globale.

• Adattabilità: Il meccanismo di shift apprendibile supera la rigidità delle finestre fisse, permettendo al modello di adattarsi alla geometria irregolare degli oggetti indoor.
• Scalabilità: Dimostra che è possibile ottenere una visione olistica delle scene interne complesse (con oclusioni severe) mantenendo un costo computazionale gestibile, rendendo la tecnologia più vicina a scenari reali come la navigazione robotica e la ricostruzione 3D in tempo reale.
• Riproducibilità: Il codice è stato reso pubblico, favorendo ulteriori ricerche nel campo del completamento semantico di scene monoculare.

In sintesi, AdaSFormer rappresenta un avanzamento fondamentale nel passaggio da approcci basati su convoluzioni locali a modelli ibridi capaci di comprendere la struttura globale delle scene indoor complesse.