Riepilogo Tecnico: OccAnyScene

Definizione del Problema

La predizione dell'occupanza semantica 3D è essenziale per una comprensione olistica della scena nell'ambito della guida autonoma e dell'IA incarnata (embodied AI). Tuttavia, i metodi esistenti sono prevalentemente specifici per la scena (scene-specific), progettati per protocolli fissi riguardanti l'intervallo spaziale, la risoluzione dei voxel, le configurazioni delle telecamere e le tassonomie semantiche. Questa specializzazione ostacola lo sviluppo di una percezione 3D generalizzata.

Il documento introduce la Predizione dell'Occupanza Semantica 3D Cross-Scene, un nuovo setting di task che richiede a un singolo modello di gestire simultaneamente scene indoor e outdoor eterogenee. Questo setting presenta una sfida fondamentale: ottenere un lifting da immagine a 3D che sia metricamente coerente ma adattivo alla scena.

• Incoerenza Metrica: Le scene indoor (es. stanze) richiedono una percezione fine e a corto raggio, mentre le scene outdoor (es. strade) richiedono una percezione grossolana e a lungo raggio.
• Difficoltà di Parametrizzazione: I metodi esistenti basati su Gaussiane faticano perché gli offset assoluti e le scale necessari per completare l'occlusione variano sostanzialmente tra i domini. Una parametrizzazione assoluta condivisa è difficile da apprendere a causa dei differenti parametri intrinseci delle telecamere e delle profondità della scena.

Metodologia: OccAnyScene

Per affrontare queste sfide, gli autori propongono OccAnyScene, un framework gaussiano centrato sul frustum del pixel costruito su un modello di base della profondità pre-addestrato (es. DepthAnythingV2/V3). Il framework tratta il frustum 3D finito associato a ciascun pixel di feature come l'unità fondamentale per costruire una rappresentazione della scena continua, invece di fare affidamento su griglie di voxel fisse o singoli raggi.

L'architettura consiste di due moduli primari:

1. Pixel-Aligned Frustum Feature Aggregation (PFFA)

Questo modulo costruisce una query di frustum consapevole della telecamera per ogni pixel di feature per ragionare sulle regioni occluse.

• Input: Prende feature geometriche dense ($F_{geo}$) dall'head DPT del modello di base della profondità e token visivi dal suo encoder ViT.
• Inizializzazione: Una query del pixel viene inizializzata utilizzando indizi geometrici e la direzione del raggio della telecamera derivata dagli intrinseci.
• Aggregazione del Contesto: Il modulo ripristina i token ViT sequenziali in una griglia 2D ed esegue una deformable cross-attention allineata al pixel. Questo aggrega indizi semantici e strutturali circostanti attorno al pixel di feature, producendo una query di frustum che codifica la geometria della superficie visibile, la geometria di visione e il contesto locale.

2. Frustum-Parameterized Gaussian Construction (FPGC)

Questo modulo decodifica ogni query di frustum in molteplici primitive gaussiane ($K$ Gaussiane per pixel) con posizioni e scale vincolate dalla profondità del pixel predetta e dalla geometria del frustum.

• Ancoraggio della Profondità: Per garantire la coerenza metrica tra dataset con diversi parametri intrinseci, il modello predice una profondità superficiale della telecamera canonica ($D_{surf}$) utilizzando un MLP leggero. Questo funge da ancoraggio di profondità comune.
• Posizionamento:
  • Incrementi di Profondità ($\Delta d_{p,k}$): Inveve di posizionare tutte le Gaussiane sulla superficie, il modello predice incrementi di profondità per estendere la rappresentazione dalle superfici visibili verso le regioni occluse.
  • Offset Subpixel ($\Delta u_{p,k}$): Per tenere conto della natura grossolana dei pixel di feature sottocampionati, degli offset subpixel limitati permettono ai centri delle Gaussiane di spostarsi lateralmente all'interno del corrispondente frustum del pixel.
• Parametrizzazione della Scala: Per evitare l'apprendimento di scale assolute instabili, il modello utilizza una scala relativa al frustum. Calcola un riferimento di scala del frustum scalare ($b_{p,k}$) basato sulla sezione trasversale metrica del frustum alla profondità della Gaussiana. Il decoder predice quindi una scala relativa adimensionale ($\hat{s}_{p,k}$), che viene moltiplicata per il riferimento per determinare la dimensione finale della Gaussiana. Ciò adatta i supporti spaziali a diversi parametri delle telecamere e intervalli di scena automaticamente.
• Output: Le Gaussiane risultanti sono mappate a tassonomie semantiche specifiche della scena tramite matrici tassonomiche apprendibili e vengono splattate sulla griglia di voxel target.

Contributi Chiave

1. Definizione del Task: Il documento introduce formalmente la Predizione dell'Occupanza Semantica 3D Cross-Scene, un setting in cui un singolo modello deve apprendere congiuntamente da scene indoor e outdoor eterogenee con diversi protocolli.
2. Design del Framework: La proposta di OccAnyScene, un framework gaussiano centrato sul frustum del pixel. Esso unifica la predizione dell'occupanza attraverso:
   • PFFA: Per la costruzione di query di frustum che ragionano sulle occlusioni.
   • FPGC: Per la costruzione di Gaussiane adattive alla scena che parametrizzano posizioni e scale rispetto alla geometria del frustum, consentendo stabilità attraverso diverse scale e parametri intrinseci.
3. Performance: Esperimenti estesi dimostrano che OccAnyScene raggiunge risultati allo stato dell'arte (SOTA) sia sui benchmark indoor (Occ-ScanNet) che outdoor (SurroundOcc-nuScenes). Fondamentalmente, il modello cross-scene performa in modo comparabile ai modelli separatamente addestrati per ogni specifica scena, provando che un modello unificato può gestire ambienti diversi senza una significativa degradazione delle prestazioni.

Risultati Sperimentali

• Indoor (Occ-ScanNet): Il modello raggiunge un mIoU del 59,51% nel setting cross-scene utilizzando l'encoder DAv3, eguagliando quasi la performance scene-specific (59,92% mIoU) e superando altre adattazioni cross-scene (es. SplatSSC† scende significativamente).
• Outdoor (SurroundOcc-nuScenes): Il modello raggiunge un mIoU del 22,87% nel setting cross-scene utilizzando l'encoder DAv3, anche qui comparabile alla sua controparte scene-specific (23,06% mIoU) e superiore alle baseline adattate.
• Efficienza: OccAnyScene-DAv2 dimostra un'alta efficienza con 98,2M di parametri, 86,4ms di tempo di inferenza e 670 MiB di utilizzo della memoria su una RTX 4090, riducendo l'uso della memoria di oltre l'80% rispetto a lavori precedenti come EmbodiedOcc e SplatSSC.
• Studi di Ablazione:
  • Rimuovere PFFA o FPGC porta a cali significativi di performance, confermando la necessità dell'aggregazione di feature basata su frustum e della parametrizzazione.
  • La "scala relativa al frustum" e gli "incrementi di profondità" sono critici per gestire le variazioni metriche e il completamento dell'occlusione.
  • Aumentare il numero di Gaussiane per pixel ($K$) da 1 a 3 produce guadagni marginali, suggerendo che il completamento dell'occlusione è in gran parte ottenuto attraverso il contributo collettivo dei pixel vicini piuttosto che attraverso un deep stacking all'interno di un singolo frustum.

Significato e Rivendicazioni

Il documento afferma che OccAnyScene affronta con successo la difficoltà della predizione dell'occupanza cross-scene passando da rappresentazioni spaziali fisse a una referenza geometrica che si adatta alla geometria della telecamera e all'intervallo della scena.

Gli autori asseriscono che il loro approccio permette la consolidazione della predizione dell'occupanza su scala di stanza e scala stradale in un singolo modello feed-forward. Ciò elimina la necessità di mantenere e passare tra modelli separati per diversi ambienti, semplificando così la distribuzione e la scalabilità per i sistemi autonomi operanti in contesti diversificati. Il lavoro dimostra che, con la corretta parametrizzazione geometrica (centrata sul frustum del pixel), un modello unificato può raggiungere prestazioni comparabili a modelli specializzati mantenendo un'alta efficienza computazionale.

Limitazioni Riconosciute:
Gli autori notano che la valutazione attuale è limitata a due dataset (Occ-ScanNet e SurroundOcc-nuScenes) e non dimostra ancora la generalizzazione a scene arbitrarie non viste. Inoltre, la rappresentazione del frustum del pixel copre intrinsecamente solo le regioni all'interno dei campi visivi delle telecamere; i vuoti tra le telecamere nelle configurazioni surround-view sono colmati da un piccolo set di query spaziali supplementari, che hanno un impezzo minimo sulle metriche aggregate ma indicano una limitazione nel coprire regioni interamente al di fuori del campo visivo della telecamera.