FreeOcc: Training-free Panoptic Occupancy Prediction via Foundation Models

Il paper presenta FreeOcc, una pipeline di previsione dell'occupazione panottica priva di addestramento che sfrutta modelli fondazionali pre-addestrati per ricostruire geometrie e semantica 3D da immagini multi-veduta, ottenendo prestazioni competitive con metodi supervisionati senza richiedere dati di addestramento specifici.

L'essenziale

Immagina di guidare un'auto a guida autonoma in una città che non hai mai visitato prima. Non hai mappe, non hai sensori laser costosi (come il LiDAR) e non hai avuto modo di "studiare" quella città in anticipo. Come fa l'auto a capire cosa c'è intorno: dove sono i marciapiedi, dove passano le auto, e chi è il pedone che attraversa?

Di solito, per risolvere questo problema, gli ingegneri devono addestrare un'intelligenza artificiale con migliaia di ore di video di quella specifica città. È come se dovessi imparare a guidare a Roma solo guardando video di Roma, e poi fossi bloccato se ti trovassi a Tokyo.

FreeOcc è una nuova soluzione proposta in questo articolo che cambia le regole del gioco. Ecco come funziona, spiegata in modo semplice:

1. L'idea di base: Non studiare, ma "guardare"

Invece di addestrare un nuovo cervello artificiale per ogni nuova città (cosa che richiede tempo e dati), FreeOcc usa due "super-eroi" dell'intelligenza artificiale che sono già stati addestrati su tutto internet. Questi sono i Modelli Fondamentali (Foundation Models).

Immagina di avere due assistenti molto intelligenti:

• L'Assistente Visivo (SAM3): È come un occhio che sa riconoscere tutto. Se gli mostri una foto, ti dice: "Quello è un'auto", "Quello è un prato", "Quello è un edificio". Non ha bisogno di imparare di nuovo; sa già tutto perché ha visto milioni di immagini.
• L'Assistente Spaziale (MapAnything): È come un architetto che guarda la stessa foto e ti dice: "Quella macchina è a 10 metri, quel muro è a 20 metri". Ricostruisce la profondità e la forma 3D della scena.

2. Come funziona il processo (La ricetta di FreeOcc)

Il sistema prende le foto delle telecamere dell'auto e le fa passare attraverso questi due assistenti, senza mai "studiare" (addestrare) nulla.

• Passo 1: La domanda intelligente. Invece di dire semplicemente "cerca un'auto", il sistema fa domande specifiche all'Assistente Visivo. Se deve cercare un "terreno", invece di usare la parola generica, chiede di cercare "erba" o "terra". È come se chiedessi a un amico: "Vedi l'erba?" invece di "Vedi il terreno?", ottenendo una risposta più precisa.
• Passo 2: Costruire il mondo 3D. L'Assistente Spaziale prende quelle informazioni e le trasforma in punti 3D, creando una nuvola di punti che rappresenta la strada, gli edifici e le auto.
• Passo 3: Il filtro di sicurezza. Non tutto è perfetto. A volte ci sono errori o punti "fantasma". Il sistema applica dei filtri intelligenti: se un punto sembra troppo lontano o poco sicuro, lo scarta. Se due punti si sovrappongono, decide quale è quello giusto.
• Passo 4: La griglia finale. Tutti questi punti vengono organizzati in una griglia 3D (come un cubo di Rubik gigante) che l'auto può leggere istantaneamente per sapere cosa è occupato e cosa è libero.

3. Il tocco magico: Riconoscere gli "oggetti"

Una delle cose più difficili è distinguere due auto identiche che passano accanto. FreeOcc fa un trucco: prende le forme delle auto rilevate in quel preciso momento, le "incapsula" in scatole 3D e assegna loro un numero di serie (un'identità). In questo modo, l'auto sa che quella macchina rossa è la "Macchina A" e quella blu è la "Macchina B", anche se non le ha mai viste prima.

4. Perché è rivoluzionario?

Fino a oggi, per avere una buona mappa 3D, dovevi addestrare un modello specifico per quel luogo. FreeOcc fa tutto senza addestramento (Training-free).

• Analogia: Immagina di dover cucinare un piatto nuovo.
  • Metodo vecchio: Devi comprare gli ingredienti, leggere il libro di cucina, fare prove e errori per giorni prima di cucinare.
  • Metodo FreeOcc: Hai già in cucina due chef stellati (i modelli fondamental) che conoscono milioni di ricette. Tu gli dai gli ingredienti (le foto) e le istruzioni semplici ("fai un piatto con carne e verdure"), e loro lo cucinano subito, perfettamente, anche se è un piatto che non hanno mai fatto esattamente così prima.

I Risultati

I test hanno mostrato che FreeOcc funziona benissimo:

1. Funziona subito: Non serve addestramento. Funziona in una città nuova appena accendi l'auto.
2. È preciso: Raggiunge livelli di precisione simili a sistemi che invece hanno passato mesi a studiare i dati di quella città.
3. È un maestro di scuola: Anche se usi FreeOcc solo per creare "etichette" (segnalazioni) su come dovrebbe comportarsi un'auto, e poi addestri un'auto più veloce e leggera con quelle informazioni, ottieni risultati migliori di chiunque altro.

In sintesi

FreeOcc è come dare agli occhi dell'auto una "mente universale" già pronta. Invece di imparare a guidare in ogni singola città del mondo, l'auto usa la sua intelligenza generale per capire la strada, gli ostacoli e le persone in tempo reale, ovunque si trovi, senza bisogno di un manuale di istruzioni specifico per quel luogo. È un passo enorme verso auto autonome che possono viaggiare davvero ovunque, senza limiti geografici.

Sommario tecnico

1. Il Problema

La previsione dell'occupazione 3D (3D Occupancy Prediction) è fondamentale per la guida autonoma, poiché fornisce una rappresentazione densa dell'ambiente circostante il veicolo. Tuttavia, gli approcci attuali basati solo su telecamere presentano due limitazioni principali:

1. Dipendenza da supervisione densa: I metodi ad alte prestazioni richiedono solitamente annotazioni 3D costose (spesso derivate da LiDAR) per l'addestramento, il che ne limita la scalabilità a nuovi domini o configurazioni di sensori.
2. Mancanza di adattabilità: I modelli addestrati su un dominio specifico faticano a generalizzare in ambienti non visti senza un ulteriore ri-addestramento.
3. Complessità Panottica: La previsione panottica (che include sia la semantica che l'identificazione delle istanze/oggetti) è particolarmente difficile da gestire senza supervisione 3D densa.

L'obiettivo è creare un sistema che possa prevedere l'occupazione semantica e panottica 3D senza alcun addestramento (training-free), utilizzando direttamente modelli fondazione pre-addestrati.

2. Metodologia: FreeOcc

FreeOcc è una pipeline di inferenza che combina modelli fondazione 2D e 3D per ricostruire scene 3D semanticamente etichettate e con istanze, senza toccare i pesi del modello. Il flusso di lavoro si articola in quattro fasi principali (illustrate nella Figura 1 del paper):

A. Branch Semantico (Priors 2D da SAM3)

• Input: Immagini multi-view.
• Modello: Utilizza SAM3 (SegmentAnything Model 3), un modello di segmentazione fondazione promptabile.
• Meccanismo: Invece di usare i nomi delle classi direttamente, il sistema utilizza un set di prompt testuali (es. "grass", "dirt" per la classe "terrain") per generare maschere 2D di alta qualità.
• Fusione e Regole: Le maschere candidate vengono fuse per pixel mantenendo quella con il punteggio di confidenza più alto. Successivamente, una serie di regole di mappatura (prompt-to-taxonomy) riconduce i prompt specifici alle classi target della tassonomia (es. Occ3D-nuScenes). Questo permette di gestire sinonimi e ambiguità.

B. Branch Geometrico (Ricostruzione 3D)

• Modello: Utilizza MapAnything, un modello fondazione per la ricostruzione 3D metrica.
• Output: Genera punti 3D densi per pixel, mappe di profondità e mappe di confidenza.
• Filtraggio: Vengono applicati filtri basati su profondità (distanza minima/massima) e confidenza per scartare punti inaffidabili, producendo una nuvola di punti sparsa ma affidabile.

C. Identificazione delle Istanze (Instance Identification)

• Sfida: La fusione temporale può creare "fantasmi" (ghosting) per oggetti dinamici.
• Soluzione: Le istanze vengono identificate utilizzando solo le evidenze del frame corrente.
  1. Fitting di Box 3D: Vengono adattati box 3D orientati (yaw) alle maschere delle istanze derivate da SAM3.
  2. Filtraggio e Merging: I box vengono filtrati in base a dimensioni plausibili per classe (es. un pedone non può essere grande 5m) e fusi se si sovrappongono eccessivamente.
  3. Riassegnazione: I punti 3D vengono riassegnati alle istanze corrette o etichettati come "ignore" se non rientrano in un box coerente. Questo garantisce coerenza istanza-aware prima della voxelizzazione.

D. Voxelizzazione e Raffinamento Deterministico

• Voxelizzazione: I punti 3D etichettati vengono proiettati su una griglia voxel. L'etichetta del voxel è determinata dal voto maggioritario dei punti, escludendo le etichette "ignore".
• Stack di Raffinamento: Viene applicato un processo deterministico a quattro stadi per migliorare la coerenza locale senza appiattire i dettagli:
  1. Riempimento di buchi (pinhole/cavity filling).
  2. Completamento "warmup" dell'area vicina al veicolo (superficie percorribile).
  3. Coerenza del vicinato conservativa (aggiornamento etichette solo se c'è forte accordo).
  4. Pulizia dello sfondo e dilatazione delle istanze per colmare piccoli spazi vuoti.

3. Contributi Chiave

1. Predizione Training-Free: Introduce la prima pipeline che esegue la previsione dell'occupazione semantica e panottica direttamente all'inferenza, senza addestrare modelli specifici sul dominio target.
2. Generazione di Pseudo-Label: Dimostra che FreeOcc può fungere da generatore di pseudo-label di alta qualità per addestrare modelli downstream (in tempo reale), superando le prestazioni dei metodi supervisionati debolmente esistenti.
3. Baseline Panottica: Stabilisce le prime baseline per la previsione panottica dell'occupazione sia in regime training-free che weakly-supervised.
4. Flessibilità Open-Vocabulary: Sfrutta la capacità dei modelli fondazione di adattarsi a nuove tassonomie semplicemente cambiando i prompt testuali, senza ri-addestramento.

4. Risultati Sperimentali

I test sono stati condotti sul dataset Occ3D-nuScenes.

• Scenario Training-Free (Senza addestramento):

  • Semantica: Raggiunge 16.9 mIoU e 16.5 RayIoU. Questo supera significativamente i precedenti risultati training-free (es. ShelfOcc a 9.6 mIoU) ed è competitivo con metodi supervisionati debolmente addestrati (es. GaussianFlowOcc).
  • Panottica: Raggiunge 3.1 RayPQ, stabilendo una nuova baseline per l'approccio training-free.

• Scenario Weakly Supervised (Uso come generatore di pseudo-label):

  • Quando le pseudo-label di FreeOcc vengono usate per addestrare un modello downstream (STCOcc), le prestazioni salgono a 22.8 mIoU e 21.1 RayIoU, superando lo stato dell'arte weakly-supervised precedente.
  • Per la panottica, il risultato sale a 3.9 RayPQ.

• Analisi delle Componenti (Ablation Study):

  • L'uso di prompt e regole (invece di nomi di classe grezzi) porta un guadagno significativo (+2.7 mIoU).
  • Il raffinamento della griglia di occupazione contribuisce ulteriormente (+2.1 mIoU).
  • Il modulo di identificazione delle istanze è cruciale per le metriche panottiche (salto da 1.5 a 2.5 RayPQ).
  • La conoscenza delle pose della telecamera (extrinsics) è essenziale: rimuoverla degrada le prestazioni del 50% circa.

5. Significato e Impatto

FreeOcc dimostra che l'uso di modelli fondazione può abilitare una comprensione 3D della scena pratica e scalabile senza la necessità di costosi dataset annotati 3D o fasi di addestramento specifiche per dominio.

• Deploy Rapido: Permette il dispiegamento immediato in nuovi ambienti o con nuove tassonomie.
• Ponte verso il Tempo Reale: Sebbene l'inferenza diretta sia computazionalmente costosa (lenta rispetto a una rete specializzata), la capacità di generare pseudo-label di alta qualità offre una via praticabile per addestrare modelli leggeri per l'uso in tempo reale.
• Limiti e Futuro: Il divario tra i metodi training-free e quelli fully-supervised (specialmente per la panottica) indica che la qualità geometrica e l'allineamento volumetrico preciso rimangono colli di bottiglia. Il lavoro apre la strada a ricerche su come ridurre la dipendenza dalle pose esatte delle telecamere per una generalizzazione ancora maggiore.