Hestia: Voxel-Face-Aware Hierarchical Next-Best-View Acquisition for Efficient 3D Reconstruction

Riepilogo Tecnico: Hestia – Acquisizione Gerarchica della Prossima Migliore Vista Consapevole delle Facce dei Voxel

Enunciato del Problema
Sebbene i progressi nella ricostruzione 3D e nella sintesi di nuove viste abbiano reso possibile il rendering fotorealistico, l'acquisizione delle immagini per la ricostruzione rimane un collo di bottiglia. La raccolta attuale dei dati è in gran parte manuale, dispendiosa in termini di tempo o vincolata da semplici traiettorie preprogrammate della telecamera che spesso non riescono a catturare le regioni occluse. I pianificatori esistenti basati sull'apprendimento per la Prossima Migliore Vista (NBV), in particolare quelli che utilizzano l'apprendimento per rinforzo (RL) per generalizzare attraverso le scene, affrontano limitazioni in termini di robustezza e prestazioni su geometrie di oggetti diverse. Nello specifico, i metodi generalizzabili precedenti trattano spesso i voxel come punti, portando a una perdita di informazioni, e faticano con spazi di azione continui ad alta dimensionalità (5-DoF: x, y, z, yaw, pitch) e correlazioni spurie tra azioni attuali e ricompense future distanti.

Metodologia
Il documento introduce Hestia (Hestia: Acquisizione Gerarchica della Prossima Migliore Vista Consapevole delle Facce dei Voxel per una Ricostruzione 3D Efficiente), un pianificatore NBV basato su RL generalizzabile progettato per scene centrate sull'oggetto. Hestia affronta le carenze degli approcci precedenti attraverso quattro componenti fondamentali:

1. Rappresentazione Consapevole delle Facce dei Voxel:
   A differenza di lavori precedenti che trattano i voxel come punti (raggi), Hestia tratta ogni voxel come un cubo, modellando esplicitamente la visibilità delle sue sei facce. Ciò si basa sul "problema del collezionista di coupon", dove il campionamento di raggi contro voxel-punti lascia circa $k^{-1/6}$ delle facce non visibili in una scena di $k$ cubi. Incorporando la visibilità delle facce sia nello stato di osservazione che nella funzione di ricompensa, Hestia garantisce una cattura geometrica più completa con un minimo sovraccarico computazionale.

2. Spazio di Azione Gerarchico:
   Per gestire lo spazio di azione continuo 5-DoF ad alta dimensionalità, Hestia impiega una struttura di rete gerarchica. Invece di prevedere l'intera vista in un unico passaggio, la politica prevede prima un punto di sguardo ($L_t$) utilizzando una rete di proposta (CNN 3D con auto-attenzione). Successivamente, un codificatore a griglia e un'interpolazione trilineare estraggono le caratteristiche basate su $L_t$ per prevedere la posizione della telecamera 3-DoF ($a_t$). Questa decomposizione semplifica lo spazio di ricerca e si allinea con l'intuizione di focalizzarsi su un bersaglio prima di pianificare la traiettoria di volo.

3. Strategia di Ottimizzazione Close-Greedy:
   Hestia formula il compito NBV come un problema di ottimizzazione close-greedy. La funzione di ricompensa dà priorità ai miglioramenti immediati del rapporto di copertura piuttosto che affidarsi a grandi ricompense terminali. Utilizzando un piccolo fattore di sconto della ricompensa ($\gamma = 0.1$), il metodo mitiga le correlazioni spurie, dove azioni attuali subottimali vengono erroneamente associate a grandi ricompense future. La ricompensa è calcolata in base all'incremento delle facce dei voxel newly visibili, scalata per bilanciare i guadagni positivi contro le penalità per collisioni o azioni non valide.

4. Dataset Diversificato e Addestramento:
   Il modello è addestrato su un dataset significativamente più grande e diversificato elaborato da Objaverse (120.000 forme in 18+ categorie), andando oltre le forme cubiche limitate presenti nei precedenti benchmark come Houses3K. La configurazione di addestramento utilizza un Processo Decisionale di Markov (MDP) in cui lo stato include l'immagine in scala di grigi, la posa della telecamera, il punto di sguardo e una griglia di occupazione aggregata contenente la visibilità cumulativa delle facce.

Contributi Chiave

• Paradigma Voxel-Come-Cubo: Un design innovativo di osservazione e ricompensa che tratta i voxel come cubi anziché come punti, riducendo la perdita di informazioni e migliorando la copertura geometrica.
• Pianificazione Gerarchica: Una rete di previsione a due stadi (punto di sguardo seguito da posizione) che gestisce efficacemente lo spazio di azione continuo 5-DoF nella pianificazione generalizzabile basata su RL.
• Schema di Apprendimento Robusto: L'integrazione di una strategia close-greedy per ridurre le correlazioni spurie e l'uso di un dataset su larga scala e diversificato per garantire la robustezza su diverse forme e posizionamenti di oggetti.
• Fattibilità nel Mondo Reale: Una dimostrazione di Hestia in funzione su un drone con una telecamera RGB (utilizzando un predittore di profondità per la stima dello stato) in ambienti interni reali, validandone l'applicabilità oltre la simulazione.

Risultati Sperimentali
Hestia è stato valutato su tre dataset: OmniObject3D, Objaverse e Houses3K, confrontandosi con baseline all'avanguardia di apprendimento generalizzabile e online (ad es. GenNBV, ScanRL, NeU-NBV).

• Guadagni nelle Prestazioni: Hestia ha ottenuto almeno un 4% di aumento nel rapporto di copertura (CR) e un 6% di aumento nell'Area Sotto la Curva (AUC) rispetto ai metodi precedenti, riducendo al contempo la Distanza di Chamfer (CD) del 50%.
• Efficienza: Con un budget limitato di 5 immagini, Hestia ha raggiunto un rapporto di copertura del 92%, superando il metodo successivo migliore (GenNBV) di almeno il 12%.
• Robustezza: Il metodo ha mantenuto prestazioni coerenti su diverse posizioni di posizionamento degli oggetti (centro vs angoli) e categorie di oggetti diverse, mostrando meno fluttuazione rispetto alle baseline.
• Velocità: Hestia opera a 25 FPS, consentendo un'inferenza in tempo reale senza la necessità di campionamento di punti di vista candidati o ottimizzazione online.
• Studi di Ablazione: La rimozione di qualsiasi componente fondamentale (design consapevole delle facce, strategia greedy o struttura gerarchica) ha portato a un degrado delle prestazioni, confermando la necessità dell'intero sistema.

Significato
Il documento afferma che Hestia fornisce un miglioramento non marginale rispetto ai pianificatori NBV esistenti, affrontando limitazioni critiche in termini di robustezza, cattura dei dettagli geometrici e complessità dello spazio di azione. Trattando i voxel come cubi e impiegando uno schema di apprendimento gerarchico e ottimizzato greedy, Hestia abilita una ricostruzione 3D efficiente sotto vincoli di budget di acquisizione rigorosi. Il dispiegamento riuscito su un sistema di droni nel mondo reale dimostra che la pianificazione NBV generalizzabile basata su RL è fattibile per applicazioni pratiche, in particolare in scenari con vincoli di potenza dove è richiesta una raccolta dati rapida e autonoma. Il lavoro stabilisce una base per future estensioni multi-agente e scansioni su larga scala all'aperto.