Riepilogo Tecnico: Vedere attraverso le scatole: Ricostruzione 3D Non-Line-of-Sight da Segnali Radar (GeRaF 2.0)

1. Enunciato del Problema

Ricostruire la geometria 3D di un oggetto da segnali a Radio Frequenza (RF) è fondamentalmente complesso a causa della natura priva di lenti del rilevamento RF, che comporta bassa risoluzione spaziale, elevato rumore e artefatti del segnale. Sebbene i segnali RF possiedano la capacità unica di penetrare le occlusioni (Non-Line-of-Sight o NLoS), i metodi neurali di ricostruzione esistenti faticano a produrre geometrie accurate.

I precedenti approcci, come il lavoro precedente degli autori GeRaF [31], tentavano di ricostruire scene NLoS semplicemente ritagliando l'oggetto occludente (ad esempio, una scatola) e trattando la scena come se l'occlusione non esistesse. Questo approccio fallisce perché ignora la realtà fisica secondo cui i segnali wireless che interagiscono con l'occludente Line-of-Sight (LoS) (la scatola) vengono parzialmente riflessi e attenuati prima di raggiungere l'oggetto nascosto. Di conseguenza, questi metodi soffrono di tre limitazioni primarie:

1. Ricostruzione Inaccurata: Le riflessioni dalle superfici visibili "filtrano" nella regione nascosta, creando rumore e artefatti (ad esempio, una forma a "cappello" su un coniglio causata dalla scatola).
2. Ottimizzazione Instabile: Diverse geometrie LoS alterano il paesaggio di ottimizzazione, portando a fallimenti nella convergenza.
3. Ambiguità della Superficie: L'incapacità di normalizzare la forza del segnale rende difficile determinare la posizione reale della superficie (il livello zero del Campo di Distanza Segnata o SDF), spesso risultando in superfici spostate di diversi centimetri.

2. Metodologia: GeRaF 2.0

Il documento propone GeRaF 2.0, un framework neurale di ricostruzione geometrica Unificato LoS e NLoS (ULoS). La filosofia centrale è sfruttare informazioni visive stabili e ad alta fedeltà dalla regione visibile (LoS) per guidare la ricostruzione della regione nascosta (NLoS).

2.1 Rappresentazione della Scena ULoS

Il framework modella l'intera scena (sia visibile che nascosta) come una serie di insiemi annidati, chiusi e compatti all'interno di un singolo Campo di Distanza Segnata ULoS (ULoS SDF).

• Dominio Unificato: La scena è definita come $\Omega_{\text{ULoS}} = \Omega_{\text{LoS}} \cup \Omega_{\text{NLoS}}$.
• Insiemi Annidati: Lo spazio è rappresentato da livelli $M_1, \dots, M_n$, dove $M_n \subset \text{int}(M_{n-1}) \dots \subset \text{int}(\Omega_{\text{ULoS}})$.
• Semantica del Segno: A differenza degli SDF tradizionali dove il "negativo" implica l'interno di un oggetto, l'SDF ULoS assegna i segni basandosi sulla forza di interazione a radiofrequenza. Le regioni con forte interazione RF (ad esempio, le pareti della scatola, l'oggetto) ricevono valori negativi, mentre le regioni con debole interazione (ad esempio, l'aria) ricevono valori positivi. Ciò permette al campo di rappresentare più superfici (interno/esterno della scatola, oggetto) all'interno di un unico campo continuo.

2.2 Rendering Senza Lenti ULoS

Per affrontare l'instabilità dell'addestramento con dati RF rumorosi, gli autori introducono una tecnica di rendering che incorpora un SDF pre-addestrato visivamente ($f_v$) come prior.

• Geometria Condivisa: Nella regione LoS (fuori dalla scatola), l'SDF ULoS addestrato su RF ($f_r$) e l'SDF addestrato visivamente ($f_v$) sono identici.
• Regolazione della Trasmissività: Invece di calcolare la trasmissività da zero per ogni raggio (il che è computazionalmente costoso e soggetto a errori), il sistema utilizza l'SDF pre-addestrato visivamente per regolare la trasmissività accumulata dei raggi primari. Ciò fornisce un'inizializzazione stabile per l'addestramento RF, garantendo che l'ottimizzazione parta da uno stato geometrico fisicamente coerente.

2.2 Pipeline di Addestramento in Due Fasi

Per risolvere il problema dell'ambiguità della superficie (dove il livello zero è erroneamente spostato), gli autori propongono un processo di ottimizzazione in due fasi:

• Fase 1: Inizializzazione e Apprendimento della Geometria

  • La Rete di Riflettività viene congelata e inizializzata a un valore costante (1.0).
  • La Rete SDF viene inizializzata utilizzando l'SDF pre-addestrato visivamente.
  • L'addestramento minimizza la perdita tra le distribuzioni di potenza Matched Filter (MF) predette e quelle reali (ground-truth), combinata con la regolarizzazione Eikonal per imporre un SDF valido.
  • L'SDF pre-addestrato visivamente viene utilizzato per regolare la trasmissività durante il rendering.

• Fase 2: Allineamento RSDF

  • Tutte le reti vengono addestrate congiuntamente.
  • Viene introdotto un nuovo termine di perdita, Allineamento RSDF. Gli autori definiscono un SDF Relativo (RSDF), $g_r$, che è l'SDF addestrato su RF spostato di una costante sconosciuta.
  • Base Teorica: Se i gradienti di due campi scalari sono identici e i campi coincidono su una superficie chiusa, i campi sono identici ovunque.
  • Implementazione: Il sistema allinea l'RSDF addestrato su RF ($g_r$) con l'SDF addestrato visivamente ($f_v$) sulla superficie esterna della scatola ($\partial M_1$). Ciò viene ottenuto minimizzando la differenza nella profondità attesa lungo i raggi primari tra le modalità visiva e RF.
  • Questo allineamento costringe l'SDF addestrato su RF a convergere verso il corretto livello zero, trasferendo efficacemente l'accuratezza geometrica del modello visivo alla regione nascosta NLoS.

3. Contributi Chiave

1. Rappresentazione Unificata: Introduzione dell'SDF ULoS, che unifica le regioni LoS e NLoS in un unico campo neurale con semantica di segno fisicamente significativa per la propagazione RF.
2. Rendering Senza Lenti ULoS: Una tecnica di rendering che sfrutta SDF pre-addestrati visivamente per fornire un'inizializzazione stabile e una regolazione della trasmissività, mitigando gli artefatti indotti da LoS nella ricostruzione NLoS.
3. Allineamento RSDF: Una strategia di addestramento innovativa in due fasi che utilizza la geometria nota della regione LoS (la scatola) per allineare l'SDF addestrato su RF, risolvendo il problema dell'ambiguità della superficie e permettendo l'estrazione di livelli zero accurati senza sogliatura manuale.
4. Prestazioni allo Stato dell'Arte: Il framework raggiunge un addestramento stabile e una ricostruzione fisicamente coerente sia della geometria visibile che di quella nascosta, superando i metodi precedenti basati su RF.

4. Risultati Sperimentali

Gli autori hanno valutato GeRaF 2.0 utilizzando un radar mmWave a 77 GHz montato su un braccio robotico, acquisendo immagini di vari oggetti del mondo reale (coniglio, elefante, cervo, pollo, barca, palla) all'interno di diverse scatole.

• Prestazioni Quantitative: GeRaF 2.0 ha superato significativamente le linee di base (immagini Matched Filter, GeRaF [31] e NeuS basato su visione [48] su scene occluse) in termini di F1-score e Distanza di Chamfer (CD). Ad esempio, sul dataset "Bunny", GeRaF 2.0 ha ottenuto un F1-score di 0.962 e una CD di 0.15 mm, rispetto a 0.822 e 4.24 mm di GeRaF.
• Miglioramenti Qualitativi: Il metodo ha prodotto superfici pulite e accurate con livelli zero corretti. A differenza dei metodi precedenti che richiedevano la selezione manuale dei livelli di superficie (ad esempio, $g_r = 40$ mm), GeRaF 2.0 ha correttamente identificato la superficie a $g_r = 0$ mm, preservando dettagli fini come la cresta del pollo e le zanne dell'elefante.
• Robustezza: Il sistema ha mantenuto una ricostruzione ad alta fedeltà anche quando la scatola era riempita di plastica a bolle (introducendo strati di scattering) o quando si ricostruivano scatole annidate.
• Studi di Ablazione:
  • La rimozione del Rendering Senza Lenti ULoS ha portato a una convergenza più lenta e a una formazione della forma meno accurata.
  • La rimozione dell'allineamento RSDF ($\lambda_{\text{RSDF}} = 0$) ha portato a superfici significativamente spostate dal livello zero, confermando la necessità della fase di allineamento per risolvere l'ambiguità della superficie.

5. Significato

Il documento afferma di presentare il primo lavoro che utilizza modalità line-of-sight per potenziare la ricostruzione 3D non-line-of-sight, stabilendo un nuovo stato dell'arte nella ricostruzione geometrica basata su RF. Colmando il divario tra regioni visibili e nascoste, GeRaF 2.0 affronta l'instabilità e l'ambiguità fondamentali intrinseche nel rilevamento RF. Il framework permette a robot e dispositivi intelligenti di percepire accuratamente oggetti nascosti dietro le occlusioni, superando i limiti dei metodi precedenti che trattavano le occlusioni come inesistenti o non riuscivano a modellare la loro interazione fisica con i segnali RF. Il lavoro dimostra che integrare prior visivi nella ricostruzione neurale RF è un percorso praticabile verso un rilevamento 3D robusto e ad alta risoluzione in condizioni di visibilità difficili.