Resumen Técnico: Ver a través de cajas: Reconstrucción 3D No en Línea de Visión a partir de Señales de Radar (GeRaF 2.0)

1. Declaración del Problema

Reconstruir la geometría 3D de objetos a partir de señales de Radiofrecuencia (RF) es fundamentalmente desafiante debido a la naturaleza sin lentes de la detección por RF, lo que resulta en baja resolución espacial, alto ruido y artefactos de señal. Aunque las señales de RF poseen la capacidad única de penetrar oclusiones (No en Línea de Visión o NLoS), los métodos existentes de reconstrucción neuronal luchan por producir geometrías precisas.

Los enfoques anteriores, como el trabajo previo de los autores GeRaF [31], intentaron reconstruir escenas NLoS simplemente recortando el objeto oclusor (por ejemplo, una caja) y tratando la escena como si la oclusión no existiera. Este enfoque falla porque ignora la realidad física de que las señales inalámbricas que interactúan con el oclusor en Línea de Visión (LoS) (la caja) se reflejan y atenúan parcialmente antes de alcanzar el objeto oculto. En consecuencia, estos métodos sufren tres limitaciones principales:

1. Reconstrucción Inexacta: Las reflexiones de las superficies visibles "se filtran" hacia la región oculta, creando ruido y artefactos (por ejemplo, una forma de "sombrero" en un conejito causada por la caja).
2. Optimización Inestable: Diferentes geometrías LoS alteran el paisaje de optimización, lo que lleva a fallos de convergencia.
3. Ambigüedad de Superficie: La incapacidad de normalizar la intensidad de la señal dificulta determinar la ubicación real de la superficie (el conjunto de nivel cero del Campo de Distancia Signada o SDF), lo que a menudo resulta en superficies desplazadas varios centímetros.

2. Metodología: GeRaF 2.0

El artículo propone GeRaF 2.0, un marco unificado de reconstrucción geométrica neuronal para LoS y NLoS (ULoS). La filosofía central es aprovechar la información visual estable y de alta fidelidad de la región visible (LoS) para guiar la reconstrucción de la región oculta (NLoS).

2.1 Representación de Escena ULoS

El marco modela toda la escena (tanto visible como oculta) como una serie de conjuntos anidados, cerrados y compactos dentro de un único Campo de Distancia Signada ULoS (ULoS SDF).

• Dominio Unificado: La escena se define como $\Omega_{\text{ULoS}} = \Omega_{\text{LoS}} \cup \Omega_{\text{NLoS}}$.
• Conjuntos Anidados: El espacio se representa mediante capas $M_1, \dots, M_n$, donde $M_n \subset \text{int}(M_{n-1}) \dots \subset \text{int}(\Omega_{\text{ULoS}})$.
• Semántica de Signo: A diferencia de los SDF tradicionales donde "negativo" implica dentro de un objeto, el ULoS SDF asigna signos basados en la fuerza de interacción de radiofrecuencia. Las regiones con fuerte interacción de RF (por ejemplo, las paredes de la caja, el objeto) se asignan valores negativos, mientras que las regiones con interacción débil (por ejemplo, el aire) son positivas. Esto permite que el campo represente múltiples superficies (paredes interior/exterior de la caja, objeto) dentro de un único campo continuo.

2.2 Renderizado sin Lentes ULoS

Para abordar la inestabilidad del entrenamiento con datos de RF ruidosos, los autores introducen una técnica de renderizado que incorpora un SDF preentrenado por visión ($f_v$) como prior.

• Geometría Compartida: En la región LoS (fuera de la caja), el ULoS SDF entrenado por RF ($f_r$) y el SDF entrenado por visión ($f_v$) son idénticos.
• Ajuste de Transmitancia: En lugar de calcular la transmitancia desde cero para cada rayo (lo cual es computacionalmente costoso y propenso a errores), el sistema utiliza el SDF preentrenado por visión para ajustar la transmitancia acumulada de los rayos primarios. Esto proporciona una inicialización estable para el entrenamiento de RF, asegurando que la optimización comience desde un estado geométrico físicamente consistente.

2.3 Pipeline de Entrenamiento en Dos Etapas

Para resolver el problema de ambigüedad de superficie (donde el conjunto de nivel cero está incorrectamente desplazado), los autores proponen un proceso de optimización en dos etapas:

• Etapa 1: Inicialización y Aprendizaje de Geometría

  • La Red de Reflectividad se congela e inicializa a un valor constante (1.0).
  • La Red SDF se inicializa utilizando el SDF preentrenado por visión.
  • El entrenamiento minimiza la pérdida entre las distribuciones de potencia Filtro Acoplado (MF) predichas y las de referencia, combinadas con regularización Eikonal para imponer un SDF válido.
  • El SDF preentrenado por visión se utiliza para ajustar la transmitancia durante el renderizado.

• Etapa 2: Alineación RSDF

  • Todas las redes se entrenan conjuntamente.
  • Se introduce un nuevo término de pérdida, Alineación RSDF. Los autores definen un SDF Relativo (RSDF), $g_r$, que es el SDF entrenado por RF desplazado por una constante desconocida.
  • Base Teórica: Si los gradientes de dos campos escalares son idénticos y los campos coinciden en una superficie cerrada, los campos son idénticos en todas partes.
  • Implementación: El sistema alinea el RSDF entrenado por RF ($g_r$) con el SDF entrenado por visión ($f_v$) en la superficie exterior de la caja ($\partial M_1$). Esto se logra minimizando la diferencia en la profundidad esperada a lo largo de los rayos primarios entre las modalidades de visión y RF.
  • Esta alineación fuerza al SDF entrenado por RF a converger hacia el conjunto de nivel cero correcto, transfiriendo efectivamente la precisión geométrica del modelo de visión a la región oculta NLoS.

3. Contribuciones Clave

1. Representación Unificada: Introducción del ULoS SDF, que unifica las regiones LoS y NLoS en un único campo neuronal con semánticas de signo físicamente significativas para la propagación de RF.
2. Renderizado sin Lentes ULoS: Una técnica de renderizado que aprovecha los SDF preentrenados por visión para proporcionar inicialización estable y ajuste de transmitancia, mitigando los artefactos inducidos por LoS en la reconstrucción NLoS.
3. Alineación RSDF: Una estrategia novedosa de entrenamiento en dos etapas que utiliza la geometría conocida de la región LoS (la caja) para alinear el SDF entrenado por RF, resolviendo el problema de ambigüedad de superficie y permitiendo la extracción de conjuntos de nivel cero precisos sin umbralización manual.
4. Rendimiento de Vanguardia: El marco logra un entrenamiento estable y una reconstrucción físicamente consistente de geometrías visibles y ocultas, superando a los métodos anteriores basados en RF.

4. Resultados Experimentales

Los autores evaluaron GeRaF 2.0 utilizando un radar mmWave de 77 GHz montado en un brazo robótico, capturando imágenes de diversos objetos del mundo real (conejo, elefante, ciervo, pollo, barco, pelota) dentro de diferentes cajas.

• Rendimiento Cuantitativo: GeRaF 2.0 superó significativamente a las líneas base (imágenes de Filtro Acoplado, GeRaF [31] y NeuS basado en visión [48] en escenas ocluidas) en términos de puntuación F1 y Distancia de Chamfer (CD). Por ejemplo, en el conjunto de datos "Conejito", GeRaF 2.0 logró una puntuación F1 de 0.962 y una CD de 0.15 mm, en comparación con los 0.822 y 4.24 mm de GeRaF.
• Mejoras Cualitativas: El método produjo superficies limpias y precisas con conjuntos de nivel cero correctos. A diferencia de los métodos anteriores que requerían selección manual de niveles de superficie (por ejemplo, $g_r = 40$ mm), GeRaF 2.0 identificó correctamente la superficie en $g_r = 0$ mm, preservando detalles finos como la cresta del pollo y las colmillos del elefante.
• Robustez: El sistema mantuvo una reconstrucción de alta fidelidad incluso cuando la caja estaba llena de plástico de burbujas (introduciendo capas de dispersión) o al reconstruir cajas anidadas.
• Estudios de Ablación:
  • Eliminar el Renderizado sin Lentes ULoS resultó en una convergencia más lenta y una formación de formas menos precisa.
  • Eliminar la alineación RSDF ($\lambda_{\text{RSDF}} = 0$) resultó en superficies desplazadas significativamente del nivel cero, confirmando la necesidad de la etapa de alineación para resolver la ambigüedad de superficie.

5. Significado

El artículo afirma presentar el primer trabajo que utiliza modalidades en línea de visión para potenciar la reconstrucción 3D no en línea de visión, estableciendo un nuevo estado del arte en la reconstrucción geométrica basada en RF. Al cerrar la brecha entre las regiones visibles y ocultas, GeRaF 2.0 aborda la inestabilidad fundamental y la ambigüedad inherentes a la detección por RF. El marco permite que los robots y dispositivos inteligentes perciban con precisión objetos ocultos detrás de oclusiones, superando las limitaciones de los métodos anteriores que trataban las oclusiones como inexistentes o no lograban modelar su interacción física con las señales de RF. El trabajo demuestra que integrar priores visuales en la reconstrucción neuronal de RF es un camino viable hacia la detección 3D robusta y de alta resolución en condiciones de visibilidad desafiantes.