Resumo Técnico: Vendo através de caixas: Reconstrução 3D Não em Linha de Visada a partir de Sinais de Radar (GeRaF 2.0)

1. Declaração do Problema

Reconstruir a geometria 3D de objetos a partir de sinais de Radiofrequência (RF) é fundamentalmente desafiador devido à natureza sem lentes do sensoriamento por RF, que resulta em baixa resolução espacial, alto ruído e artefatos de sinal. Embora os sinais de RF possuam a capacidade única de penetrar oclusões (Não em Linha de Visada ou NLoS), os métodos existentes de reconstrução neural lutam para produzir geometrias precisas.

Abordagens anteriores, como o trabalho anterior dos autores GeRaF [31], tentaram reconstruir cenas NLoS simplesmente recortando o objeto oclusor (por exemplo, uma caixa) e tratando a cena como se a oclusão não existisse. Essa abordagem falha porque ignora a realidade física de que os sinais sem fio interagindo com o oclusor em Linha de Visada (LoS) (a caixa) são parcialmente refletidos e atenuados antes de atingir o objeto oculto. Consequentemente, esses métodos sofrem de três limitações primárias:

1. Reconstrução Inaccurada: Reflexões de superfícies visíveis "vazam" para a região oculta, criando ruído e artefatos (por exemplo, uma forma de "chapéu" em um coelho causada pela caixa).
2. Otimização Instável: Diferentes geometrias LoS alteram o cenário de otimização, levando a falhas de convergência.
3. Ambiguidade de Superfície: A incapacidade de normalizar a força do sinal torna difícil determinar a localização real da superfície (o conjunto de nível zero do Campo de Distância Assinado ou SDF), frequentemente resultando em superfícies deslocadas por vários centímetros.

2. Metodologia: GeRaF 2.0

O artigo propõe o GeRaF 2.0, um framework unificado de reconstrução geométrica neural para LoS e NLoS (ULoS). A filosofia central é aproveitar informações visuais estáveis e de alta fidelidade da região visível (LoS) para guiar a reconstrução da região oculta (NLoS).

2.1 Representação de Cena ULoS

O framework modela a cena inteira (tanto visível quanto oculta) como uma série de conjuntos aninhados, fechados e compactos dentro de um único Campo de Distância Assinado ULoS (ULoS SDF).

• Domínio Unificado: A cena é definida como $\Omega_{\text{ULoS}} = \Omega_{\text{LoS}} \cup \Omega_{\text{NLoS}}$.
• Conjuntos Aninhados: O espaço é representado por camadas $M_1, \dots, M_n$, onde $M_n \subset \text{int}(M_{n-1}) \dots \subset \text{int}(\Omega_{\text{ULoS}})$.
• Semântica de Sinal: Diferentemente dos SDFs tradicionais onde "negativo" implica dentro de um objeto, o ULoS SDF atribui sinais com base na força de interação de radiofrequência. Regiões com forte interação de RF (por exemplo, paredes da caixa, o objeto) recebem valores negativos, enquanto regiões com interação fraca (por exemplo, ar) recebem valores positivos. Isso permite que o campo represente múltiplas superfícies (paredes interna/externa da caixa, objeto) dentro de um único campo contínuo.

2.2 Renderização Sem Lentes ULoS

Para abordar a instabilidade do treinamento com dados de RF ruidosos, os autores introduzem uma técnica de renderização que incorpora um SDF pré-treinado por visão ($f_v$) como prior.

• Geometria Compartilhada: Na região LoS (fora da caixa), o ULoS SDF treinado por RF ($f_r$) e o SDF treinado por visão ($f_v$) são idênticos.
• Ajuste de Transmitância: Em vez de calcular a transmitância do zero para cada raio (o que é computacionalmente caro e propenso a erros), o sistema usa o SDF pré-treinado por visão para ajustar a transmitância acumulada dos raios primários. Isso fornece uma inicialização estável para o treinamento de RF, garantindo que a otimização comece a partir de um estado geométrico fisicamente consistente.

2.3 Pipeline de Treinamento em Duas Etapas

Para resolver o problema de ambiguidade de superfície (onde o conjunto de nível zero é incorretamente deslocado), os autores propõem um processo de otimização em duas etapas:

• Etapa 1: Inicialização e Aprendizado de Geometria

  • A Rede de Refletividade é congelada e inicializada para um valor constante (1.0).
  • A Rede SDF é inicializada usando o SDF pré-treinado por visão.
  • O treinamento minimiza a perda entre as distribuições de potência Filtro Casado (MF) previstas e as de referência, combinadas com regularização Eikonal para impor um SDF válido.
  • O SDF pré-treinado por visão é usado para ajustar a transmitância durante a renderização.

• Etapa 2: Alinhamento RSDF

  • Todas as redes são treinadas conjuntamente.
  • Um novo termo de perda, Alinhamento RSDF, é introduzido. Os autores definem um SDF Relativo (RSDF), $g_r$, que é o SDF treinado por RF deslocado por uma constante desconhecida.
  • Base Teórica: Se os gradientes de dois campos escalares são idênticos e os campos coincidem em uma superfície fechada, os campos são idênticos em todos os lugares.
  • Implementação: O sistema alinha o RSDF treinado por RF ($g_r$) com o SDF treinado por visão ($f_v$) na superfície externa da caixa ($\partial M_1$). Isso é alcançado minimizando a diferença na profundidade esperada ao longo dos raios primários entre as modalidades de visão e RF.
  • Esse alinhamento força o SDF treinado por RF a convergir para o conjunto de nível zero correto, transferindo efetivamente a precisão geométrica do modelo de visão para a região oculta NLoS.

3. Contribuições Principais

1. Representação Unificada: Introdução do ULoS SDF, que unifica regiões LoS e NLoS em um único campo neural com semântica de sinal fisicamente significativa para propagação de RF.
2. Renderização Sem Lentes ULoS: Uma técnica de renderização que aproveita SDFs pré-treinados por visão para fornecer inicialização estável e ajuste de transmitância, mitigando artefatos induzidos por LoS na reconstrução NLoS.
3. Alinhamento RSDF: Uma estratégia de treinamento em duas etapas que usa a geometria conhecida da região LoS (a caixa) para alinhar o SDF treinado por RF, resolvendo o problema de ambiguidade de superfície e permitindo a extração de conjuntos de nível zero precisos sem limiarização manual.
4. Desempenho de Estado da Arte: O framework alcança treinamento estável e reconstrução fisicamente consistente de geometrias visíveis e ocultas, superando métodos anteriores baseados em RF.

4. Resultados Experimentais

Os autores avaliaram o GeRaF 2.0 usando um radar mmWave de 77 GHz montado em um braço robótico, imageando vários objetos do mundo real (coelho, elefante, veado, frango, barco, bola) dentro de diferentes caixas.

• Desempenho Quantitativo: O GeRaF 2.0 superou significativamente as linhas de base (imageamento por Filtro Casado, GeRaF [31] e NeuS baseado em visão [48] em cenas ocluídas) em termos de F1-score e Distância de Chamfer (CD). Por exemplo, no conjunto de dados "Coelho", o GeRaF 2.0 alcançou um F1-score de 0,962 e um CD de 0,15 mm, comparado a 0,822 e 4,24 mm do GeRaF.
• Melhorias Qualitativas: O método produziu superfícies limpas e precisas com conjuntos de nível zero corretos. Diferentemente de métodos anteriores que exigiam seleção manual de níveis de superfície (por exemplo, $g_r = 40$ mm), o GeRaF 2.0 identificou corretamente a superfície em $g_r = 0$ mm, preservando detalhes finos como a crista do frango e as presas do elefante.
• Robustez: O sistema manteve reconstrução de alta fidelidade mesmo quando a caixa foi preenchida com plástico bolha (introduzindo camadas de espalhamento) ou ao reconstruir caixas aninhadas.
• Estudos de Ablação:
  • Remover a Renderização Sem Lentes ULoS resultou em convergência mais lenta e formação de formas menos precisa.
  • Remover o alinhamento RSDF ($\lambda_{\text{RSDF}} = 0$) resultou em superfícies significativamente deslocadas do nível zero, confirmando a necessidade da etapa de alinhamento para resolver a ambiguidade de superfície.

5. Significado

O artigo afirma apresentar o primeiro trabalho que utiliza modalidades em linha de visada para impulsionar a reconstrução 3D não em linha de visada, estabelecendo um novo estado da arte na reconstrução geométrica baseada em RF. Ao fechar a lacuna entre regiões visíveis e ocultas, o GeRaF 2.0 aborda a instabilidade fundamental e a ambiguidade inerentes ao sensoriamento por RF. O framework permite que robôs e dispositivos inteligentes percebam com precisão objetos ocultos atrás de oclusões, indo além das limitações de métodos anteriores que tratavam oclusões como inexistentes ou falhavam em modelar sua interação física com sinais de RF. O trabalho demonstra que integrar priores visuais na reconstrução neural de RF é um caminho viável para sensoriamento 3D robusto e de alta resolução em condições de visibilidade desafiadoras.