Non-line-of-sight imaging with arbitrary relay surface geometries via 3D Gaussian Transient Rendering

Resumo Técnico: Imagem fora da linha de visão com geometrias de superfície de relé arbitrárias via Renderização Transiente de Gaussianas 3D

Definição do Problema
A imagem fora da linha de visão (NLOS - Non-line-of-sight) visa reconstruir objetos ocultos analisando a luz espalhada por uma superfície de relé visível. Embora a imagem NLOS baseada em Tempo de Voo (ToF - Time-of-Flight) tenha avançado significativamente, sua implantação no mundo real é dificultada por suposições restritivas nos métodos existentes. A maioria das técnicas de estado da arte assume uma parede de relé grande, contínua e plana com amostragem densa e uniforme. Em cenários práticos — como na condução autónoma ou percepção robótica — as medições são frequentemente adquiridas sobre regiões espacialmente limitadas com geometrias arbitrárias e não planas (por exemplo, as costas de pedestres ou paredes irregulares). As abordagens atuais, incluindo estruturas iterativas baseadas em modelos e campos neurais baseados em aprendizagem, têm dificuldade sob estas condições, exigindo tempos de otimização prolongados, carecendo de robustez a geometrias complexas ou falhando em resolver alvos quando a superfície de relé não é restrita.

Metodologia
Os autores propõem um pipeline de imagem NLOS guiado por LOS que elimina suposições geométricas em relação à superfície de relé. O núcleo do método é a Renderização Transiente de Gaussianas 3D (3D-GTR), que integra os seguintes componentes:

1. Recuperação de Geometria Guiada por LOS: O sistema utiliza primeiro medições de ToF de Linha de Visão (LOS - Line-of-Sight) para reconstruir uma nuvem de pontos da superfície de relé. Esta nuvem de pontos é pós-processada para estimar normais de superfície locais, criando uma "superfície de relé virtual" que reflete fielmente a geometria arbitrária do ambiente de medição do mundo real.
2. Representação de Gaussiana 3D: A cena oculta não é representada por uma grade volumétrica ou campo neural implícito, mas sim por um conjunto de primitivas gaussianas 3D. Cada primitiva é parametrizada por uma posição média ($\mathbf{x}_g$), uma matriz de covariância ($\mathbf{\Sigma}$) que define a dispersão espacial, e um albedo ($\rho$) que controla a força de espalhamento.
3. Renderização Transiente Diferenciável: Um modelo de renderização diferenciável e baseado em física mapeia estas primitivas gaussianas 3D para núcleos gaussianos temporais 1D. Este modelo considera explicitamente:
   • Geometria de Transporte de Luz: O comprimento do caminho óptico desde o ponto de iluminação até a primitiva e, em seguida, até o detetor é linearizado em torno da média da primitiva, induzindo uma distribuição gaussiana no domínio do comprimento do caminho.
   • Ponderação Radiométrica: O modelo incorpora o ângulo sólido subtendido pela primitiva em relação aos pontos de iluminação e deteção, bem como os efeitos da função de distribuição de refletância bidirecional (BRDF) através das normais de superfície ($\mathbf{n}_i, \mathbf{n}_d$). Isto resulta num peso radiométrico fundamentado fisicamente que segue a dependência de distância de quarta potência inversa típica dos modelos de propagação direta (forward models) de NLOS.
4. Otimização de Ponta a Ponta: O sistema otimiza os parâmetros das primitivas gaussianas 3D (posição, escala, orientação e albedo) via retropropagação (backpropagation) para minimizar a perda $L_2$ entre os transientes renderizados e os sinais transientes medidos. O processo suporta configurações de aquisição confocais e não confocais.
5. Síntese e Reconstrução: Uma vez otimizada, a representação de Gaussiana 3D é utilizada para sintetizar medições transientes densas e fisicamente consistentes numa grade virtual regular. Estes transientes sintetizados são então alimentados em solvers convencionais (por exemplo, Transformada de Cone de Luz ou RSD) para produzir a reconstrução volumétrica final.

Principais Contribuições

• Pipeline Agnóstico à Geometria: O framework proposto não impõe suposições prévias sobre a geometria da superfície de relé, suportando naturalmente aquisições confocais e não confocais com configurações arbitrárias de pares de iluminação-deteção.
• Renderização Transiente de Gaussianas 3D (3D-GTR): Os autores introduzem um modelo de renderização transiente eficiente, totalmente diferenciável e baseado em física, construído sobre primitivas gaussianas 3D leves. Ao incorporar explicitamente o transporte de luz consciente da física e as normais de superfície, o modelo alcança um desempenho fiável em diversas configurações de aquisição.
• Robustez e Eficiência: O método é validado em medições do mundo real, tanto de conjuntos de dados públicos como de um sistema de captura construído customizado. Demonstra uma robustez e fidelidade de reconstrução significativamente melhoradas em comparação com métodos existentes (por exemplo, NeTF, CC-SOCR, FBP), particularmente sob condições de superfície de relé espacialmente limitadas, amostradas de forma esparsa e de formas arbitrárias.

Resultados Experimentais
O artigo avalia o método através de três regimes de amostragem desafiadores:

• Região Limitada: Em cenários com amostragem espacial esparsa (por exemplo, máscaras com forma de "NLOS" ou 3.000 pontos aleatórios), o 3D-GTR preserva a geometria de múltiplos objetos e mantém uma alta fidelidade onde outros métodos falham.
• Abertura Limitada: Quando a abertura de medição é severamente restringida (menor que o objeto oculto), o método reconstrói formas mais claras do que a arte anterior.
• Resolução Limitada: O método exibe um efeito de super-resolução, resolvendo com sucesso características de 2 cm mesmo quando o passo de amostragem (4 cm) excede a resolução do alvo, superando os métodos concorrentes que degradam sob subamostragem.
• Não Confocal e Geometrias Arbitrárias: Em configurações não confocais utilizando superfícies de relé curvas (por exemplo, torsos de manequins), o 3D-GTR recupera as formas do alvo de forma mais clara do que as linhas de base. A inclusão de normais de superfície no modelo de renderização mostra-se, através de estudos de ablação, crítica para lidar com variações de orientação de superfície.
• Tempo de Execução: O método demonstra vantagens significativas de eficiência, com o treino a convergir substancialmente mais rápido que o NeTF e tempos de inferência ordens de magnitude mais rápidos do que métodos de otimização iterativa, aproveitando a natureza paralela das primitivas gaussianas em GPUs.

Significado
O artigo afirma que este trabalho estabelece um novo framework de imagem NLOS que altera o paradigma de pipelines que assumem a geometria para um framework orientado pela medição. Ao aproveitar as medições de LOS para recuperar a geometria da superfície de relé e utilizar primitivas gaussianas 3D para uma renderização diferenciável e eficiente, a abordagem une a lacuna entre a imagem NLOS teórica e a implementação prática em ambientes complexos do mundo real. Os autores posicionam isto como um passo concreto para tornar a imagem NLOS viável para aplicações como navegação autónoma e segurança pública, onde as superfícies de relé são raramente planas ou densas. O trabalho reconhece que, embora o método seja mais rápido do que as linhas de base existentes, ainda não é em tempo real, mas sugere que a natureza fisicamente fundamentada e diferenciável da representação oferece um caminho promissor para a futura integração com técnicas de reconstrução de vídeo.