Learning Scene-Level Signed Directional Distance Function with Ellipsoidal Priors and Neural Residuals

1. Formulação do Problema

O artigo aborda os desafios na representação de cenas 3D para reconstrução densa e renderização diferenciável. Os métodos existentes enfrentam um compromisso entre precisão geométrica, eficiência de renderização e diferenciabilidade:

• Representações Explícitas (Malhas, Nuvens de Pontos, Vóxeis): Descontínuas e não diferenciáveis, dificultando a otimização de ponta a ponta e a síntese de novas visualizações.
• Representações Implícitas (NeRF, SDF):
  • NeRF/Gaussian Splatting: Excelentes para renderização fotométrica, mas frequentemente lutam com a reconstrução geométrica precisa sem supervisão cuidadosa. Geralmente exigem integração ao longo de raios, o que é computacionalmente caro.
  • SDF (Função de Distância Assinada): Fornece geometria precisa, mas requer rastreamento de esfera iterativo para encontrar interseções de superfície ao longo de uma direção específica. Esse processo é lento, acumula erros e não é inerentemente diferenciável em uma única passagem direta.
• A Lacuna: Há uma necessidade de uma representação que suporte predição de distância direcional diferenciável de consulta única (como a estrutura de entrada do NeRF) enquanto fornece valores de distância diretos (como o SDF) para permitir reconstrução geométrica eficiente e otimização de visualização.

2. Metodologia: Função de Distância Direcional Assinada (SDDF)

Os autores propõem uma nova representação chamada Função de Distância Direcional Assinada (SDDF) e um framework de aprendizado híbrido para modelá-la.

A. Definição de SDDF

Diferentemente do SDF padrão (que encontra a distância mais curta para qualquer ponto de superfície) ou de Funções de Distância Direcional (DDF) que frequentemente carecem de informações de sinal, a SDDF proposta $f(p, v)$ toma uma posição $p$ e uma direção de visualização $v$ como entrada.

• Saída: A distância assinada de $p$ até a primeira interseção de superfície ao longo do raio $v$.
• Convenção de Sinal: Positiva se $p$ estiver no espaço livre, negativa se $p$ estiver dentro de um objeto.
• Propriedade Chave: Ela satisfaz uma Equação Eikonal Direcional: $v^\top \nabla_p f(p, v) = -1$. Isso significa que a distância diminui a uma taxa unitária à medida que se move ao longo do raio em direção à superfície. Essa propriedade permite que o modelo seja regularizado sem termos de perda explícitos.

B. Arquitetura Híbrida Explícita-Implícita

Para aprender SDDF em nível de cena de forma eficiente e lidar com descontinuidades (oclusões), os autores projetam um modelo híbrido de dois estágios:

1. Rede de Priori Baseada em Elipsoides Explícitos ($P$):

   • Propósito: Captura a estrutura grosseira da cena e lida com oclusões/descontinuidades.
   • Mecanismo: A cena é aproximada por um conjunto de $M$ elipsoides aprendíveis. A rede calcula analiticamente a SDDF para um raio que intersecciona esses elipsoides em forma fechada.
   • Fusão: Para uma união de elipsoides, a priori seleciona o elipsoide interseccionado mais próximo para determinar a distância, garantindo que o modelo lide com oclusões naturalmente.
   • Inicialização: Um algoritmo especializado (Algoritmo 2) inicializa os elipsoides mesclando clusters K-means em superfícies planas (paredes, pisos) para evitar supersegmentação, deixando mais elipsoides para objetos complexos.

2. Rede de Resíduo Neural Implícita ($L$ e $R$):

   • Propósito: Refina a priori grosseira para capturar detalhes geométricos finos.
   • Rede de Características Latentes ($L$): Toma o ponto de interseção $q$ (na superfície do elipsoide), a direção de visualização local $v'$ e o índice do elipsoide como entrada. Usa um embedding polinomial (monômios de grau-2 de $q$ e $v'$) para gerar um vetor de característica latente $z$.
   • Decodificador de Resíduo ($R$): Um Perceptron Multicamada (MLP) que decodifica $z$ em um termo de correção $\delta f$.
   • Predição Final: $\hat{f}(p, v) = f_{prior}(p, v) + \delta f(p, v)$.

C. Treinamento e Otimização

• Função de Perda: Usa uma soma ponderada de perdas Huber para indicadores de interseção, indicadores de sinal e valores de distância. Amostras negativas (pontos dentro de objetos) são aumentadas para garantir que os elipsoides cubram a cena.
• Diferenciabilidade: Todo o pipeline, incluindo a lógica de interseção de elipsoides e a rede de resíduo, é diferenciável. Isso permite otimização de ponto de vista baseada em gradiente (por exemplo, planejamento de Próxima-Melhor-Visualização) sem rastreamento de esfera iterativo.

3. Contribuições Principais

1. Definição de SDDF em Nível de Cena: Estende o conceito de SDDF de objetos únicos para cenas complexas e de grande escala, lidando efetivamente com oclusões e mudanças de sinal.
2. Modelo Híbrido Explícito-Implícito: Propõe uma arquitetura inovadora combinando priores de elipsoides derivados analiticamente (para estrutura grosseira e tratamento de oclusão) com resíduos neurais (para detalhes finos).
3. Garantias Teóricas: Prova que o modelo combinado satisfaz a equação Eikonal Direcional por construção, eliminando a necessidade de perdas de regularização adicionais.
4. Inicialização Eficiente: Desenvolve um algoritmo para inicializar elipsoides que aproxima eficientemente superfícies planas, reduzindo o número de parâmetros necessários.
5. Otimização de Visualização Diferenciável: Demonstra a capacidade de otimizar trajetórias de câmera para máxima cobertura e mínima sobreposição usando a SDDF diferenciável.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados Replica e Gibson (LiDAR sintético e RGB-D) e ScanNet (RGB-D real).

• Precisão:
  • Alcança Erro Absoluto Médio (MAE) competitivo na predição de SDDF, comparável ou superior aos métodos state-of-the-art de SDF e NeRF.
  • Supera RaDe-GS e Nerfacto em consistência geométrica, particularmente em áreas com observações esparsas ou limites complexos.
  • Supera SDF-Instant-NGP na preservação de detalhes nítidos (por exemplo, plantas, bordas de cadeiras) que o rastreamento de esfera tende a suavizar.
• Eficiência:
  • Velocidade de Inferência: Significativamente mais rápida que o rastreamento de esfera baseado em SDF (1,5x mais rápida) e NeRF (4x mais rápida) porque requer apenas uma única passagem direta.
  • Memória: Usa significativamente menos memória de GPU (3,3GB no treinamento vs. 18,7GB para RaDe-GS) devido a menos parâmetros (2,7M vs. 113,7M).
• Estudos de Ablação:
  • Amostras Negativas: Cruciais para o treinamento; sem elas, os elipsoides falham em cobrir objetos, levando a grandes erros.
  • Embedding Polinomial vs. Fourier: O embedding polinomial proposto generaliza melhor entre cenas do que recursos de Fourier, que exigem ajuste de hiperparâmetros específico da cena.
  • Inicialização: A inicialização proposta de múltiplos elipsoides supera o K-means++ padrão ao lidar melhor com superfícies planas.

5. Significado

Este trabalho preenche a lacuna entre a precisão geométrica dos SDFs e a eficiência dos campos de radiação neural.

• Fidelidade Geométrica: Fornece um método robusto para aprender geometria 3D precisa diretamente de dados de sensores, sem depender apenas de supervisão fotométrica.
• Aplicações em Tempo Real: A natureza de consulta única da SDDF torna-a altamente adequada para aplicações robóticas em tempo real, como percepção ativa, navegação e otimização de trajetória, onde são necessárias consultas de distância diferenciáveis.
• Escalabilidade: A abordagem híbrida permite a escalabilidade para cenas grandes com custos computacionais menores em comparação com campos neurais densos ou métodos de rastreamento iterativo.

Em resumo, o artigo apresenta um framework matematicamente fundamentado, eficiente e altamente preciso para reconstrução de cenas 3D que permite raciocínio geométrico diferenciável em nível de cena.