Resumo Técnico: Renderização Inversa Robusta ao Ambiente usando Imagem RGB-NIR Ativa

Declaração do Problema

A renderização inversa visa reconstruir a geometria e a refletância de objetos a partir de imagens. No entanto, os métodos existentes lutam significativamente sob iluminação ambiente não controlada. Abordagens passivas que dependem exclusivamente de imagens RGB enfrentam ambiguidades inerentes entre a refletância da superfície e a iluminação ambiental, levando a reconstruções inconsistentes e imprecisas. Embora técnicas de iluminação ativa possam resolver essas ambiguidades, os sistemas tradicionais de flash de luz visível são impraticáveis para cenários "selvagens" (in-the-wild), pois a luz visível intensa perturba observadores humanos e o ambiente, exigindo tipicamente condições de sala escura.

Metodologia

Os autores propõem uma estrutura de renderização inversa robusta ao ambiente que alavanca a imagem RGB-NIR ativa. A ideia central é que a luz do Infravermelho Próximo (NIR) é imperceptível aos humanos, permitindo o uso de iluminação de flash NIR forte e controlada sem perturbar a cena. Isso fornece sombreamento de luz pontual estável que permanece invariante às condições de iluminação ambiente, enquanto captura simultaneamente imagens RGB naturalmente iluminadas para a refletância do espectro visível.

O sistema e o algoritmo operam através dos seguintes componentes:

1. Sistema de Imagem Ativa

Os autores desenvolveram uma plataforma robótica móvel consistindo de:

• Uma base móvel de quatro rodas (AgileX Ranger Mini V2).
• Um braço robótico (AgileX Piper) montado com uma câmera RGB-NIR alinhada por pixel (JAI FS-1600) e um flash NIR sincronizado (Advanced Illumination AL295).
• Operação: O sistema escaneia objetos autonomamente movendo a base em uma trajetória circular e variando a elevação do braço. Ele captura imagens de Alta Faixa Dinâmica (HDR) com e sem o flash NIR.
• Processamento de Dados: A imagem apenas do flash NIR ($I_{NIR}$) é isolada subtraindo a imagem NIR apenas ambiente ($I_{NIR-off}$) da imagem com flash ligado ($I_{NIR-on}$). Máscaras de objeto são geradas usando SAM3, e as poses da câmera são estimadas via COLMAP.

2. Pipeline de Renderização Inversa em Três Estágios

O processo de reconstrução é dividido em três estágios sequenciais para garantir robustez:

• Estágio 1: Inicialização da Geometria

  • Usa imagens RGB ambientais multivista para inicializar a geometria da cena.
  • Emprega Gaussian Splatting 2D para representar a cena, otimizando parâmetros geométricos (centro, escala, rotação, opacidade) e radiância dependente da vista.
  • Os parâmetros de radiância são descartados após este estágio; apenas a estrutura geométrica é retida.

• Estágio 2: Renderização Inversa com Flash NIR (A Inovação Central)

  • Usa imagens de flash NIR multivista para refinar a geometria e estimar a refletância NIR.
  • Como o flash NIR domina a cena, o sombreamento é estável e robusto a variações ambientais.
  • Modelagem: A refletância NIR é modelada usando uma formulação de BRDF baseada em bases (soma ponderada de BRDFs Disney). O sistema otimiza o albedo difuso NIR, a rugosidade e os parâmetros metálicos para cada Gaussiana.
  • Transferência Espectral Cruzada: Os parâmetros estimados de rugosidade e metalidade são assumidos como independentes do comprimento de onda (propriedades de micro-geometria e tipo de material). Estes são compartilhados com o estágio RGB subsequente para restringir o espaço de soluções.

• Estágio 3: Renderização Inversa do Ambiente RGB

  • Recupera o albedo difuso RGB e o mapa de ambiente RGB usando as imagens RGB ambientais multivista.
  • Geometria, rugosidade e parâmetros metálicos são fixados a partir do Estágio 2.
  • Renderização: Usa uma integração Monte Carlo baseada em física com Amostragem de Importância Múltipla (MIS) para resolver a equação de renderização, separando a iluminação direta do ambiente da iluminação indireta.
  • Regularização: Um termo de perda específico sensível a bordas usa o albedo NIR livre de sombras para guiar a estimativa do albedo RGB, impedindo que sombras sejam "assadas" na textura difusa.

Contribuições Principais

1. Estrutura Robusta ao Ambiente: Um método de renderização inversa RGB-NIR em três estágios que utiliza flash NIR ativo para desacoplar a estimativa de geometria e refletância da iluminação ambiente não controlada.
2. Sistema de Imagem Ativa Automatizado: Uma plataforma robótica móvel capaz de captura multivista densa e centrada no objeto de dados RGB-NIR sincronizados sem perturbar o ambiente ou os observadores.
3. Conjunto de Dados de Renderização Inversa RGB-NIR: O primeiro conjunto de dados deste tipo, contendo imagens RGB-NIR multivista (com e sem flash) capturadas sob múltiplas condições de iluminação ambiente para cenas do mundo real e sintéticas.

Resultados e Avaliação

O método foi avaliado em conjuntos de dados sintéticos (Mitsuba 3) e do mundo real em diversos ambientes de iluminação.

• Desempenho Quantitativo: O método proposto supera significativamente os métodos passivos RGB de última geração (por exemplo, NeILF, TensoIR, GS-IR, R3DG, IRGS) e métodos ativos RGB (por exemplo, WildLight) em termos de PSNR, SSIM, LPIPS e erro geométrico (RMSE, MAE).
• Robustez ao Ambiente: O sistema produz estimativas consistentes de refletância e mapa de ambiente em quatro condições de iluminação diferentes, tanto internas quanto externas, enquanto os métodos passivos falham em desvendar a iluminação das propriedades do material.
• Reiluminação: Os ativos PBR reconstruídos permitem reiluminação realista sob configurações de iluminação novas, demonstrando realces especulares naturais e sombreamento.
• Estudos de Ablação:
  • Remover o estágio de flash NIR (Estágio 2) leva a uma queda substancial na precisão, confirmando a necessidade de sombreamento de luz pontual NIR controlado.
  • O método permanece robusto através de diferentes tipos de material (difuso, especular, metálico) e complexidades de cena (múltiplos objetos).

Significado e Alegações

O artigo alega abordar a limitação crítica da sensibilidade ao ambiente na renderização inversa. Ao explorar a imperceptibilidade da luz NIR, os autores demonstram que é possível alcançar reconstrução de cena precisa, automática e robusta em ambientes cotidianos sem a necessidade de salas escuras ou iluminação visível intrusiva. O trabalho estabelece um novo marco de referência para renderização inversa sob iluminação não controlada e fornece a infraestrutura de hardware e conjunto de dados necessária para avançar o campo. Os autores posicionam isso como um passo em direção à reconstrução de cena prática, automática e robusta para aplicações do mundo real.