Resumo Técnico: InvSplat: Inverse Feed-Forward Scene Splatting

Declaração do Problema

A renderização inversa visa recuperar a geometria 3D e a refletância de superfície fisicamente significativa a partir de imagens, um pré-requisito para aplicações como reluminação, edição de materiais e inserção de conteúdo de AR/VR realista. Métodos existentes enfrentam um compromisso entre eficiência, interpretabilidade física e consistência multivista:

• Abordagens baseadas em otimização (ex: IRIS) alcançam alta fidelidade, mas exigem um ajuste por cena computacionalmente caro, limitando a utilidade prática.
• Abordagens baseadas em aprendizado (ex: DiffusionRenderer, MVInverse) oferecem inferência mais rápida, mas operam predominantemente no espaço da imagem. Elas carecem de representações de cena 3D explícitas, levando a inconsistências multivista e à incapacidade de suportar síntese de novos olhares robusta ou edição fisicamente fundamentada.
• Métodos de reconstrução 3D feed-forward (ex: pixelSplat, MVSplat) geram representações 3D explícitas (como 3D Gaussians) de forma eficiente, mas focam na síntese da aparência RGB em vez de desagregar propriedades intrínsecas de material (albedo, metalicidade, rugosidade). Eles frequentemente falham em reproduzir brilhos especulares nítidos ou permitir reluminação explícita.

Metodologia

O InvSplat introduz um framework feed-forward que prevê diretamente uma representação de Gaussian 3D estruturada com atributos de material intrínsecos a partir de imagens multivista posicionadas em uma única passagem direta (forward pass).

Representação de Cena

A cena é representada por $M$ primitivas de Gaussian 3D. Diferente do 3DGS padrão que utiliza harmônicos esféricos para aparência, cada Gaussian $j$ no InvSplat é parametrizada por:

• Geometria: Média ($\mu_j$), Rotação ($q_j$), Escala ($s_j$), Opacidade ($\sigma_j$) e Normal de Superfície ($n_j$).
• Materiais Intrínsecos: Albedo Difuso ($a_j$), Metalicidade ($m_j$) e Rugosidade ($r_j$).

Isso permite uma representação desagregada e fisicamente fundamentada, onde a iluminação é separada das propriedades do material.

Arquitetura

O modelo emprega uma rede feed-forward de dois ramos:

1. Ramo de Geometria: Inspirado no ReSplat, utiliza um backbone ResNet para extrair características multiescala. Um Codificador de Geometria Multivista (transformer) agrega informações entre visões, seguido por um módulo de Correspondência de Características Multivista que constrói um volume de custo de candidato de profundidade.
2. Ramo Intrínseco: Utiliza um backbone DINOv2 ViT-L/14 para codificar as visões de entrada. Um Tradutor Intrínseco Multivista (um transformer de 36 blocos) refina essas características através de autoatenção intra-visão e inter-visão para extrair características intrínsecas cross-view.
3. Cabeças de Decodificação: As características de ambos os ramos são processadas por seis cabeças de decodificação:
   • Profundidade: Estimada via uma cabeça DPT usando características combinadas.
   • Parâmetros de Gaussian: Rotação, escala e opacidade são refinados usando um Point Transformer que eleva características 2D para o contexto 3D com base na profundidade prevista.
   • Materiais e Normais: Albedo, metalicidade, rugosidade e normais são previstos via cabeças DPT. A previsão de albedo inclui conexões de salto (skip connections) para pistas de imagem de maior resolução.
4. Desprojeção e Renderização: Mapas de profundidade previstos são desprojetados para 3D para formar centros de Gaussian. A cena é renderizada usando um rasterizador de Gaussian diferenciável para produzir mapas de albedo, metalicidade, rugosidade, normal e profundidade.

Treinamento

O modelo é treinado no dataset InteriorVerse usando uma combinação de perdas pixel-wise e perceptuais:

• Supervisão de Material: Perdas $L_1$ e LPIPS para albedo, metalicidade e rugosidade.
• Supervisão de Profundidade: Uma perda invariante de afinidade (inspirada em MoGe) para lidar com a ambiguidade de escala.
• Supervisão de Normal: Perda de similaridade de cosseno.
  O treinamento otimiza conjuntamente o codificador de geometria, o tradutor intrínseco e as cabeças de decodificação.

Principais Contribuições

1. Primeiro Framework de Renderização Inversa Feed-Forward: O InvSplat é o primeiro método a prever primitivas de Gaussian 3D fisicamente baseadas com parâmetros de material intrínsecos a partir de imagens multivista em uma única passagem direta, eliminando a necessidade de otimização por cena.
2. Representação 3D Unificada: Ao integrar priors de modelos de estimativa de material baseados em imagem e de reconstrução 3D, ele produz propriedades de material 3D de alta qualidade com forte generalização para dados do mundo real.
3. Habilitação de Relighting e NVS Consistente: A representação de Gaussian 3D desagregada suporta síntese de novos olhares com materiais decompostos, permitindo reluminação fisicamente baseada e modelagem de efeitos dependentes de visão que são consistentes entre os pontos de vista.

Resultados

Experimentos foram conduzidos em datasets sintéticos (InteriorVerse, Structured3D) e do mundo real (RealEstate10K, DL3DV).

• Desempenho Quantitativo: No conjunto de teste InteriorVerse, o InvSplat atinge desempenho comparável aos baselines 2D (como MVInverse) em termos de PSNR, SSIM e LPIPS para albedo e normais, enquanto fornece uma representação 3D explícita.
• Consistência Multivista: No dataset Structured3D, o InvSplat demonstra superior consistência cross-view (menor RMSE de reprojeção) comparado a métodos 2D, particularmente para atributos desafiadores como metalicidade e rugosidade.
• Resultados Qualitativos: Visualizações mostram que o InvSplat evita "assar" (bake) reflexos no albedo, produzindo detalhes mais finos e previsões mais consistentes entre as visões comparado aos baselines 2D, que frequentemente exibem deriva ao redor de superfícies reflexivas.
• Eficiência: O método atinge a reconstrução em aproximadamente 1,5 segundos, permitendo a renderização em tempo real.

Significância

O artigo afirma que o InvSplat preenche a lacuna entre a inferência feed-forward eficiente e a renderização inversa de alta fidelidade. Ao mover-se de previsões no espaço da imagem para uma representação de Gaussian 3D explícita com parâmetros intrínsecos, o método supera os problemas de inconsistência multivista de abordagens anteriores baseadas em aprendizado e os gargalos computacionais de métodos baseados em otimização. Isso possibilita a decomposição instantânea de cenas, facilitando aplicações downstream como relighting e edição de materiais que eram anteriormente difíceis de alcançar com modelos feed-forward.