Resumo Técnico: ReLi3D – Reconstrução 3D Multi-Visão Relightable com Iluminação Desacoplada

1. O Problema

A reconstrução de ativos 3D prontos para produção a partir de imagens enfrenta desafios significativos. Abordagens existentes geralmente exigem pipelines separados para:

1. Reconstrução de geometria.
2. Estimativa de materiais.
3. Recuperação de iluminação.

Esses métodos tradicionais possuem limitações distintas e alto custo computacional. Especificamente, a separação (desacoplamento) entre propriedades do material e efeitos de iluminação é um problema fundamentalmente mal posto (ill-posed) para métodos de imagem única, pois a mesma aparência 2D pode resultar de infinitas combinações de refletância da superfície e iluminação. Abordagens baseadas em otimização (como Inverse Rendering) são lentas e exigem imagens densas, enquanto modelos de geração (como Diffusion) podem ser lentos e sofrer de alucinações geométricas. Além disso, muitos modelos de reconstrução direta (Large Reconstruction Models - LRMs) atuais falham em prever materiais que variam espacialmente (SV-PBR) ou estimam a iluminação do ambiente, limitando a capacidade de relighting (re-iluminação) realista.

2. Metodologia

O ReLi3D apresenta o primeiro pipeline unificado e feed-forward (end-to-end) que reconstrói geometria completa, materiais físicos (PBR) variáveis espacialmente e iluminação de ambiente (HDR) a partir de imagens multi-visão esparsas em menos de um segundo.

Arquitetura Principal

O núcleo da abordagem é uma arquitetura de duas vias alimentada por uma fusão de múltiplas visões:

1. Fusão Cross-View (Cross-Conditioning Transformer):

   • Utiliza um Transformer compartilhado que ingere um número arbitrário de imagens de entrada (máscaras + imagens).
   • Um "Hero View" (visão principal) atua como o fluxo de consulta (query), enquanto outras visões são fundidas em tokens latentes para criar um contexto rico.
   • Isso gera um Triplane Unificado (representação 3D eficiente) que garante consistência entre as visões, servindo como base para o desacoplamento material-iluminação.

2. Caminho de Geometria e Aparência (Geometry & Appearance Path):

   • Opera sobre o Triplane unificado.
   • Prevê a estrutura da malha (usando Flexicubes) e os parâmetros de materiais PBR variáveis espacialmente: Albedo (cor base), Roughness (rugosidade), Metallic (metalicidade) e mapas de normais (normal bumps).
   • Utiliza cabeças MLP específicas para cada propriedade a partir do mesmo embedding compartilhado.

3. Caminho de Iluminação (Illumination Path):

   • Opera em paralelo para estimar o mapa de ambiente HDR.
   • Utiliza uma extensão do modelo RENI++ (uma representação latente compacta para iluminação natural).
   • Inovação Chave: Emprega um mecanismo de máscara estocástica durante o treinamento. Em algumas iterações, o fundo é mascarado, forçando a rede a inferir a iluminação apenas a partir de reflexos e sombras no objeto. Isso torna o modelo robusto a cenários reais onde o fundo pode estar cortado, saturado ou ausente.

4. Treinamento via Monte Carlo + MIS:

   • Um renderizador físico diferenciável baseado em Monte Carlo (MC) com Amostragem de Importância Múltipla (MIS) conecta os dois caminhos.
   • Isso força a rede a aprender que os materiais e a iluminação previstos devem explicar fisicamente as imagens observadas, garantindo o desacoplamento correto sem depender exclusivamente de ground truth de materiais.

Protocolo de Treinamento Híbrido

O modelo é treinado em um conjunto de dados misto (mixed-domain):

• Dados Sintéticos PBR: Com supervisão completa de materiais e iluminação.
• Dados Reais (UCO3D): Apenas RGB, utilizando supervisão auto-supervisionada no espaço da imagem.
  Essa combinação permite a generalização para o mundo real, preenchendo a lacuna entre dados controlados e capturas do mundo real.

3. Principais Contribuições

1. Desacoplamento Material-Iluminação via Restrições Multi-Visão: Demonstra que a consistência geométrica entre múltiplas visões fornece as restrições necessárias para resolver a ambiguidade inerente à separação de materiais e luz, algo impossível de fazer com alta fidelidade em visão única.
2. Arquitetura Unificada de Duas Vias: A primeira abordagem feed-forward que prediz simultaneamente malha texturizada com materiais SV-PBR e um ambiente HDR coerente.
3. Treinamento com Renderizador Diferenciável MC+MIS: Um pipeline de treinamento que utiliza renderização física real para garantir que o desacoplamento seja fisicamente plausível, permitindo treinamento em dados mistos (sintéticos e reais).
4. Velocidade e Qualidade: Gera ativos 3D completos e relightable em ~0.3 segundos, superando em velocidade métodos baseados em difusão (que levam minutos ou horas) e em qualidade de materiais métodos de reconstrução direta existentes.

4. Resultados e Desempenho

Os experimentos foram realizados em conjuntos de dados sintéticos (GSO, Stanford ORB) e reais (UCO3D, Polyhaven), comparando com SOTA como SF3D, SPAR3D, 3DTopia-XL e Hunyuan3D.

• Qualidade de Materiais (PBR): O ReLi3D superou todos os concorrentes em métricas de reconstrução de materiais.
  • Albedo: 25.00 dB PSNR (vs 18.42 dB do SF3D).
  • Roughness: 22.69 dB PSNR.
  • Metallic: 32.73 dB.
  • A qualidade aumenta significativamente com o número de visões de entrada.
• Re-iluminação (Relighting): Ao testar a reconstrução em ambientes HDR novos (fora da distribuição de treinamento), o ReLi3D obteve os melhores resultados, demonstrando que a decomposição de materiais generaliza bem para novas condições de luz.
• Estimativa de Iluminação: Capaz de recuperar a cor do céu e a direção do sol corretamente, mesmo com uma única visão, e refinar a direção da luz com múltiplas visões, superando métodos que produzem mapas de iluminação suavizados e sem fontes claras.
• Geometria: Embora o foco principal seja o material, a reconstrução geométrica é competitiva e rápida (0.3s), superando métodos de difusão que são 100x mais lentos.
• Robustez: Funciona bem em dados reais com máscaras imperfeitas, desfoque de movimento e iluminação complexa, graças ao treinamento misto e à fusão multi-visão.

5. Significado e Impacto

O ReLi3D representa um avanço fundamental na visão computacional 3D ao resolver o problema de longo prazo do desacoplamento de iluminação e materiais em tempo real.

• Aplicabilidade Industrial: Permite a criação de ativos 3D "prontos para produção" (com materiais físicos corretos) a partir de fotos casuais, eliminando a necessidade de pipelines manuais complexos.
• Eficiência: A capacidade de gerar ativos relightable em menos de um segundo abre portas para aplicações em tempo real, como realidade aumentada, robótica e design interativo.
• Generalização: A abordagem de treinamento misto (sintético + real) oferece um novo paradigma para treinar modelos robustos que funcionam no "mundo real" sem depender exclusivamente de dados sintéticos perfeitos.

O código, pesos pré-treinados e scripts de geração de dados foram liberados publicamente para fomentar a adoção e a pesquisa futura.