Mixed Neural Rendering: Interactive Mixed Reality Capture and Curation for Neural 3D Reconstruction

Resumo Técnico: Mixed Neural Rendering (MiNeR)

Definição do Problema
Métodos de renderização neural (NR), como Neural Radiance Fields (NeRF) e 3D Gaussian Splatting (3DGS), demonstraram a capacidade de gerar novas visualizações fotorrealistas e reconstruções 3D a partir de imagens capturadas casualmente. No entanto, sua confiabilidade prática depende fortemente da qualidade da aquisição, especificamente de uma cobertura multi-view suficiente e poses de câmera precisas. Tradicionalmente, esses requisitos são atendidos por meio de pipelines de Structure-from-Motion (SfM) offline (ex: COLMAP). Essa abordagem introduz limitações significativas: é computacionalmente cara, frágil a capturas imperfeitas (ex: baixa textura, desfoque de movimento, sobreposição limitada) e frequentemente falha apenas após a sessão de captura ser concluída. Consequentemente, os usuários carecem da capacidade de inspecionar a qualidade dos dados, identificar lacunas de cobertura ou curar conjuntos de dados durante o processo de aquisição, levando a esforços desperdiçados e reconstruções falhas.

Metodologia: O Pipeline MiNeR
Os autores apresentam o Mixed Neural Rendering (MiNeR), um pipeline de captura-para-reconstrução de Realidade Mista (MR) projetado para integrar aquisição, inspeção, curadoria e validação em um único fluxo de trabalho interativo. O sistema utiliza um Microsoft HoloLens 2 tanto como dispositivo de sensoriamento quanto como interface imersiva.

O pipeline opera através de uma arquitetura cliente-servidor:

1. Cliente de MR (Aquisição & Curadoria): O usuário captura imagens RGB enquanto o headset rastreia poses 6-DoF via SLAM visual-inercial. Diferente dos fluxos de trabalho tradicionais, o MiNeR fornece feedback em tempo real e in-situ ao renderizar os pontos de vista capturados como "proxies de câmera espacial" ancorados no ambiente físico. Isso permite que os usuários visualizem a distribuição de cobertura, identifiquem ângulos ausentes e interajam para remover quadros borrados ou redundantes. Os usuários também podem realizar recapturas direcionadas dentro da mesma sessão.
2. Segmentação Promptável: Para suportar a reconstrução centrada em objetos, o sistema integra o SAM 2 (Segment Anything Model 2). Os usuários fornecem uma única anotação em um quadro representativo, e o modelo propaga as máscaras de primeiro plano através de toda a sequência, isolando o objeto de interesse do ruído de fundo.
3. Servidor (Processamento & Reconstrução): O servidor ingere o conjunto de dados curado e suporta um design experimental fatorizado e controlado ($2 \times 2 \times 2$) variando três fatores binários:
   • Mascaramento (Masking): Desligado (imagens brutas) vs. Ligado (máscaras de primeiro plano do SAM 2).
   • Fonte de Pose (Pose Source): Poses de SfM baseadas em COLMAP vs. Poses diretas do headset via SLAM.
   • Representação Neural: NeRF (NeRFacto) vs. 3D Gaussian Splatting (Splatfacto).
     O sistema inclui uma camada de transformação de coordenadas para alinhar as poses nativas do Unity do headset com as convenções OpenGL/Blender usadas pelo Nerfstudio.

Principais Contribuições

1. Sistema MiNeR: Um pipeline guiado por MR que transforma fragmentos visuais situados em ativos neurais espacialmente fundamentados, mantendo o operador explicitamente no ciclo durante a aquisição de dados.
2. Fluxo de Trabalho Interativo: Uma interface unificada para capturar, inspecionar e curar conjuntos de dados no espaço 3D, permitendo a remoção e substituição de visualizações antes da reconstrução.
3. Interoperabilidade de Pose: Um framework que permite que a mesma sessão capturada seja processada com poses de alta fidelidade via SfM ou poses diretas de sensores livres de SfM, facilitando uma comparação direta de caminhos de reconstrução.
4. Integração de Segmentação Promptável: A incorporação de segmentação de disparo único e multi-view para permitir treinamento focado no primeiro plano e comparações controladas de mascarado/não mascarado.
5. Avaliação Técnica: Um estudo controlado em um conjunto de dados de nove objetos do mundo real para quantificar as trocas entre precisão de pose, segmentação e paradigmas de renderização.

Resultos Experimentais
Os autores avaliaram o sistema em um conjunto de dados de nove sequências de objetos de interior (ex: móveis, eletrônicos, itens pessoais) capturadas com o HoloLens 2.

• Impacto da Fonte de Pose: Quando o SfM (COLMAP) tem sucesso, ele produz a maior fidelidade de reconstrução. No entanto, o COLMAP falhou em convergir em 44% das sequências (5/9 sucessos), enquanto o caminho de pose direta do headset teve sucesso em 100% das sequências. As poses diretas servem como um fallback robusto e livre de SfM, embora exibam menor fidelidade devido ao drift de SLAM e inconsistências de escala.
• Impacto da Segmentação: O uso de máscara do SAM 2 melhorou significativamente a qualidade da reconstrução em todas as configurações. Para 3DGS com poses de COLMAP, o mascaramento aumentou o PSNR em +12,37 dB (de 19,41 para 31,78 dB). Mesmo com poses diretas, o mascaramento proporcionou ganhos substanciais (ex: +10,04 dB para 3DGS), indicando que o isolamento do primeiro plano mitiga o ruído de otimização induzido pelo fundo.
• Paradigma de Renderização: O 3D Gaussian Splatting (3DGS) superou consistentemente o NeRF em termos de PSNR, SSIM e LPIPS em ambas as fontes de pose e condições de mascaramento. A melhor configuração geral (COLMAP + SAM + 3DGS) alcançou 31,78 dB de PSNR, 0,964 SSIM e 0,050 LPIPS.
• Eficiência: Configurações de pose direta reduziram o tempo de ponta a ponta ao ignorar a etapa de pré-processamento intensiva de SfM.

Significância e Alegações
O artigo posiciona o MiNeR como uma solução para o "gap de captura-reconstrução" em sistemas de memória XR. Os autores alegam que, ao tornar a qualidade da captura visível e acionável durante a aquisição, o MiNeR transforma experiências visuais casuais em ativos neurais reutilizáveis.

O estudo conclui que, embora o SfM clássico continue sendo o padrão ouro para máxima fidelidade quando as condições são favoráveis, ele é frágil em cenários do mundo real. O MiNeR oferece uma estratégia complementar: poses diretas do headset garantem a operabilidade quando o SfM falha, enquanto a segmentação promptável e o 3DGS maximizam a qualidade dentro dessas restrições. O sistema efetivamente une a divisão entre a aquisição de MR casual e o conteúdo espacial pronto para reconstrução, permitindo que os usuários inspecionem, validem e curam dados antes de se comprometerem com o processamento offline dispendioso.

Os autores explicitamente observam limitações, incluindo a pequena escala do conjunto de dados (nove objetos), a dependência de um único dispositivo de MR, a falta de uma verdade de campo geométrica externa e a ausência de um estudo com usuários para medir a carga cognitiva ou a eficiência da aquisição. Trabalhos futuros são propostos para expandir o conjunto de dados, testar diversos dispositivos e incluir métricas quantitativas de erro geométrico.