Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

Declaração do Problema
A renderização diferenciável tornou-se um pilar para a reconstrução 3D e síntese de novos visores, mas os métodos de estado da arte dependem predominantemente de representações não baseadas em malhas (ex: campos de radiação neural, Gaussian splatting 3D) ou de renderizadores diferenciáveis especializados. Embora as malhas de superfície 3D sejam o padrão da indústria para portabilidade, aceleração de hardware e fluxos de trabalho gráficos subsequentes, as técnicas existentes de renderização de malhas diferenciáveis são amplamente limitadas a cenas centradas em objetos. Elas frequentemente exigem máscaras de primeiro plano-fundo, lutam com ambientes do mundo real ilimitados e tipicamente dependem de implementações customizadas em CUDA ou estimativa de gradiente estocástico para lidar com a não-diferenciabilidade de rasterizadores padrão. Consequentemente, não existe um método que alcance simultaneamente resultados fotorrealistas em cenas do mundo real e otimize diretamente uma representação de malha usando ferramentas gráficas convencionais.

Metodologia: Meshtryoshka
Os autores introduzem o Meshtryoshka, um framework de renderização diferenciável que otimiza uma representação de malha 3D de cenas do mundo real e ilimitadas usando um rasterizador de triângulos padrão, não-diferenciável. A inovação central reside no desacoplamento da otimização das posições dos vértices do processo de rasterização.

1. Parametrização da Cena e Extração de Malha:
   A cena é representada por uma grade esparsa de valores de função de distância com sinal (SDF) e coeficientes de harmônicos esféricos para cor dependente de visão. Durante cada etapa de otimização, o método extrai múltiplas camadas de nível (iso-superfícies) do SDF usando uma implementação diferenciável do algoritmo Marching Cubes. Isso produz uma "Matryoshka" de camadas de malha de triângulos aninhadas e não interceptantes. Cada vértice nessas camadas recebe um valor de distância com sinal e coeficientes de harmônicos esféricos via pesos de interpolação derivados do processo de Marching Cubes.

2. Rasterização Não-Diferenciável e Renderização Diferida:
   Em vez de implementar um traçador de raios diferenciável customizado, o método rasteriza cada camada de malha independentemente, usando um rasterizador padrão e não-diferenciável. O rasterizador gera IDs de triângulos por pixel e coordenadas baricêntricas. Estas são usadas para realizar a interpolação diferenciável dos valores de SDF por vértice e dos coeficientes de harmônicos esféricos no espaço da imagem, mimetizando efetivamente um shader de fragmento.
   Para aproximar a renderização volumétrica, o método atribui valores de transmitância específicos ($T_i$) a cada camada. A camada mais interna é configurada com transmitância próxima de zero (opaca), garantindo que ela oclua todas as camadas subsequentes. A imagem final é construída pela composição alfa das camadas renderizadas. Os gradientes fluem do erro de renderização de volta através do processo de composição alfa e do passo de interpolação para atualizar os parâmetros subjacentes de SDF e cor, otimizando indiretamente a geometria da malha.

3. Escalabilidade para Cenas Ilimitadas:
   Para lidar com cenas do mundo real e ilimitadas, os autores empregam diversas estratégias:

• Esparsidade: Uma implementação esparsa de Marching Cubes é utilizada, armazenando parâmetros apenas para voxels ativos e auxiliares, reduzindo drasticamente o uso de memória em comparação com grades densas.
• Otimização Coarse-to-Fine: A grade é inicializada em baixa resolução e progressivamente subdividida, podando o espaço vazio e refinando a geometria apenas onde necessário.
• Grades Não-Cúbicas: A cena é dividida em um primeiro plano (cubo alinhado aos eixos) e um fundo. O fundo é modelado usando seis frustums truncados com vértices escalonados exponencialmente. Isso permite a alocação eficiente de resolução, posicionando menos parâmetros em regiões distantes enquanto mantém os aspectos de voxel adequados para o Marching Cubes.

4. Regularização:
   Para garantir uma otimização estável, o método emprega uma perda de suavidade Laplaciana nos valores de SDF (em vez de uma perda Eikonal, que pode causar artefatos de padrão quadriculado em grades explícitas) e uma penalidade L1 para incentivar a esparsidade em regiões não observadas. Adicionalmente, a taxa de aprendizado para componentes de harmônicos esféricos não-DC é reduzida para evitar que o modelo "trapaceie" a geometria para ajustar visões específicas.

Principais Contribuições

• Um Novo Framework: O Meshtryoshka é o primeiro método de renderização de malha diferenciável capaz de reconstruir cenas 3D ilimitadas do mundo real sem exigir máscaras de primeiro plano.
• Compatibilidade com Ferramentas Padrão: O método demonstra que a renderização diferenciável de alta qualidade é possível usando rasterizadores não-diferenciáveis prontos para uso, eliminando a necessidade de renderizadores diferenciáveis customizados ou estimadores de gradiente estocástico.
• Implementações de Alto Desempenho: Os autores contribuem com implementações otimizadas de algoritmos clássicos de computação gráfica, incluindo um algoritmo de Marching Cubes esparso e um rasterizador de triângulos via software capaz de renderizar mais de 100 milhões de triângulos simultaneamente.
• Otimização Direta de Malha: Ao contrário de métodos que extraem malhas post-hoc de representações volumétricas, o Meshtryoshka otimiza diretamente a representação de malha, garantindo que a qualidade da etapa de otimização corresponda à renderização da malha final.

Resultados
O método foi avaliado nos datasets NeRF-Synthetic (centrado em objeto) e Mip-Nerf 360 (mundo real).

• Cenas Centradas em Objetos: No NeRF-Synthetic, o Meshtryoshka performa de forma competitiva com métodos de renderização de superfície diferenciável de estado da arte como o NeuS2 e supera métodos anteriores baseados em malha (nvdiffrec com DMTet/FlexiCubes) sem exigir máscaras de visibilidade.
• Cenas do Mundo Real: No Mip-NeRF 360, o método reconstrói com sucesso cenas desafiadoras e ilimitadas com alta qualidade visual, capturando detalhes finos como raios de bicicleta e folhas de árvores. Embora fique ligeiramente atrás de métodos de topo não baseados em malha, como Zip-NeRF e 3D Gaussian Splatting, em métricas quantitativas (PSNR), ele supera significativamente as abordagens anteriores baseadas em malha, que falharam em produzir reconstruções coerentes nestes cenários.
• Estudos de Ablação: Experimentos confirmam a necessidade do posicionamento exponencial de vértices, esparsidade, regularizadores e do uso de múltiplas camadas para alcançar resultados de alta qualidade.

Significância e Alegações
O artigo postula que o Meshtryoshka sugere um novo caminho para a renderização diferenciável: pode ser possível alcançar reconstrução 3D competitiva e síntese de novos visores baseando-se inteiramente na pilha convencional de renderização de computação gráfica (rasterizadores padrão e representações de malha), em vez de renderizadores diferenciáveis especializados ou primitivas não-baseadas em malha. Os autores alegam que seu trabalho preenche a lacuna entre a portabilidade das malhas e o desempenho da renderização diferenciável moderna, permitindo a otimização direta de malhas para o mundo real. No entanto, os autores mantêm-se modestos quanto às limitações, reconhecendo que seu método atualmente produz mais triângulos do que abordagens baseadas em primitivas, possui tempos de treinamento mais lentos que métodos rápidos de NeRF/Gaussian e pode ocasionalmente gerar artefatos de "floaters" em regiões esparsamente observadas.