Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

Planteamiento del Problema
El renderizado diferenciable se ha convertido en una piedra angular para la reconstrucción 3D y la síntesis de vistas noveles, sin embargo, los métodos de vanguardia dependen predominantemente de representaciones no basadas en mallas (por ejemplo, campos de radiancia neuronal, splatting de Gaussianas 3D) o de renderizadores diferenciables especializados. Si bien las mallas de superficies 3D son el estándar de la industria por su portabilidad, aceleración de hardware y flujos de trabajo gráficos descendentes, las técnicas existentes de renderizado de mallas diferenciables están ampliamente limitadas a escenas centradas en objetos. A menudo requieren máscaras de primer plano-fondo, luchan con entornos del mundo real no acotados y típicamente dependen de implementaciones personalizadas de CUDA o de estimación de gradientes estocásticos para manejar la no diferenciabilidad de los rasterizadores estándar. En consecuencia, no existe un método que logre simultáneamente resultados fotorealistas en escenas del mundo real y optimice directamente una representación de malla utilizando herramientas gráficas convencionales.

Metodología: Meshtryoshka
Los autores presentan Meshtryoshka, un marco de renderizado diferenciable que optimiza una representación de malla 3D de escenas no acotadas del mundo real utilizando un rasterizador de triángulos convencional no diferenciable. La innovación central radica en desacoplar la optimización de las posiciones de los vértices del proceso de rasterización.

1. Parametrización de la Escena y Extracción de la Malla:
   La escena se representa mediante una cuadrícula dispersa de valores de función de distancia con signo (SDF) y coeficientes de armónicos esféricos para el color dependiente de la vista. Durante cada paso de optimización, el método extrae múltiples niveles de contorno (iso-superficies) de la SDF utilizando una implementación diferenciable del algoritmo de Marching Cubes. Esto produce una "Matrioshka" de capas de mallas triangulares anidadas y no intersectadas. A cada vértice en estas capas se le asigna un valor de distancia con signo y coeficientes de armónicos esféricos mediante pesos de interpolación derivados del proceso de Marching Cubes.

2. Rasterización No Diferenciable y Renderizado Diferido:
   En lugar de implementar un trazador de rayos diferenciable personalizado, el método rasteriza cada capa de la malla de forma independiente utilizando un rasterizador estándar no diferenciable. El rasterizador genera IDs de triángulos por píxel y coordenadas baricéntricas. Estos se utilizan para realizar una interpolación diferenciable de los valores de la SDF y los coefjos de armónicos esféricos por vértice en el espacio de la imagen, emulando efectivamente un fragment shader.
   Para aproximar el renderizado volumétrico, el método asigna valores de transmitancia específicos ($T_i$) a cada capa. La capa más interna se establece con una transmitancia cercana a cero (opaca), asegurando que ocluya todas las capas subsiguientes. La imagen final se construye mediante la composición alfa de las capas renderizadas. Los gradientes fluyen desde el error de renderizado hacia atrás a través del proceso de composición alfa y el paso de interpolación para actualizar la SDF subyacente y los parámetros de color, optimizando indirectamente la geometría de la malla.

3. Escalabilidad a Escenas No Acotadas:
   Para manejar escenas del mundo real no acotadas, los autores emplean varias estrategias:

• Dispersión: Se utiliza una implementación dispersa de Marching Cubes, almacenando parámetros solo para los vóxeles activos y de ayuda, lo que reduce drásticamente el uso de memoria en comparación con las cuadrículas densas.
• Optimización de Grueso a Fino: La cuadrícula se inicializa a baja resolución y se subdivide progresivamente, podando el espacio vacío y refinando la geometría solo donde es necesario.
• Cuadrículas No Cúbicas: La escena se divide en un primer plano (cubo alineado con los ejes) y un fondo. El fondo se modela utilizando seis frustos truncados con vértices escalados exponencialmente. Esto permite una asignación eficiente de la resolución, colocando menos parámetros en las regiones distantes mientras mantiene los aspectos de los vóxeles adecuados para Marching Cubes.

4. Regularización:
   Para asegurar una optimización estable, el método emplea una pérdida de suavidad Laplaciana en los valores de la SDF (en lugar de una pérdida Eikonal, que puede causar artefactos de tablero de ajedrez en cuadrículas explícitas) y una penalización L1 para fomentar la dispersión en regiones no observadas. Además, la tasa de aprendizaje para los componentes de armónicos esféricos que no son DC se reduce para evitar que el modelo "engañe" a la geometría para ajustarse a vistas específicas.

Contribuciones Clave

• Un Nuevo Marco de Trabajo: Meshtryoshka es el primer método de renderizado de mallas diferenciable capaz de reconstruir escenas 3D no acotadas del mundo real sin requerir máscaras de primer plano.
• Compatibilidad con Herramientas Estándar: El método demuestra que el renderizado diferenciable de alta calidad es posible utilizando rasterizadores no diferenciables convencionales, eliminando la necesidad de renderizadores diferenciables personalizados o estimadores de gradientes estocásticos.
• Implementaciones de Alto Rendimiento: Los autores contribuyen con implementaciones optimizadas de algoritmos gráficos clásicos, incluyendo un algoritmo de Marching Cubes disperso y un rasterizador de triángulos por software capaz de renderizar más de 100 millones de triángulos simultáneamente.
• Optimización Directa de la Malla: A diferencia de los métodos que extraen mallas post-hoc de representaciones volumétricas, Meshtryoshka optimiza directamente la representación de la malla, asegurando que la calidad de la etapa de optimización coincida con la del renderizado de la malla final.

Resultados
El método fue evaluado en los conjuntos de datos NeRF-Synthetic (centrado en objetos) y Mip-NeRF 360 (mundo real).

• Escenas Centradas en Objetos: En NeRF-Synthetic, Meshtryoshka se desempeña de manera competitiva con métodos de renderizado de superficie diferenciables de vanguardia como NeuS2 y supera a métodos previos basados en mallas (nvdiffrec con DMTet/FlexiCubes) sin requerir máscaras de visibilidad.
• Escenas del Mundo Real: En Mip-NeRF 360, el método reconstruye con éxito escenas no acotadas y desafiantes con alta calidad visual, capturando detalles finos como los radios de una bicicleta y las hojas de los árboles. Aunque queda ligeramente por detrás de métodos no basados en mallas de primer nivel como Zip-NeRF y 3-D Gaussian Splatting en métricas cuantitativas (PSNR), supera significativamente a los enfoques previos basados en mallas, que fallaron en producir reconstrucciones coherentes en estos entornos.
• Estudios de Ablación: Los experimentos confirman la necesidad del posicionamiento exponencial de los vértices, la dispersión, los regularizadores y el uso de múltiples capas para lograr resultados de alta calidad.

Significado y Reivindicaciones
El artículo plantea que Meshtryoshka sugiere un nuevo camino para el renderizado diferenciable: es posible lograr una reconstrucción 3D y síntesis de vistas noveles competitivas dependiendo enteramente de la pila de renderizado de gráficos por computadora convencional (rasterizadores estándar y representaciones de malla) en lugar de renderizadores diferenciables especializados o primitivas no basadas en mallas. Los autores afirman que su trabajo cierra la brecha entre la portabilidad de las mallas y el rendimiento de los métodos de renderizado diferenciable modernos, permitiendo la optimización directa de mallas para escenas del mundo real. Sin embargo, los autores mantienen la modestia respecto a las limitaciones, reconociendo que su método actualmente produce más triángulos que los enfoques basados en primitivas, tiene tiempos de entrenamiento más lentos que los métodos rápidos de NeRF/Gaussian y puede generar ocasionalmente artefactos de "flotadores" en regiones escasamente observadas.