💻 computer science

NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

NeuMesh++ introduce un campo implícito basado en mallas neuronales versátil y eficiente que desvincula la geometría, la textura y los códigos semánticos en los vértices de la malla para permitir capacidades de edición 3D integrales, incluyendo la manipulación de geometría guiada, el intercambio y pintado de texturas, y las modificaciones guiadas por semántica.

Autores originales: Chong Bao, Yuan Li, Bangbang Yang, Yujun Shen, Hujun Bao, Zhaopeng Cui, Yinda Zhang, Guofeng Zhang

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chong Bao, Yuan Li, Bangbang Yang, Yujun Shen, Hujun Bao, Zhaopeng Cui, Yinda Zhang, Guofeng Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un holograma 3D mágico de un objeto, como un coche de Lego o un oso de peluche. En el pasado, si querías cambiar la forma de ese holograma (como doblar un brazo) o repintarlo (como ponerle gafas de sol al oso), tenías que usar una matemática muy compleja de "caja negra". No podías agarrar fácilmente una parte específica y moverla sin que todo el conjunto fallara, y no podías simplemente "pintar" sobre él como lo harías en un lienzo real.

El artículo NeuMesh++ presenta una nueva forma de construir estos hologramas 3D que los hace sentir más como un modelo 3D tradicional que puedes sostener en tus manos, pero con el aspecto de altísima calidad de una película generada por computadora.

Así es como funciona, utilizando analogías sencillas:

1. La idea del "Andamiaje"

Piensa en un objeto 3D como un esqueleto (una malla de alambre o wireframe) cubierto de carne y piel.

La forma antigua: Los métodos anteriores intentaban construir el objeto a partir de una "niebla" invisible o una gigantesca cuadrícula de píxeles 3D. Se veía genial, pero si intentabas doblar el brazo, la niebla se volvía desordenada y borrosa.
La forma de NeuMesh++: Este método construye el objeto sobre un andamiaje (una malla). Imagina un pájaro de alambre. La magia no está en el alambre en sí, sino en la "pintura inteligente" adherida a cada uno de los puntos (vértices) de ese alambre.

2. La "Pintura Inteligente" (Códigos Desacoplados)

En cada punto de la malla, el sistema almacena tres "diales" o "códigos" separados:

Código de Forma: Controla la geometría.
Código de Textura: Controla el color y el patrón.
Código Semántico: Una etiqueta que dice qué es esa parte (por ejemplo, "rueda", "ojo", "pelaje").

Debido a que estos están separados, puedes girar el dial de "Forma" sin alterar el dial de "Textura". Esto es como tener una escultura de arcilla donde puedes estirar la arcilla (forma) sin manchar la pintura (textura) que ya estaba sobre ella.

3. Los Superpoderes (Edición)

Debido a que el objeto está construido sobre este andamiaje inteligente, los autores muestran tres formas principales de editarlo:

Doblar la Malla (Edición de Geometría):
Si quieres doblar la cabeza de un micrófono, simplemente tomas la malla en un programa 3D y la doblas. Como la "pintura inteligente" está pegada al alambre, el holograma se dobla perfectamente con él. No se necesita un renderizado nuevo ni matemáticas compleas. Es como doblar un colgador de alambre, pero el colgador sigue siendo fotorrealista.
Intercambiar y Rellenar (Edición de Textura):
- Intercambiar: Imagina que tienes un conejo dorado y una lata plateada. Puedes tomar la "piel dorada" del conejo y pegarla en la lata. El sistema calcula cómo estirar el patrón dorado para que se ajuste perfectamente a la forma de la lata, manteniendo el texto de la lata nítido.
- Rellenar: Si quieres cubrir un punto específico de una estatua de Buda con "pelaje de oso de peluche", puedes seleccionar esa área y el sistema la rellenará con el patrón de pelaje, repitiéndolo de forma natural como un papel tapiz.
Pintar y Hacer Clic (La Magia de "Lo que Ves es lo que Obtienes"):
- Pintar: Puedes abrir una imagen 2D del objeto 3D y pintar un bigote en el oso de peluche con un pincel digital. El sistema sabe instantáneamente dónde va esa pintura en el objeto 3D en el espacio tridimensional. No solo esparce la pintura; la envuelve alrededor del objeto para que puedas ver el bigote desde cualquier ángulo.
- Hacer Clic: Esta es la parte más fácil. Si quieres cambiar el color de las "ruedas" de un coche, solo tienes que hacer clic en una rueda en una sola foto. El sistema encuentra automáticamente todas las ruedas en el mundo 3D (incluso las que están ocultas a la vista) y las cambia todas. Es como tener una varita mágica que entiende qué son las "ruedas" sin que tengas que dibujar un círculo alrededor de cada una de ellas.

4. ¿Por qué es esto mejor?

Los autores explican que los métodos anteriores eran como intentar editar una nube de humo; podías mover toda la nube, pero no podías moldear fácilmente un dedo específico o pintar un punto específico sin arruinar todo lo demás.

NeuMesh++ es como editar un títere digital.

Es rápido: Puede renderizar imágenes en tiempo real (como un videojuego).
Es preciso: Puedes editar detalles diminutos sin que se vuelvan borrosos.
Es fácil: No necesitas ser un genio de las matemáticas para hacer clic y pintar; el sistema se encarga de todo el trabajo pesado.

En resumen, el artículo presenta una nueva forma de crear mundos 3D que combina la apariencia de alta calidad de la IA moderna con las herramientas de edición intuitivas y fáciles que los artistas han utilizado durante décadas.

Resumen Técnico: NeuMesh++

Planteamiento del Problema

Si bien las técnicas de renderizado implícito neuronal (por ejemplo, NeRF) han logrado un éxito significativo en la síntesis de vistas novedosas y la reconstrucción de escenas 3D debido a su alta calidad de renderizado, se quedan cortas en los flujos de trabajo de modelado y edición 3D. Los métodos de renderizado neuronal existentes para la edición se limitan a transformaciones rígidas u operaciones específicas de una categoría. Carecen de la precisión y flexibilidad requeridas por los artistas, quienes prefieren flujos de trabajo basados en mallas (por ejemplo, en Blender o Maya) que permitan la deformación de geometría no rígida, la edición de textura fina (intercambio, relleno, pintura) y la manipulación semántica. Además, los métodos existentes suelen requerir anotaciones manuales extensas para una edición detallada y luchan con la distinguibilidad espacial local (por ejemplo, distinguir puntos dentro versus fuera de una cara de la malla) cuando se utiliza una simple interpolación en los vértices de la malla.

Metodología

Los autores proponen NeuMesh++, una novedosa representación de radiancia neuronal basada en mallas que codifica el campo implícito neuronal sobre un andamio de malla (mesh scaffold). Este enfoque cierra la brecha entre el renderizado neuronal volumétrico y el modelado tradicional basado en mallas.

Representación Central

La escena se descompone en un conjunto de campos de radiancia locales vinculados a los vértices. Cada vértice $v$ en el andamio de la malla almacena cuatro parámetros aprendibles distintos:

Código de Geometría ( $l_g$ ): Codifica la geometría local.
Código de Textura ( $l_t$ ): Codifica la apariencia local.
Código Semántico ( $l_s$ ): Codifica atributos semánticos.
Color de Modificación ( $c_m$ ): Un atributo de color independiente de la vista y libre de decodificador para mejorar la fidelidad de la edición de texturas.

Pipeline de Renderizado

Para un punto de consulta $x$ a lo largo de un rayo de cámara:

Parametrización de Espacio Local: El sistema identifica $K$ vértices de la malla más cercanos. En lugar de utilizar coordenadas globales, proyecta $x$ sobre la normal de cada vecino para calcular un indicador local $h_k = (p_k, w_k)$ , donde $p_k$ es la distancia de proyección y $w_k$ es la distancia inversa normalizada. Esto aborda el problema de la distinguibilidad espacial (dentro/fuera de la superficie) sin requerir campos de distancia con signo (SDF).
Decodificación: Los decodificadores de geometría y radiancia ( $F_G, F_R$ ) toman los códigos locales y los indicadores como entrada para predecir la densidad $\sigma_k$ y el color $c_k$ para cada vecino. El color final incluye el color de modificación: $c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$ .
Post-Interpolación: Una estrategia de interpolación espacial fusiona las contribuciones de los vértices vecinos para obtener la densidad $\sigma$ y el color $c$ finales en el punto $x$ . Esto crea un "campo de radiancia local" alrededor de cada vértice, agnóstico a la topología de la malla (incluyendo mallas no estancas o non-watertight).

Capacidades de Edición

La naturaleza desentrelazada de la representación permite varias funcionalidades de edición:

Edición de Geometría Guiada por Malla: Dado que el campo de radiancia está alineado con la malla, la deformación de los vértices de la malla (por ejemplo, mediante ARAP o simulación física) deforma directamente el objeto renderizado sin necesidad de reentrenamiento.
Intercambio de Texturas (Texture Swapping): Al alinear las mallas de origen y destino (usando Umeyama y ARAP), los códigos de textura y los colores de modificación se transfieren entre vértices basándose en la proximidad euclidiana.
Relleno de Textura (Texture Filling): Utiliza un enfoque basado en teselas en el espacio UV para repetir texturas de plantilla de un modelo capturado previamente sobre una región objetivo.
Pintura de Textura (Texture Painting): Los usuarios pintan en una vista 2D. Una estrategia de optimización consciente del espacio identifica los colores de modificación afectados mediante rayos de sondeo y ajusta finamente solo estos colores específicos, evitando el sobreajuste a una sola vista y preservando los efectos dependientes de la vista.
Edición Guiada por Semántica: Los códigos semánticos se destilan de la segmentación de vocabulario abierto 2D (por ejemplo, DINO, SAM). Un mecanismo de propagación transfiere el clic 2D de un usuario en una máscara semántica 3D, permitiendo la selección de regiones y la edición con un solo clic.

Contribuciones Clave

Nueva Representación Basada en Mallas: Un campo de radiancia neuronal codificado en los vértices de la malla con códigos desentrelazados de geometría, textura y semántica, lo que permite una integración fluida con los flujos de trabajo basados en mallas.
Mejoras Técnicas para Estabilidad y Fidelidad:
- Parametrización de Espacio Local: Un nuevo método que utiliza indicadores locales y post-interpolación para estabilizar el entrenamiento sin un modelo profesor preentrenado y mejorar la distinguibilidad espacial.
- Color de Modificación Aprendible: Un parámetro de color independiente de la vista en cada vértice que mejora la fidelidad de la edición de texturas, particularmente para colores fuera del espectro aprendido por el decodificador.
- Optimización Consciente del Espacio: Una estrategia para la pintura de texturas que ajusta finamente selectivamente los colores de modificación para mantener la consistencia entre vistas.
Propagación Semántica: Un mecanismo para agregar prioridades semánticas 2D en los códigos de vértices 3D, permitiendo la selección de regiones sin esfuerzo mediante la interacción de un solo clic.
Eficiencia: El método logra un renderizado en tiempo real (aprox. 15 fps) y una edición rápida (segundos para operaciones de geometría/textura) mediante el uso de códigos latentes compactos y muestreo guiado por ocupación.

Resultados

Se realizaron experimentos extensos en conjuntos de datos del mundo real (DTU) y sintéticos (NeRF 360°).

Calidad de Renderizado: NeuMesh++ supera a otros métodos de renderizado neuronal editable (NeuTex, NeuManifold, BakedSDF, NeuMesh) en PSNR, SSIM y LPIPS. Alcanza una calidad comparable a los métodos de vanguardia no editables como Neuralangelo y DVGO, ofreciendo al mismo tiempo capacidades de edición superiores.
Desempeño de Edición:
- Geometría: Demostró con éxito la deformación no rígida y la simulación física (por ejemplo, sillas rebotando, plantas balanceándose) sin necesidad de ajuste fino (fine-tuning).
- Textura: Mostró una preservación de detalles superior en el intercambio y relleno de texturas en comparación con NeuMesh, que a menudo producía resultados borrosos o distorsionados. El color de modificación permitió la pintura de alta fidelidad de nuevos colores (por ejemplo, verdes no saturados) que el decodificador estándar no podía generar.
- Semántica: Habilitó con éxito la selección de regiones 3D y la edición mediante un solo clic 2D.
Eficiencia: El método renderiza imágenes de 800x800 a ~~15 fps, significativamente más rápido que Neuralangelo (~~28s) y NeuMesh (~99s). Las operaciones de edición (deformación de geometría, intercambio/relleno de texturas, pintura) toman aproximadamente 1-2 segundos.

Significado

El artículo afirma que NeuMesh++ logra romper la barrera entre el renderizado neuronal volumétrico y el modelado 3D tradicional basado en mallas. Al codificar campos neuronales sobre un andamio de malla con códigos desentrelazados, ofrece un conjunto versátil de funcionalidades de edición (deformación de geometría, intercambio/relleno/pintura de texturas y edición semántica) que son tanto eficientes como de alta fidelidad. El método elimina la necesidad de anotaciones manuales extensas para la edición semántica y evita los problemas de convergencia subóptimos de las mallas implícitas anteriores al eliminar la dependencia de modelos profesores preentrenados. Los autores enfatizan que este enfoque proporciona un flujo de trabajo práctico y amigable para los artistas para editar escenas implícitas neuronales.