💻 computer science

EditFlow3D: Automated Local Editing of 3D Assets with Trajectory Preservation

EditFlow3D es un marco de trabajo libre de entrenamiento que permite la edición local precisa y automatizada de activos 3D mediante el aprovechamiento de un flujo de trabajo impulsado por un VLM para generar máscaras y guía visual, mientras emplea un flujo diferencial guiado por máscara y preservación de trayectoria paso a paso para editar regiones objetivo sin comprometer la estructura y la apariencia de las áreas no objetivo.

Autores originales: Rui Nie, Chuang Wang, Haitao Zhou, Jiahe Song, Buyu Li, Sheng Wang, Qian Yu

Publicado 2026-08-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rui Nie, Chuang Wang, Haitao Zhou, Jiahe Song, Buyu Li, Sheng Wang, Qian Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una escultura de arcilla mágica que puedes remodelar con solo hablarle. Este es el sueño detrás de los modelos generativos 3D, una rama de la inteligencia artificial que construye objetos tridimensionales a partir de descripciones de texto o imágenes. Piensa en estos modelos como escultores digitales increíblemente hábiles, pero ligeramente torpes. Son excelentes para crear una estatua completamente nueva desde cero, pero si les pides que simplemente "cambien el sombrero" de una estatua existente sin arruinar la cara o los brazos, a menudo tienen dificultades. Podrían derretir toda la pieza, o accidentalmente pintar la nariz de la estatua de azul mientras intentan arreglar el sombrero.

El desafío central aquí es la edición local: realizar cambios precisos en una parte específica de un objeto 3D manteniendo todo lo demás exactamente igual. Es como intentar cambiar el motor de un coche sin desarmar todo el coche o cambiar accidentalmente el color de los neumáticos. Para hacer esto bien, una computadora necesita dos cosas: un mapa perfecto de dónde cambiar las cosas (una máscara) y una forma de realizar el cambio sin que la "magia" de la nueva instrucción se filtre accidentalmente en las partes que no deberían cambiar. Hasta ahora, obtener ese mapa perfecto de forma automática ha sido complicado, y mantener la estabilidad del resto del objeto ha sido incluso más difícil.

Entra en escena EditFlow3D, un nuevo método que actúa como un escultor digital superpreciso y libre de entrenamiento. En lugar de necesitar reaprender cómo esculpir cada vez (que es lo que suele significar "entrenamiento"), utiliza un asistente inteligente para entender exactamente qué quieres y dónde hacerlo. El sistema funciona en dos etapas principales. Primero, un "Modelo de Visión y Lenguaje" (un tipo de IA que entiende tanto imágenes como palabras) observa tu objeto 3D y tu instrucción (como "reemplaza la capa roja por alas de murciélago negras"). El modelo elige el mejor ángulo para mirar el objeto, dibuja una imagen de cómo debería verse el resultado y, crucialmente, dibuja un mapa 3D preciso (una máscara) de exactamente qué píxeles pertenecen a la capa y cuáles al resto de la estatua.

Una vez que el mapa está listo, ocurre la verdadera magia. El sistema utiliza una técnica llamada Guía de Flujo Diferencial (Differential Flow Guidance). Imagina que el objeto 3D es un río que fluye hacia una forma final. La IA calcula la diferencia entre cómo fluiría el río si fuera solo la estatua original frente a cómo fluiría si fuera la estatua con las nuevas alas. Luego, empuja el agua solo en la dirección de las alas, pero solo dentro del área marcada por la máscara de la capa. Esto asegura que el cambio ocurra exactamente donde lo deseas.

Sin embargo, hay un inconvenatorio: incluso si empujas el agua solo en el área de la capa, las ondas pueden a veces propagarse y sacudir el resto de la estatua. Para evitar esto, los autores introdujeron la Guía de Preservación de Trayectoria (Trajectory Preservation Guidance). Piensa en esto como una mano invisible y suave que mantiene estable el resto de la estatua. A medida que la IA construye las nuevas alas paso a paso, esta "mano" revisa constantemente las partes de la estatua que no deberían cambiar (como la cara o las piernas) y las devuelve suavemente a su forma original si comienzan a desviarse. A diferencia de los métodos anteriores que podrían simplemente congelar esas partes en su lugar (lo que puede causar bordes dentados o rotos), este método las guía suavemente, manteniendo la transición fluida y que todo el objeto luzca natural.

Los investigadores probaron este nuevo método en una gran variedad de tareas, desde añadir humo a la chimenea de un tren hasta reemplazar un pollo por un panda. Compararon el método con otros modelos de vanguardia y descubrieron que EditFlow3D era mucho mejor para alcanzar el área objetivo sin arruinar el resto del modelo. De hecho, en un estudio con usuarios de 40 personas, casi la mitad de los participantes prefirió los resultados de EditFlow3D sobre todos los demás métodos, elogiando su capacidad para seguir instrucciones con precisión mientras mantenía intacta la apariencia del objeto original. El artículo sugiere que, al combinar un inteligente "creador de mapas" con una "mano firme" que guía los cambios, finalmente podemos editar objetos 3D con la precisión de un cirujano y la facilidad de una conversación.

Resumen Técnico: EditFlow3D

Planteamiento del Problema

La edición controlada de activos 3D requiere una localización precisa del objetivo y una guía visual adecuada. Los métodos existentes enfrentan dos desafíos principales:

Adquisición de Máscaras: Existe una falta de un método simple pero preciso para obtener máscaras 3D para regiones específicas.
Preservación de Regiones: Los enfoques actuales luchan por lograr las ediciones deseadas preservando fielmente la estructura y apariencia de las regiones no objetivo. Los métodos suelen sufrir de degradación no deseada, inconsistencias entre vistas o artefactos en los bordes al modificar partes específicas de un activo.

Si bien los avances recientes en modelos generativos 3D permiten la creación de activos a partir de texto o imágenes, la modificación de activos existentes (por ejemplo, reemplazar componentes o eliminar geometría) requiere equilibrar la modificación del objetivo con la preservación de la fuente. Las máscaras espaciales por sí solas no pueden evitar que el condicionamiento del objetivo afecte a las regiones no objetivo, y el reemplazo directo de características puede romper la consistencia entre regiones.

Metodología

EditFlow3D es un marco de trabajo libre de entrenamiento (training-free) diseñado para la edición local precisa de activos 3D. Opera en el espacio de representación nativo de un modelo generativo 3D preentrenado (específicamente la familia TRELLIS) y consta de dos etapas principales:

1. Construcción de Control de Edición Automatizado Impulsado por VLM

Esta etapa convierte entradas de usuario flexibles (instrucciones de texto, imágenes de referencia opcionales y activos 3D de origen) en controles visuales y espaciales precisos.

Selección de Vista y Generación de Guía: Un Modelo de Lenguaje-Visión (VLM) analiza renderizados multi-vista del activo de origen para seleccionar la vista óptima ( $I_{src}$ ) que exponga la región objetivo. El VLM luego dirige a un modelo de edición de imágenes para generar una imagen de guía visual ( $I_{edit}$ ) que represente la modificación deseada.
Construcción de Máscara 3D:
- Descomposición Inicial: Se utiliza P3-SAM para descomponer el activo de origen en partes en el espacio 3D nativo.
- Refinamiento: Para abordar la fuga de regiones en las uniones de las partes, el sistema utiliza particiones jerárquicas de PartField y particiones de multi-granularidad de S2AM3D. Mapea estos resultados a puntos de superficie y selecciona partes candidatas basadas en la "pureza de traslape" contra la máscara inicial.
- Fusión: Los candidatos se filtran y fusionan basados en la conectividad geométrica y la consistencia de la normal de la superficie para producir una máscara de superficie refinada ( $M_{ref}$ ).
- Mapeo Final: $M_{ref}$ se mapea a las coordenadas dispersas nativas del modelo generativo para crear la máscara de edición final ( $M_{edit}$ ) y su complemento ( $M_{keep}$ ).

2. Edición de Flujo 3D Local

Esta etapa realiza la edición utilizando una estrategia de guía de dos vertientes dentro del flujo del modelo generativo:

Guía de Flujo Diferencial (DFG):
- Opera durante la generación de vóxeles dispersos.
- Calcula la dirección de edición comparando los campos de velocidad predichos bajo la condición visual de origen ( $c_{src}$ ) y la condición visual objetivo ( $c_{edit}$ ).
- La diferencia ( $\Delta v_t$ ) sirve como el vector de edición.
- La máscara 3D ( $S_{edit}$ ) restringe espacialmente esta actualización, limitando los cambios de flujo estrictamente a la región objetivo: $z_{edit} \leftarrow z_{edit} + \gamma \Delta t S_{edit} \odot \Delta v_t$ .
Guía de Preservación de Trayectoria (TPG):
- Opera durante la generación de características subsecuente (geometría y textura).
- Aborda el problema donde el condicionamiento visual global causa que las características no objetivo se desvíen del estado de origen.
- En lugar de reemplazar duramente las características intermedias (lo que causa artefactos), TPG impone una restricción suave. Calcula una pérdida de preservación ( $L_{pres}$ ) comparando el estado limpio predicho en la región no objetivo ( $S_{keep}$ ) contra el estado codificado de la fuente ( $x_{src}$ ).
- El estado editable se corrige suavemente mediante el gradiente de esta pérdida: $z_{edit} \leftarrow z_{edit} - \lambda (\nabla_{z_{edit}} L_{pres})$ . Esto mantiene la coherencia de los bordes y reduce la degradación no deseada sin interrumpir la trayectoria de generación.

Contribuciones Clave

Marco de Trabajo EditFlow3D: Un marco libre de entrenamiento e inversión que convierte automáticamente las entradas del usuario en controles visuales y espaciales precisos para la edición 3D local.
Nuevo Algoritmo de Edición: Un algoritmo de edición de flujo 3D local que combina la Guía de Flujo Diferencial con Máscara (para la modificación dirigida) y la Preservación de Trayectoria Paso a Paso (para la consistencia de las regiones no objetivo). Este enfoque restringe las actualizaciones de flujo a la región objetivo mientras suprime la deriva en las regiones no objetivo sin el reemplazo duro de características.
EditFlow-Bench: Un nuevo benchmark que comprende 100 activos de origen y 200 casos de edición a través de cinco tipos (adición, eliminación, reemplazo, modificación de geometría, modificación de apariencia). Esto complementa al existente Edit3D-Bench al cubrir una variedad más amplia de cambios estructurales y de textura.

Resultados

El marco fue evaluado tanto en EditFlow-Bench como en el público Edit3D-Bench utilizando los backbones TRELLIS y TRELLIS.2.

Desempeño Cuantitativo: EditFlow3D logró los mejores resultados generales en todas las métricas (Similitud, CD, PSNR, SSIM, LPIPS, DINO-I, FID) en ambos benchmarks. Demostró una alineación superior de la región objetivo en comparación con baselines como Nano3D, PartFlow, VoxHammer y Vinedresser3D, superándolos significativamente en la preservación de las regiones no objetivo.
Comparación Cualitativa: Los resultados visuales mostraron que, mientras que los baselines a menudo introducían oscurecimiento global, modificaciones incompletas o discontinuidades en los bordes, EditFlow3D localizó con éxito los cambios preservando la geometría y la apariencia de las regiones no editadas.
Estudios de Ablación:
- Eliminar DFG redujo significativamente la precisión de la edición (Sim. cayó de 0.318 a 0.287).
- Eliminar TPG mantuvo la precisión de la edición pero degradó severamente las métricas de preservación (PSNR, SSIM, LPIPS, FID), confirmando su papel en la prevención de la deriva no objetivo.
- Se demostró que la selección de vista adaptativa y el refinamiento de la máscara son críticos tanto para la precisión como para la preservación.
Estudio de Usuario: En un estudio con 40 participantes, EditFlow3D fue preferido sobre todos los baselines en un 43% de los casos por alineación de instrucciones, un 57% por calidad visual y un 49% por preservación de la fuente.

Significado

El artículo afirma que EditFlow3D aborda el compromiso crítico entre la modificación del objetivo y la preservación de la fuente en la edición 3D. Al introducir la Guía de Preservación de la Trayectoria, el método resuelve el problema de la degradación de la región no objetivo que persiste incluso cuando se utilizan máscaras espaciales, ya que el condicionamiento del objetivo aún puede influir en el proceso de generación de forma global. El marco demuestra que se puede lograr una edición local precisa sin entrenar nuevos modelos ni invertir los activos de origen, apoyándose en el espacio de representación nativo de los modelos generativos preentrenados junto con la construcción de control automatizada impulsada por VLM. La introducción de EditFlow-Bench proporciona un estándar necesario para evaluar diversas ediciones estructurales y de textura, llenando un vacío en los protocolos de evaluación existentes.