Resumen Técnico: VS3D (Edición de Activos 3D en el Espacio de Velocidades)

1. Enunciado del Problema

La edición local precisa de activos 3D —modificar una región específica preservando estrictamente el resto— es un desafío fundamental para los generadores 3D nativos. Los enfoques existentes dependen típicamente de mecanismos externos al modelo generativo, como máscaras 3D manuales, fusión de vóxeles post-hoc o elevación multi-vista 2D. Estos métodos no abordan la causa raíz de la fuga de identidad: el comportamiento del campo de velocidades dentro del muestreador de Ecuaciones Diferenciales Ordinarias (ODE) de Flujo Rectificado.

Al utilizar un DiT de Flujo Rectificado congelado (Transformador de Difusión) para la edición, el campo de velocidades debe transportar simultáneamente una señal de edición fuerte en la región objetivo y anularse en el contenido preservado. Sin embargo, un único campo de velocidades lucha por satisfacer estos requisitos conflictivos, lo que conduce a tres modos de fallo específicos:

1. Fuga de Identidad: Incluso cuando las condiciones coinciden localmente, la diferencia de velocidades ($v_\Delta$) permanece no nula en las regiones preservadas debido a la asimetría de la Guía Libre de Clasificador (CFG) y a los residuos mediados por la atención provenientes de las incrustaciones globales de la imagen.
2. Falta de Amplificación de la Edición: Fortalecer la señal de edición a menudo perturba inadvertidamente la identidad de las regiones preservadas, ya que ambas tareas compiten por los mismos grados de libertad dentro del campo de velocidades. Además, la estimación de Monte-Carlo de la diferencia de velocidades en 3D está dominada por la varianza en lugar de una señal consistente.
3. Anulación Global de la Condición: En las etapas de refinamiento de geometría y material, un único token de características de imagen global arrastra a cada token hacia la apariencia objetivo, sobrescribiendo la identidad de origen y causando deriva de textura o distorsión geométrica.

Las soluciones actuales delegan la preservación de la identidad a herramientas externas en lugar de intervenir directamente dentro del muestreador ODE donde se origina la corrupción.

2. Metodología: VS3D

Los autores proponen VS3D, un marco sin inversión, sin entrenamiento y sin máscaras que aborda estos problemas mediante intervenciones dirigidas dentro del muestreador ODE. El método opera sobre un generador 3D nativo (específicamente TRELLIS 2.0) que se desarrolla en tres etapas: generación de estructura dispersa, generación de geometría y generación de material.

VS3D integra tres módulos complementarios que corresponden a etapas específicas de la tubería:

A. Inyección de Origen Anclada a la Reconstrucción (RASI)

Objetivo: Etapa 1 (Latente de Ocupación Densa)
RASI aborda la fuga de identidad de dos canales (asimetría de CFG y residuos de condición global).

• Mecanismo: En lugar de utilizar una incrustación incondicional fija ($\phi_0$), RASI optimiza una incrustación incondicional específica del activo y por paso ($\phi_t$) mediante una sonda de reconstrucción de origen.
• Proceso: En cada paso de tiempo, el método resuelve un problema de optimización para encontrar un $\phi_t$ que, cuando se utiliza en el cálculo de la velocidad, fuerce al paso de Euler a reconstruir el latente de origen ($x_{src}$) exactamente cuando la condición objetivo se reemplaza por la condición de origen.
• Efecto: Esto "ancla" la trayectoria de origen. Durante la edición real, el $\phi_t$ almacenado en caché absorbe los canales de fuga, haciendo que $v_\Delta$ colapse hacia cero en los vóxeles no editados sin requerir una máscara externa.

B. Guía de Media Parcial (PMG)

Objetivo: Etapa 1 (Amplificación de la Señal de Edición)
PMG resuelve el conflicto entre preservar la identidad y amplificar la señal de edición.

• Mecanismo: Explota la estructura de Monte-Carlo de la estimación de la diferencia de velocidades. El método calcula una estimación media de alta calidad ($\hat{\mu}_S$) y una media de muestra parcial más ruidosa ($\hat{\mu}_L$) de la diferencia de velocidades.
• Proceso: Extrapolando alejándose de la estimación más ruidosa: $\hat{\mu}_{final} = \hat{\mu}_S + w(\hat{\mu}_S - \hat{\mu}_L)$.
• Efecto: Esta amplificación está automáticamente controlada por el propio campo de velocidades. En las regiones no editadas donde RASI ha llevado la señal a cero, la extrapolación es insignificante. En las regiones editadas donde existe una señal consistente, la amplificación fortalece la dirección de la edición sin requerir pasadas forward adicionales ni máscaras.

C. Inyección de Residuo de Acuerdo Gemelo (TAR)

Objetivo: Etapas 2 y 3 (Geometría y Material Dispersos)
TAR previene que la condición global sobrescriba la identidad de origen en las etapas de refinamiento disperso, donde el acoplamiento ODE directo es imposible debido a soportes de vóxeles desajustados.

• Mecanismo: El muestreador ejecuta un paso forward "gemelo" sobre el mismo andamio de coordenadas y ruido, pero condicionado a la imagen de origen ($c_{src}$) en lugar de la objetivo.
• Proceso: Calcula un mapa de desacuerdo por token ($d_i$) entre la salida objetivo ($z_{tgt}$) y la salida gemela de origen ($z_{twin}$). Los tokens con bajo desacuerdo (alto acuerdo) se identifican como no editados.
• Efecto: Para los tokens que coinciden, el método inyecta un residuo desde la codificación de origen ($z_{src}$) de vuelta al latente objetivo, tirando efectivamente de la geometría y el material de vuelta hacia el origen. Los tokens que no coinciden (la región de edición) permanecen intactos. Esto permite que el muestreador decida token por token qué preservar.

3. Contribuciones Clave

1. RASI: Un método para eliminar la fuga de identidad de dos canales (asimetría de CFG y residuos de atención) optimizando una incrustación incondicional por paso, asegurando que $v_\Delta$ se anule en las regiones no editadas sin máscaras externas.
2. PMG: Una técnica para desacoplar la amplificación de la edición de la preservación de la identidad extrapolando entre medias de submuestras de la diferencia de velocidades, controlando automáticamente la amplificación hacia regiones con señales de edición consistentes.
3. TAR: Un mecanismo para suprimir el arrastre global de identidad en etapas dispersas utilizando un mapa de desacuerdo de forward gemelo para inyectar residuos de origen solo donde el muestreador coincide en que el contenido debe preservarse.
4. Marco VS3D: Un paradigma unificado de edición puramente en el espacio de velocidades que logra ediciones locales de alta fidelidad con una fuerte preservación de identidad sin inversión, entrenamiento o enmascaramiento manual.

4. Resultados Experimentales

Los autores evaluaron VS3D en una referencia derivada de Objaverse, comparándolo con editores 3D nativos de última generación (TRELLIS 2.0, VoxHammer, Nano3D) y editores elevados desde 2D (Instant3dit, Edit360, VecSet-Edit).

• Rendimiento Cuantitativo: VS3D obtuvo los mejores resultados en la mayoría de las métricas, incluyendo el PSNR más alto (22.51), SSIM (0.867) y el LPIPS más bajo (0.145), lo que indica una preservación de identidad superior. También logró las puntuaciones más altas en DINO-I (0.841) y CLIP-T (0.294), demostrando una alta fidelidad de edición.
• Rendimiento Cualitativo: El método manejó con éxito operaciones elementales (agregar/quitar) y ediciones compuestas (agregar/quitar simultáneamente) donde las líneas base fallaron. Mantuvo la coherencia estructural y la consistencia de textura en las regiones no editadas, evitando los artefactos de costura y las inconsistencias topológicas comunes en los enfoques elevados desde 2D.
• Estudios de Ablación: El estudio confirmó que cada módulo aborda un modo de fallo distinto: RASI corrigió la deriva de ocupación, PMG restauró la fuerza de la edición y TAR recuperó detalles finos de material y textura en etapas posteriores.

5. Significado y Afirmaciones

El artículo afirma que VS3D demuestra que un enfoque puramente en el espacio de velocidades puede servir como un paradigma de edición de propósito general para generadores 3D preentrenados. Al intervenir directamente dentro del muestreador ODE, el método logra una edición local de alta fidelidad sin necesidad de:

• Máscaras 3D externas (que son tediosas y frágiles).
• Inversión de modelo (que es computacionalmente costosa e inestable).
• Entrenamiento adicional o ajuste fino (LoRA).

Los autores reconocen una limitación: dado que ninguna máscara dura aísla el límite de la edición, la consistencia de textura a nivel de píxel en las regiones no editadas es "cercana a, en lugar de idéntica a" la original. Sin embargo, argumentan que esto es una característica inherente de los métodos sin máscaras y que la diferencia perceptual es menor y aceptable para escenarios prácticos. El trabajo sugiere que controlar el campo de velocidades desde dentro es la vía más directa para lograr simultáneamente la preservación de la identidad y la amplificación de la edición, ofreciendo una nueva perspectiva para futuras investigaciones sobre edición 3D sin máscaras.