TexEditor: Structure-Preserving Text-Driven Texture Editing

Resumen Técnico: TexEditor

1. El Problema

La edición de texturas guiada por texto busca modificar la apariencia de los objetos en una imagen (cambiando materiales, rugosidad, etc.) siguiendo instrucciones naturales, manteniendo intacta la estructura geométrica subyacente.

• Limitación actual: A pesar de los avances en modelos generativos (como Nano Banana Pro o Qwen-Image-Edit), los sistemas más avanzados (SOTA) a menudo fallan en preservar la consistencia estructural. Tienen la tendencia a "re-generar" el objeto completo en lugar de solo cambiar su textura, lo que provoca deformaciones geométricas, pérdida de detalles estructurales y cambios no deseados en la forma o la posición del objeto.
• Causas raíz: Falta de datos de entrenamiento pareados de alta calidad que separen claramente la textura de la geometría, y la dificultad de los modelos para distinguir entre cambios de apariencia y cambios estructurales durante el proceso de edición.

2. Metodología

Los autores proponen TexEditor, un modelo dedicado que aborda el problema desde dos perspectivas: construcción de datos y estrategia de entrenamiento. El modelo se basa en el backbone Qwen-Image-Edit-2509.

A. Construcción de Datos: TexBlender
Para proporcionar un "arranque en frío" (cold start) con fuertes priores estructurales, se construyó TexBlender, un dataset de entrenamiento simulado de alta calidad:

• Origen: Generado utilizando Blender y el dataset 3D-Front.
• Diseño: A diferencia de datasets anteriores que se centran en objetos aislados, TexBlender incluye escenas complejas con fondos variados y múltiples objetos.
• Mecanismo: Se generan pares de imágenes (antes/después) donde solo se modifican los atributos de la textura (usando shaders Principled BSDF y texturas de MatSynth), mientras que la geometría 3D, la iluminación y la cámara permanecen idénticas.
• Granularidad: Se aplican ediciones a grupos de objetos (no solo instancias individuales) para enseñar al modelo a manejar ediciones locales y a nivel de escena.

B. Estrategia de Entrenamiento: Dos Etapas

1. Ajuste Fino Supervisado (SFT): El modelo se entrena inicialmente con TexBlender para aprender las habilidades básicas de edición de texturas y la preservación estructural en un entorno controlado.
2. Aprendizaje por Refuerzo (RL) - StructureNFT: Para generalizar a escenas del mundo real, se aplica una etapa de RL sobre consultas construidas a partir de COCO.
   • Función de Recompensa: Se introduce una pérdida auxiliar llamada StructureNFT. La recompensa total es una combinación de:
     • Score_ins: Adherencia a la instrucción (evaluada por un MLLM como Gemini 3).
     • Score_struct: Consistencia estructural. Se utiliza un extractor de estructura (basado en SAUGE y máscaras de SAM3) para calcular la similitud estructural entre la imagen original y la editada.
   • Métrica de Estructura: Se prefiere el SSIM (Similaridad Estructural) sobre el IoU de alambres (wireframe) porque es más robusto ante pequeñas perturbaciones de píxeles, evitando fluctuaciones de puntuación falsas. Se aplica una normalización empírica para aumentar la sensibilidad de la métrica.

C. Evaluación: TexBench y TexEval
Los autores critican los benchmarks existentes por ser sintéticos y poco realistas.

• TexBench: Un nuevo benchmark basado en imágenes reales de COCO. Utiliza máscaras de instancias para localizar objetivos y Qwen3-VL para generar instrucciones de edición diversas y semánticamente coherentes, verificadas por humanos.
• TexEval: Una nueva métrica de evaluación compuesta que combina la adherencia a la instrucción y la preservación estructural.
  • Fórmula: $TexEval = \alpha \cdot Score_{Ins} + (1 - \alpha) \cdot Score_{struct}$.
  • Estudios de usuarios mostraron que un $\alpha = 0.6$ ofrece la mejor alineación con las preferencias humanas, superando a las métricas que solo evalúan la instrucción o solo la estructura.

3. Contribuciones Clave

1. TexEditor: Un modelo de edición de texturas que logra un equilibrio superior entre seguir instrucciones de texto y preservar la geometría del objeto, superando a modelos comerciales y académicos.
2. TexBlender: Un dataset sintético de nivel de escena que proporciona supervisión limpia para la preservación estructural, superando las limitaciones de datasets de objetos aislados.
3. StructureNFT: Un método de RL que integra pérdidas de preservación estructural para transferir la capacidad de mantener la geometría de entornos sintéticos a escenas reales.
4. TexBench y TexEval: Un benchmark realista y una métrica de evaluación holística que corrige las deficiencias de los protocolos actuales, alineándose mejor con la percepción humana.

4. Resultados

• Rendimiento en Benchmarks: TexEditor supera consistentemente a baselines fuertes como Nano Banana Pro, Alchemist y versiones base de Qwen en tanto en TexBench (escenas reales) como en benchmarks sintéticos de Blender.
• Métricas Cuantitativas: En TexBench, TexEditor alcanza una puntuación de 0.886 en TexEval (vs 0.824 de Nano Banana Pro) y una puntuación de preservación estructural de 0.929 (vs 0.801 de Nano Banana Pro).
• Generalización: El modelo también muestra mejoras en tareas relacionadas con texturas dentro del benchmark general de edición de imágenes ImgEdit, demostrando que las habilidades aprendidas se generalizan más allá de tareas específicas de textura.
• Estudios de Ablación: Confirman que tanto el SFT con datos multi-granularidad (TexBlender) como la pérdida de estructura regularizada en la etapa de RL son componentes esenciales para el rendimiento final.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la edición de imágenes generativa: la incapacidad de los modelos actuales para realizar cambios de "piel" (textura) sin alterar el "esqueleto" (geometría).

• Avance Técnico: Demuestra que la combinación de datos sintéticos de alta fidelidad con estrategias de RL guiadas por restricciones estructurales es una vía efectiva para mejorar la consistencia geométrica.
• Relevancia para la Industria: Mejora la viabilidad de aplicaciones como la generación de contenido, la construcción de escenas virtuales y la realidad aumentada, donde la integridad estructural de los objetos es fundamental.
• Recursos Abiertos: Al publicar el código, los datos (TexBlender) y el benchmark (TexBench), los autores fomentan la investigación futura en la edición de imágenes guiada por texto que respete la estructura física de las escenas.

En resumen, TexEditor establece un nuevo estado del arte al demostrar que es posible editar texturas de manera precisa y realista sin sacrificar la forma y estructura de los objetos, resolviendo un problema persistente en la visión por computadora generativa.