Resumen Técnico: Transformador de Difusión de Auto-Prompting para Edición de Texto en Escenas de Vocabulario Abierto

1. Declaración del Problema

La edición de texto en escenas tiene como objetivo modificar el contenido textual dentro de imágenes de escenas naturales, preservando estrictamente la corrección de los glifos y la consistencia visual (estilo, textura, color) del contexto circundante. Los enfoques existentes, basados en gran medida en formulaciones de inpainting de imágenes, adolecen de dos limitaciones principales:

1. Pérdida del Estilo Original: Al tratar la región de texto objetivo como un lienzo en blanco que debe rellenarse, estos métodos descartan la información visual original del texto. En consecuencia, el texto generado a menudo no logra retener el estilo pre-edición, sino que toma prestadas señales estilísticas del fondo circundante.
2. Vocabulario y Generalización Limitados: Los métodos que dependen de modelos de Reconocimiento Óptico de Caracteres (OCR) preentrenados como codificadores de glifos están restringidos por vocabularios fijos, lo que limita su capacidad para editar idiomas raros o escrituras logográficas. Por el contrario, los métodos que entrenan codificadores de glifos desde cero requieren conjuntos de datos masivos y a menudo luchan por capturar detalles finos a nivel de trazo necesarios para escrituras complejas.

2. Metodología

El artículo propone un marco de Transformador de Difusión de Auto-Prompting que aprovecha el Aprendizaje en Contexto para lograr la edición de texto de vocabulario abierto sin introducir codificadores adicionales de estilo o glifos. La arquitectura central se basa en FLUX-Fill, un Transformador de Difusión Multimodal (MM-DiT).

2.1. Mecanismo de Auto-Prompting

En lugar de depender de codificadores externos, el método construye prompts directamente a partir de la imagen de entrada y el texto objetivo:

• Prompt de Estilo: Se genera un prompt visual de estilo ($I_s$) recortando la región de texto objetivo original de la imagen de entrada. Esto captura el color único, la textura, la fuente y la iluminación local. Un prompt textual de estilo correspondiente se codifica utilizando un codificador de texto CLIP.
• Prompt de Glifo: Se crea un prompt visual de glifo ($I_g$) renderizando la cadena de texto objetivo en un mapa de glifos de una sola línea y alto contraste (blanco sobre negro) utilizando bibliotecas estándar. Esto proporciona una guía estructural explícita a nivel de trazo. Un prompt textual de glifo se codifica utilizando un codificador de texto T5.
• Construcción de Entrada: La imagen enmascarada, el prompt visual de estilo y el prompt visual de glifo se concatenan a lo largo de la dimensión del canal para formar una entrada visual compuesta para el núcleo MM-DiT.

2.2. Estrategia de Entrenamiento en Dos Etapas

Para equilibrar la generalización con la consistencia del estilo, los autores emplean una tubería de entrenamiento en dos etapas:

1. Preentrenamiento Auto-supervisado: El modelo se entrena primero en el conjunto de datos a gran escala AnyWord-3M. Durante esta etapa, el modelo aprende capacidades fundamentales de inpainting de texto y representaciones a nivel de trazo utilizando señales auto-supervisadas, sin sobreajustarse a estilos de texto específicos.
2. Entrenamiento de Enfriamiento (Cooldown): Para refinar la preservación del estilo, el modelo pasa por una segunda etapa de entrenamiento en un conjunto de datos pequeño y curado de 4,000 imágenes emparejadas. Estos pares consisten en una imagen original y una versión editada correspondiente donde el texto se reemplaza manteniendo la consistencia del estilo.
   • Objetivo: Inspirado en MECO, esta etapa trata la región de texto original como metainformación. El objetivo de entrenamiento minimiza el campo de velocidad entre el latente fuente (texto original) y el latente objetivo (texto editado), alentando al modelo a desacoplar la preservación del estilo de la regeneración del contenido.
   • Construcción de Datos: El conjunto de datos emparejado se generó utilizando un modelo de edición de imágenes basado en instrucciones (Nano Banana Pro) y se filtró rigurosamente por anotadores humanos para asegurar que las regiones no objetivo permanecieran sin cambios y se mantuviera la consistencia del estilo.

3. Contribuciones Clave

• Edición de Vocabulario Abierto mediante Aprendizaje en Contexto: El método logra capacidades de vocabulario abierto capturando características a nivel de trazo de imágenes de glifos renderizados en lugar de depender de características de OCR a nivel de carácter. Esto elimina la necesidad de vocabularios fijos y codificadores de glifos adicionales.
• Consistencia del Estilo sin Codificadores Extra: Al construir prompts de estilo directamente desde la imagen original y utilizar entrenamiento de enfriamiento en datos emparejados, el método asegura una estricta consistencia del estilo entre el texto original y el editado sin introducir codificadores específicos de estilo adicionales.
• Rendimiento de Vanguardia: Experimentos extensos demuestran un rendimiento superior tanto en precisión del texto como en fidelidad del estilo en 13 idiomas, incluidas escrituras complejas como tailandés, árabe y chino.

4. Resultados Experimentales

El método se evaluó en el AnyText-benchmark (chino/inglés) y en el nuevo conjunto de datos MST-Edit construido (que cubre 11 idiomas adicionales).

• Rendimiento Cuantitativo: En el AnyText-benchmark, el método propuesto logró los mejores resultados en todas las métricas.
  • Inglés: Precisión de oración (Sen. Acc) de 0.8857 (vs. 0.8231 para TextFlux, el segundo mejor) y FID de 7.62.
  • Chino: Sen. Acc de 0.8249 y FID de 7.95.
  • El método redujo significativamente las puntuaciones FID y LPIPS en comparación con las líneas base, indicando una fidelidad visual y una consistencia estilística superiores.
• Robustez Multilingüe: En el conjunto de datos MST-Edit, el método superó consistentemente a las líneas base sin OCR (FluxText, TextFlux) en los 11 idiomas evaluados. Aunque el rendimiento varió ligeramente según la complejidad de la escritura (por ejemplo, las escrituras latinas funcionaron mejor que el tailandés), el modelo demostró robustez en diversos sistemas de escritura.
• Estudios de Ablación:
  • Entrenamiento de Enfriamiento: Eliminar la etapa de enfriamiento resultó en una caída significativa en las métricas de calidad de imagen (el FID aumentó de 7.62 a 11.56 para inglés), confirmando su papel crítico en la preservación del estilo.
  • Diseño de Prompt: La combinación de prompts de glifo y estilo con datos emparejados produjo las mejoras más significativas, validando el diseño de auto-prompting.
  • Interferencia Cross-Lingual: El entrenamiento progresivo de idiomas mostró que la introducción de nuevos idiomas no degradó el rendimiento en los idiomas aprendidos previamente, lo que sugiere que el modelo aprende primitivas compartidas a nivel de trazo en lugar de memorización específica del idioma.

5. Significado y Afirmaciones

El artículo afirma proporcionar una solución unificada y escalable para la edición de texto en escenas multilingüe. Al construir prompts directamente desde la imagen de entrada, el enfoque permite una generación coherente de texto que permanece fiel a la apariencia de la fuente circundante, la disposición y el contexto visual.

Los autores enfatizan que su método:

• Supera las limitaciones de los vocabularios fijos de OCR, apoyando la edición de vocabulario abierto para idiomas diversos y raros.
• Resuelve el problema de la "pérdida de estilo" inherente a las formulaciones tradicionales de inpainting aprovechando la información en contexto.
• Establece una base para extender la edición consistente con el estilo a escenarios del mundo real más complejos y diversos sin la sobrecarga computacional de entrenar codificadores separados para cada nuevo idioma o estilo.

El trabajo se presenta como un avance de investigación destinado a beneficiar aplicaciones en diseño gráfico y creación de contenido, reconociendo al mismo tiempo las consideraciones éticas sobre el posible mal uso de las tecnologías de edición de imágenes.