TextAlign: Preference Alignment for Text Rendering with Hierarchical Rewards

Resumen Técnico: TextAlign: Alineación de Preferencias para la Renderización de Texto con Recompensas Jerárquicas

Enunciado del Problema
La renderización fiel del texto sigue siendo una debilidad persistente en los grandes modelos generativos de texto a imagen. Aunque estos modelos sobresalen en la síntesis de imágenes de alta fidelidad a partir de lenguaje natural, tienen dificultades para satisfacer las restricciones simbólicas discretas requeridas para el texto visual. A diferencia de la generación genérica de objetos, la renderización de texto exige que aparezcan las palabras previstas, que los caracteres estén ordenados correctamente, que las formas de los glifos sean reconocibles y que el texto se integre naturalmente en la escena circundante. Las soluciones existentes abordan esto típicamente mediante intervenciones específicas de la arquitectura, como la sustitución de codificadores de texto, el aumento de codificadores de imagen o la introducción de módulos auxiliares de control de glifos (por ejemplo, máscaras de segmentación). Estos enfoques a menudo complican el despliegue, ya que están vinculados a arquitecturas de modelo o interfaces de condicionamiento específicas, lo que dificulta transferir mejoras a nuevos modelos base sin un esfuerzo de ingeniería significativo o la alteración de los priores generativos preentrenados.

Metodología: TextAlign
Los autores proponen TextAlign, un marco de alineación de preferencias post-entrenamiento no invasivo diseñado para mejorar la renderización de texto sin modificar la arquitectura del generador. La innovación central reside en un sistema de recompensas basado en un modelo visión-idioma (VLM) jerárquico que descompone los errores de renderizado en tres niveles distintos:

1. Nivel Global: Detecta la presencia de texto legible e identifica fallos estructurales graves, como la ausencia de texto o contornos de glifos severamente distorsionados (por ejemplo, trazos rotos o líneas base deformadas).
2. Nivel de Palabra: Evalúa la fidelidad semántica identificando palabras enteras omitidas, insertadas o sustituidas.
3. Nivel de Glifo: Evalúa la precisión tipográfica de grano fino detectando inserciones, eliminaciones y sustituciones a nivel de carácter.

Para cada imagen generada y su texto de referencia, llamadas independientes al VLM producen indicadores binarios de defectos para cada nivel. Estos indicadores se agregan en una única señal de recompensa escalar que representa la fracción de categorías libres de defectos. Esta recompensa escalar es compatible con dos paradigmas principales de optimización de preferencias:

• Optimización de Política Relativa de Grupo (GRPO): La recompensa se normaliza dentro de un grupo de muestras para calcular ventajas relativas.
• Optimización Directa de Preferencias (DPO): La recompensa se utiliza para clasificar muestras generadas bajo la misma condición para construir pares de ganadores/perdedores.

Crucialmente, el marco no requiere módulos adicionales entrenables, ramas auxiliares ni señales de supervisión específicas del modelo, preservando la arquitectura del modelo base y sus capacidades generativas generales.

Contribuciones Clave

• Alineación No Invasiva: Demuestra que la renderización de texto puede mejorarse mediante el diseño de recompensas y la alineación post-entrenamiento en lugar de un rediseño arquitectónico, permitiendo aplicar la misma "receta" a modelos base heterogéneos (por ejemplo, FLUX.1-dev, Z-Image-Turbo, SD3.5, Qwen-Image).
• Diseño de Recompensas Jerárquico: Introduce una descomposición de recompensas multinivel que distingue entre fallos estructurales globales, errores semánticos de palabras y defectos de glifos de grano fino, abordando las limitaciones de recompensas de métrica única como la distancia de edición OCR.
• Agnosticismo del Optimizador: Muestra que la misma señal de recompensa jerárquica impulsa eficazmente tanto a GRPO como a DPO, ofreciendo una interfaz de post-entrenamiento general para la renderización de texto.

Resultados Experimentales
Los autores evaluaron TextAlign en FLUX.1-dev y Z-Image-Turbo, comparándolo con modelos base sólidos (SD3.5, Qwen-Image) y sistemas especializados de renderización de texto (AnyText, TextDiffuser).

• Precisión del Texto: Tanto las variantes DPO como GRPO mejoraron consistentemente las métricas de precisión de texto basadas en OCR (Puntuación de Edición Normalizada, Precisión, Recuperación, Puntuación F1 y Precisión Exacta del Conjunto de Palabras) en comparación con sus respectivos modelos base. En la base Z-Image-Turbo, el modelo alineado con GRPO logró las mejores puntuaciones en todas las métricas de OCR entre todos los métodos comparados.
• Calidad General de Generación: El proceso de alineación no degradó la calidad general de generación de imágenes. Métricas como CLIPScore, ImageReward, PickScore y HPSv3 permanecieron competitivas, y los estudios humanos indicaron que los modelos alineados fueron preferidos tanto por la fidelidad del texto como por la integración visual.
• Robustez y Generalización: Los modelos alineados mantuvieron un rendimiento estable a través de longitudes de texto variables (cortas a largas), colocaciones espaciales (frente, medio, fondo) y diez categorías visuales diversas (por ejemplo, carteles, logotipos, escritura a mano, escenas académicas). El marco también demostró transferibilidad, mostrando mejoras en una evaluación externa MARIO-Eval sin reentrenamiento en esos datos específicos.
• Estudios de Ablación: Eliminar cualquiera de los tres niveles de recompensa (global, palabra o glifo) resultó en caídas de rendimiento, confirmando que la estructura jerárquica es complementaria y necesaria para abordar el espectro completo de fallos de renderizado.

Significado y Afirmaciones
El artículo afirma que la renderización visual fiable de texto puede mejorarse significativamente mediante un modelado de recompensas cuidadosamente diseñado y una alineación post-entrenamiento, eliminando la necesidad de un rediseño arquitectónico específico del modelo. Al tratar la renderización de texto como un problema de alineación de preferencias, TextAlign ofrece una alternativa escalable y agnóstica al modelo frente a la compleja ingeniería requerida por las intervenciones anteriores a nivel de arquitectura. Los resultados sugieren que la "receta" del diseño de recompensas jerárquico puede aplicarse a diferentes generadores de imágenes para mejorar su precisión tipográfica mientras se preserva su competencia visual amplia.