TIQA: Human-Aligned Text Quality Assessment in Generated Images

El artículo presenta TIQA, un nuevo marco y conjunto de datos para la evaluación de la calidad del texto en imágenes generadas, junto con el método ligero ANTIQA, que supera a las métricas existentes al alinearse mejor con el juicio humano y mejorar la selección de imágenes en flujos de trabajo de generación.

Lo esencial

¡Hola! Imagina que acabas de pedirle a un chef de inteligencia artificial (IA) que te cocine un pastel con una inscripción de chocolate que diga "¡Feliz Cumpleaños!".

El pastel se ve increíble: la crema es suave, los colores son vibrantes y la foto es hermosa. Pero, si te fijas de cerca, la inscripción dice "¡Feliz Cumpeaños!" con una 'p' mal hecha, o las letras están torcidas como si alguien las hubiera pisado.

Hasta ahora, las herramientas para evaluar estas imágenes de IA eran como dos tipos de inspectores muy estrictos pero un poco tontos:

1. El Inspector "OCR" (Lector de texto): Este inspector solo lee lo que dice el texto. Si logra descifrar "Feliz Cumpeaños", le da un 10/10. No le importa que la 'p' parezca un pato o que la 'y' esté rota. Para él, si se puede leer, está perfecto.
2. El Inspector "VLM" (El experto general): Este es un modelo de IA muy inteligente que ve toda la imagen. Pero a veces se distrae con el pastel, la mesa o los colores, y no se fija bien en los detalles pequeños de las letras. Además, si le cambias un poco la forma de pedirle la evaluación, sus respuestas cambian.

El problema: Nosotros, los humanos, somos muy exigentes. Si vemos esas letras rotas o deformadas, nos da pereza o nos parece feo, aunque el texto se pueda leer. Necesitábamos un inspector que entendiera esa "sensación visual" de que algo está mal, sin importar si el texto tiene sentido o no.

La Solución: TIQA y ANTIQA

Los autores de este paper han creado dos cosas geniales para solucionar esto:

1. TIQA (El nuevo trabajo de inspector)

Imagina que TIQA es un nuevo tipo de examen. En lugar de preguntar "¿Qué dice el texto?", le preguntamos a la IA: "¿Qué tan bien se ve escrito este texto?".

• Le mostramos un recorte de la imagen donde están las letras.
• Le pedimos que nos dé una nota del 0 al 5, basándose en si las letras tienen "cicatrices", si están rotas, si el espaciado es raro o si parecen dibujadas a mano por un niño.
• Lo importante: No le importa si la palabra está bien escrita o no. Solo le importa la belleza y la corrección visual de las letras.

2. Los Datos (La escuela de entrenamiento)

Para enseñarles a estas IAs a ser buenos inspectores, los autores crearon dos grandes bibliotecas de ejemplos:

• TIQA-Crops: Un álbum de 10,000 recortes de texto donde miles de humanos les dieron notas reales (del 0 al 5) sobre qué tan feos o bonitos se veían.
• TIQA-Images: 1,500 imágenes completas (como pósters o carteles) llenas de texto, también evaluadas por humanos.

3. ANTIQA (El inspector estrella)

Con estos datos, crearon un modelo llamado ANTIQA.

• La analogía: Imagina que ANTIQA es un cirujano plástico especializado en letras. Mientras que otros modelos miran la cara completa (la imagen entera) o solo leen el nombre (el texto), ANTIQA tiene unas "gafas de aumento" que solo miran los trazos de las letras.
• Detecta cosas que a otros se les escapan: ¿La línea de la letra 'I' está temblorosa? ¿El espacio entre la 'A' y la 'B' es extraño? ¿La letra parece que se está desmoronando?

¿Por qué es esto un gran avance?

El paper demuestra que ANTIQA es mucho mejor que los inspectores anteriores:

• Más preciso: Se alinea mucho mejor con lo que piensan los humanos. Si a nosotros nos parece feo, a ANTIQA también le parece feo.
• Más rápido y barato: A diferencia de los inspectores "expertos" (los VLMs) que tardan mucho y cuestan dinero, ANTIQA es ligero y rápido.
• Útil en la vida real: Imagina que eres una empresa que genera miles de imágenes para anuncios. Puedes usar ANTIQA para:
  • Generar 5 versiones de un anuncio.
  • Dejar que ANTIQA elija automáticamente la que tiene las letras más bonitas.
  • ¡Resultado! Tus anuncios se ven un 14% más profesionales porque filtraste automáticamente los que tenían letras deformadas.

En resumen

Este paper nos dice que, para que la IA genere imágenes con texto que realmente nos gusten, no basta con que el texto sea legible; tiene que verse bien. Han creado un nuevo "ojo experto" (ANTIQA) que sabe distinguir entre una letra perfecta y una letra que parece un garabato, ayudando a que las imágenes generadas por IA sean mucho más pulidas y humanas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "TIQA: Human-Aligned Text Quality Assessment in Generated Images" en español:

1. El Problema

A pesar de los avances rápidos en los modelos de generación de imágenes de texto a imagen (T2I), la renderización de texto sigue siendo un modo de fallo persistente. Los modelos actuales a menudo producen imágenes con glifos malformados, trazos rotos, inconsistencias en el grosor de las líneas y problemas de kerning o alineación de la base.

Las evaluaciones existentes presentan limitaciones críticas:

• Enfoque en OCR: Los métodos basados en reconocimiento óptico de caracteres (OCR) evalúan la corrección semántica (¿se puede leer la palabra?), pero no penalizan adecuadamente los defectos visuales que los humanos encuentran molestos (como trazos rotos o topología de letras extraña), incluso si la palabra es decodificable.
• Modelos VLM (Vision-Language Models): Usar grandes modelos de lenguaje como jueces es sensible al prompting, sufre de deriva de versiones y no está estandarizado. Además, a menudo se distraen con el contenido no textual de la imagen.
• Falta de métricas perceptuales: No existe una métrica dedicada que mida la fidelidad perceptual del texto renderizado, independiente de si el texto tiene sentido semántico.

2. Metodología y Propuesta

El paper introduce TIQA (Text-in-Image Quality Assessment), una tarea diseñada para predecir una puntuación escalar que coincida con los juicios humanos sobre la calidad del texto renderizado, ignorando la corrección semántica.

A. Conjuntos de Datos (Datasets)

Los autores liberan dos datasets fundamentales para el entrenamiento y la evaluación:

1. TIQA-Crops: Contiene 120,000 recortes de texto (crops) extraídos de 36,000 imágenes generadas por 12 modelos T2I.
   • 10,000 recortes tienen etiquetas de MOS (Mean Opinion Score) obtenidas de evaluaciones humanas.
   • 110,000 recortes adicionales se etiquetan con confianza de OCR (PaddleOCR) para pre-entrenamiento por supervisión proxy.
2. TIQA-Images: Un conjunto de 1,500 imágenes completas (sin recortar) generadas por 10 modelos T2I modernos (incluyendo modelos propietarios como Nano Banana Pro y GPT Image 1.5).
   • Cada imagen tiene dos anotaciones MOS: Calidad General (OQ-MOS) y Calidad Solo Texto (TQ-MOS).
   • Se incluye una vista "solo texto" donde el contenido no textual se reemplaza por fondo blanco para aislar la calidad tipográfica.

B. Método Propuesto: ANTIQA

Se propone ANTIQA, un método ligero y especializado con sesgos específicos para texto.

• Arquitectura: Es una CNN (Red Neuronal Convolucional) multi-escala compacta.
  • Entrada: Un recorte de texto en escala de grises concatenado con un mapa de bordes de Sobel.
  • Innovación Clave: Utiliza convoluciones de tiras (strip convolutions) direccionales (1×k y k×1) dentro de bloques residuales. Esto introduce un sesgo inductivo que coincide con la geometría del texto (trazos verticales/horizontales, bases, etc.), permitiendo detectar mejor defectos como trazos rotos o aliasing.
  • Mecanismos: Incluye bloques SE (Squeeze-and-Excitation) para recalibrar canales y bloques de Pooling Adaptativo (APB) que combinan average pooling y max pooling a múltiples escalas para capturar detalles finos y estructura global.
• Entrenamiento:
  1. Pre-entrenamiento: Se entrena en los 110k recortes usando la confianza del OCR como objetivo proxy (mapeada a la escala MOS mediante transporte óptimo neuronal).
  2. Ajuste Fino (Fine-tuning): Se ajusta en los 10k recortes con MOS humanos, utilizando una pérdida combinada de MSE (Error Cuadrático Medio) y una pérdida de ordenamiento (pairwise ranking) para asegurar correlaciones correctas.

3. Contribuciones Clave

1. Nueva Formulación de Tarea (TIQA): Define explícitamente la evaluación de la calidad del texto como un problema de calidad de imagen sin referencia (No-Reference IQA) enfocado en artefactos generativos, separado de la semántica.
2. Datasets de Referencia: Publicación de TIQA-Crops y TIQA-Images, cubriendo una amplia gama de modelos (incluyendo SOTA propietarios) y proporcionando la primera evaluación exhaustiva basada en MOS para texto en imágenes generadas.
3. Modelo ANTIQA: Un modelo eficiente (3.8M parámetros) que supera significativamente a las alternativas existentes.
4. Análisis de Fallos: Caracterización de los modos de fallo en sistemas T2I modernos, mostrando que, aunque la calidad general ha mejorado, la renderización de texto sigue siendo un cuello de botella con fallos en la "cola" de la distribución (casos extremos).

4. Resultados Experimentales

Los resultados se miden mediante el Coeficiente de Correlación Lineal de Pearson (PLCC) y el Coeficiente de Correlación de Orden de Rango de Spearman (SROCC) contra los MOS humanos.

• Rendimiento en TIQA-Crops: ANTIQA alcanza un PLCC de 0.942, superando claramente a:
  • Confianza de OCR (PaddleOCR: ~0.78).
  • Jueces VLM (Qwen3: ~0.89).
  • Métricas genéricas de IQA (TOPIQ: ~0.40).
• Rendimiento en TIQA-Images (Generalización): ANTIQA se generaliza bien a modelos no vistos durante el entrenamiento, logrando un PLCC de 0.842 para calidad de texto y 0.810 para calidad general.
  • Los jueces VLM tienen un rendimiento muy pobre en imágenes completas (PLCC ~0.45) debido a la dilución del contexto no textual, aunque mejoran ligeramente si se les da solo el recorte de texto.
• Selección Best-of-K: En la tarea de seleccionar la mejor imagen de 5 generaciones (Best-of-5):
  • ANTIQA mejora la calidad de texto percibida por humanos en un +14% (de 2.57 a 2.93 en MOS) en comparación con la selección aleatoria.
  • Supera a OCR y VLM en la capacidad de filtrar imágenes con artefactos visuales, demostrando que la "legibilidad" (OCR) no es suficiente para la "calidad visual" (TIQA).

5. Significado e Impacto

• Valor Práctico: TIQA y ANTIQA ofrecen una señal de control eficiente para tuberías de generación (pipelines). Permiten filtrar, reordenar (rerank) y seleccionar las mejores generaciones sin necesidad de modelos VLM costosos o dependientes de APIs cerradas.
• Insight sobre Generación: El estudio revela que en prompts ricos en texto, la calidad del texto es el factor dominante que impulsa la preferencia humana general. Mejorar la renderización de texto tiene un impacto directo en la percepción global de la imagen.
• Futuro: El trabajo sienta las bases para integrar señales de calidad de texto en bucles de retroalimentación para el entrenamiento de modelos T2I, permitiendo guiar la generación hacia una tipografía más robusta y realista.

En resumen, el paper establece un nuevo estándar para evaluar la calidad del texto en imágenes generadas por IA, demostrando que los modelos especializados y ligeros (como ANTIQA) son superiores a las soluciones genéricas o basadas en reconocimiento para capturar los defectos visuales que realmente importan a los humanos.