TIQA: Human-Aligned Text Quality Assessment in Generated Images

O artigo apresenta o TIQA, uma nova tarefa e conjunto de dados para avaliação da qualidade de texto em imagens geradas, juntamente com o método leve ANTIQA, que supera métricas existentes ao alinhar-se melhor aos julgamentos humanos e demonstrar valor prático na filtragem e reclassificação de gerações de modelos de texto-para-imagem.

O essencial

Imagine que você pediu a um artista de IA para desenhar um pôster de filme com o título "AVENTURA ESPACIAL". O artista faz um trabalho incrível: o foguete brilha, o fundo é estrelado e as cores são vibrantes. Mas, quando você olha de perto para o título, as letras estão tortas, o "A" parece um "4" derretido e o "S" tem um traço quebrado.

Para nós, humanos, isso estraga tudo. O pôster parece amador, mesmo que a imagem em si seja bonita. O problema é que as IAs atuais são ótimas em criar imagens, mas péssimas em escrever texto dentro delas. Elas "alucinam" letras, como se estivessem tentando escrever em um idioma que não conhecem.

Até agora, não havia uma maneira fácil de medir o quão feio esse texto estava, apenas se ele estava "certo" ou "errado" (se a IA escreveu "AVENTURA" ou "AVNTEURA").

É aqui que entra o TIQA (Avaliação de Qualidade de Texto em Imagens), o tema deste novo estudo.

O Que é o TIQA? (A Analogia do "Criticão de Caligrafia")

Pense no TIQA como um especialista em caligrafia robótico que foi treinado especificamente para olhar apenas para as letras.

• O que ele faz: Ele não se importa se a frase faz sentido. Ele não se importa se a imagem do fundo é bonita. Ele só olha para as letras e diz: "Nossa, essa letra 'R' parece um rabisco de criança" ou "Essa palavra está perfeita, cada traço está no lugar".
• O objetivo: Dar uma nota de 0 a 5 para a qualidade visual do texto, exatamente como um humano faria.

Por que os métodos antigos falhavam?

O artigo explica que as ferramentas antigas eram como tentar usar um scanner de código de barras para julgar a beleza de uma pintura:

1. OCR (Reconhecimento de Texto): É como um robô que tenta ler o texto. Se ele consegue ler "AVENTURA", ele diz "Nota 5!". Mas ele não percebe que o "V" está torto ou que o "T" está quebrado. Para ele, o texto está "correto", mesmo que visualmente seja um desastre.
2. IAs "Gerais" (VLMs): São modelos superinteligentes que podem conversar sobre tudo. O problema é que, quando você pede para eles avaliarem o texto, eles ficam confusos. Às vezes, eles dão nota alta porque a imagem do fundo é bonita, às vezes porque a frase faz sentido, e às vezes eles erram porque a pergunta foi feita de um jeito diferente. Eles são como um juiz de concurso de beleza que se distrai com o vestido da candidata e esquece de julgar o rosto.

A Solução: O "ANTIQA" (O Detetive de Letras)

Os autores criaram um novo modelo chamado ANTIQA. Pense nele como um detetive de letras treinado com milhões de exemplos.

• Como ele aprendeu: Eles mostraram para o modelo 10.000 pedaços de texto com notas dadas por humanos (dizendo o quão feio ou bonito estava) e mais 110.000 pedaços de texto para ele estudar os padrões.
• O que ele vê: Ele é treinado para notar detalhes que outros ignoram: letras quebradas, traços finos demais, espaçamento estranho entre as letras (como se elas estivessem brigando) e letras que parecem ter sido "alucinadas" pela IA.
• A vantagem: Ele é rápido e barato. Enquanto os modelos "gigantes" demoram para responder, o ANTIQA é leve e pode ser usado em tempo real.

Para que serve isso no mundo real?

O artigo mostra que o TIQA não é apenas um experimento de laboratório; ele resolve problemas reais:

1. O "Filtro de Qualidade": Imagine que você gera 5 imagens diferentes para o mesmo pôster. O TIQA olha para as 5, ignora as que têm letras tortas e te entrega apenas a melhor. Isso economiza tempo e dinheiro.
2. Melhorar a IA: Os criadores de IAs podem usar o TIQA como um "professor". Se a IA gera um texto feio, o TIQA dá uma nota baixa. A IA aprende com essa nota e tenta melhorar na próxima vez, criando um ciclo de melhoria.
3. Confiança: Se você vê um pôster gerado por IA e o TIQA diz "Nota 5", você pode confiar que as letras estão legíveis e bonitas, sem precisar ler cada palavra manualmente.

Resumo da Ópera

Este paper diz: "Parar de julgar texto em imagens apenas pelo que está escrito. Vamos julgar pelo como está escrito".

Eles criaram um novo "olho" (o TIQA) e um novo "cérebro" (o ANTIQA) que entendem que uma letra torto é tão importante quanto uma cor errada. É como ter um editor de texto que não corrige a gramática, mas garante que a fonte seja bonita e legível, garantindo que as imagens geradas por IA não pareçam feitas por um amador.

Resumo técnico

Resumo Técnico: TIQA – Avaliação de Qualidade de Texto Alinhada ao Humano em Imagens Geradas

1. O Problema

A renderização de texto continua sendo uma das principais falhas dos modelos modernos de texto-para-imagem (T2I). Embora os modelos tenham melhorado significativamente na semântica e no realismo global, eles frequentemente produzem artefatos visuais no texto, como:

• Glifos malformados e traços quebrados.
• Espessura inconsistente e kerning (espaçamento entre letras) instável.
• Alinhamento de base irregular e "alucinações" de caracteres.

As abordagens de avaliação atuais são insuficientes para capturar a qualidade perceptual desses defeitos:

• Baseadas em OCR: Focam na correção semântica (o texto está legível como string?), mas ignoram defeitos visuais graves que humanos penalizam severamente, mesmo que o texto seja decodificável.
• Baseadas em VLM (Vision-Language Models): Podem julgar artefatos, mas seus resultados são sensíveis ao prompting, sofrem de drift de versão e não são padronizados como métricas de qualidade.
• Métricas Genéricas de IQA: Não são projetadas para isolar falhas tipográficas específicas de geração.

Existe, portanto, uma lacuna para uma métrica que avalie a fidelidade perceptual do texto renderizado, independentemente de sua correção semântica.

2. Metodologia

O artigo propõe uma nova tarefa chamada TIQA (Text-in-Image Quality Assessment) e uma solução específica chamada ANTIQA.

A. Definição da Tarefa (TIQA)
O objetivo é prever um escore escalar de qualidade perceptual para uma região de texto detectada em uma imagem gerada por IA. O escore deve correlacionar-se com o Mean Opinion Score (MOS) humano, focando exclusivamente em artefatos de renderização (topologia do glifo, continuidade do traço, regularidade tipográfica), ignorando se a palavra está escrita corretamente ou faz sentido.

B. Datasets Propostos
Os autores lançaram dois conjuntos de dados públicos para treinamento e benchmark:

1. TIQA-Crops: Contém 120.000 "crops" (recortes) de texto extraídos de 36.000 imagens geradas por 12 modelos T2I.
   • 10.000 crops possuem anotações de MOS (avaliação humana direta).
   • 110.000 crops possuem anotações de confiança de OCR (usadas para pré-treinamento como proxy).
2. TIQA-Images: Contém 1.500 imagens completas (full-frame) ricas em texto, geradas por 10 modelos recentes (incluindo proprietários como GPT Image 1.5 e Nano Banana Pro). Cada imagem possui duas anotações MOS: qualidade geral da imagem e qualidade apenas do texto (usando uma versão da imagem onde o fundo foi removido).

C. O Modelo ANTIQA
Foi desenvolvido o ANTIQA, um modelo leve e especializado para TIQA.

• Arquitetura: É uma CNN regressora multi-escala compacta.
• Entrada: Um crop de texto convertido para escala de cinza concatenado com um mapa de bordas de Sobel.
• Design Específico:
  • Utiliza convoluções em faixas (strip convolutions) anisotrópicas (1×k e k×1) para capturar a geometria de traços e bases de letras.
  • Incorpora blocos SE (Squeeze-and-Excitation) para recalibrar canais e ser robusto a diferentes fontes e estilos.
  • Utiliza Pooling Adaptativo (APB) em múltiplas escalas para capturar detalhes locais e estrutura global.
• Treinamento:
  1. Pré-treinamento: Usando 110k crops com confiança de OCR mapeada para a escala MOS via transporte ótimo neural.
  2. Ajuste Fino (Fine-tuning): Usando os 10k crops com MOS humano, otimizando uma combinação de perda de MSE e perda de ordenação (ranking).

3. Contribuições Principais

1. Nova Formulação de Tarefa (TIQA): Define formalmente a avaliação de qualidade de texto baseada em percepção visual, separada da semântica.
2. Datasets de Referência: Disponibilização de TIQA-Crops e TIQA-Images, cobrindo uma ampla gama de modelos T2I (incluindo proprietários) com anotações humanas rigorosas.
3. Método ANTIQA: Um modelo eficiente que supera baselines fortes (OCR, VLMs e métricas genéricas de IQA) em correlação com humanos.
4. Aplicações Práticas: Demonstração de que o TIQA é eficaz para filtragem e reclassificação (reranking) em pipelines de geração, melhorando a qualidade final das imagens selecionadas.

4. Resultados Experimentais

Os resultados foram medidos usando PLCC (Coeficiente de Correlação Linear de Pearson) e SROCC (Coeficiente de Correlação de Ordem de Spearman) em relação aos MOS humanos.

• Desempenho no TIQA-Crops (Nível de Recorte):
  • O ANTIQA alcançou PLCC 0.942 e SROCC 0.935.
  • Superou significativamente o OCR (PaddleOCR: ~0.78) e os VLMs (Qwen3: ~0.89), mostrando que reconhecer o texto não é suficiente para julgar sua qualidade visual.
• Desempenho no TIQA-Images (Nível de Imagem Completa):
  • O ANTIQA alcançou PLCC 0.842 para qualidade de texto e 0.810 para qualidade geral.
  • Superou VLMs e métricas genéricas (TOPIQ) em todos os cenários, incluindo modelos de T2I não vistos durante o treinamento (generalização).
• Seleção "Best-of-K" (Melhor de K):
  • Ao selecionar a melhor imagem entre 5 gerações do mesmo prompt usando ANTIQA, houve um aumento médio de +14% na qualidade de texto (MOS) e +9.9% na qualidade geral, comparado à seleção aleatória.
  • O ANTIQA fechou 72% da lacuna entre a seleção aleatória e um "Oráculo" (seleção perfeita) para qualidade de texto.
• Análise de Modelos Atuais:
  • Mesmo nos modelos mais recentes, a qualidade do texto (TQ-MOS) é consistentemente inferior à qualidade visual geral (OQ-MOS), indicando que a renderização de texto ainda é um gargalo persistente.

5. Significado e Impacto

• Preenchimento de Lacuna Crítica: O TIQA fornece o sinal de feedback necessário para treinar, guiar ou reclassificar gerações de T2I focando especificamente em artefatos tipográficos, algo que métricas de OCR ou VLMs falham em fazer com precisão.
• Eficiência e Escalabilidade: O modelo ANTIQA é leve (3.8M parâmetros) e rápido (~119 FPS), tornando-o viável para uso em tempo real em pipelines de produção, ao contrário de VLMs pesados.
• Melhoria de Pipeline: A capacidade de filtrar imagens com texto defeituoso antes da entrega ao usuário final aumenta drasticamente a utilidade prática de geradores de imagens para casos de uso como posters, interfaces de usuário e documentos.
• Direção Futura: O trabalho motiva a integração de sinais de TIQA em loops de controle fechado para o treinamento de modelos T2I, visando resolver as falhas de cauda (outliers severos) que ainda persistem nos modelos mais avançados.

Em resumo, o artigo estabelece um novo padrão para avaliar a qualidade de texto em imagens geradas por IA, demonstrando que uma abordagem especializada e alinhada ao humano é superior às soluções genéricas ou baseadas apenas em reconhecimento de texto.