TextAlign: Preference Alignment for Text Rendering with Hierarchical Rewards

Resumo Técnico: TextAlign: Alinhamento de Preferência para Renderização de Texto com Recompensas Hierárquicas

Declaração do Problema
A renderização fiel de texto permanece uma fraqueza persistente em modelos generativos de texto-para-imagem de grande escala. Embora esses modelos se destaquem na síntese de imagens de alta fidelidade a partir de linguagem natural, eles lutam para satisfazer as restrições simbólicas discretas exigidas para texto visual. Diferentemente da geração genérica de objetos, a renderização de texto exige que as palavras pretendidas apareçam, os caracteres estejam ordenados corretamente, as formas dos glifos sejam reconhecíveis e o texto se integre naturalmente à cena circundante. Soluções existentes geralmente abordam isso por meio de intervenções específicas da arquitetura, como substituição de codificadores de texto, aumento de codificadores de imagem ou introdução de módulos auxiliares de controle de glifos (por exemplo, máscaras de segmentação). Essas abordagens frequentemente complicam a implantação, pois estão vinculadas a arquiteturas de modelo ou interfaces de condicionamento específicas, tornando difícil transferir melhorias para novos modelos fundamentais sem esforço significativo de engenharia ou interrupção dos priores generativos pré-treinados.

Metodologia: TextAlign
Os autores propõem o TextAlign, um framework de alinhamento de preferência pós-treinamento não invasivo projetado para melhorar a renderização de texto sem modificar a arquitetura do gerador. A inovação central reside em um sistema de recompensa baseado em modelo de visão-linguagem (VLM) hierárquico que decompõe erros de renderização em três níveis distintos:

1. Nível Global: Detecta a presença de texto legível e identifica falhas estruturais graves, como texto ausente ou contornos de glifos severamente distorcidos (por exemplo, traços quebrados, linhas de base deformadas).
2. Nível de Palavra: Avalia a fidelidade semântica identificando palavras inteiras omitidas, inseridas ou substituídas.
3. Nível de Glifo: Avalia a precisão tipográfica de granularidade fina detectando inserções, exclusões e substituições no nível de caractere.

Para cada imagem gerada e seu texto de referência, chamadas independentes de VLM produzem indicadores binários de defeito para cada nível. Esses indicadores são agregados em um único sinal de recompensa escalar representando a fração de categorias livres de defeitos. Essa recompensa escalar é compatível com dois paradigmas principais de otimização de preferência:

• Otimização de Política Relativa em Grupo (GRPO): A recompensa é normalizada dentro de um grupo de amostras para calcular vantagens relativas.
• Otimização Direta de Preferência (DPO): A recompensa é usada para classificar amostras geradas sob a mesma condição para construir pares de vencedores/derrotados.

Crucialmente, o framework não requer módulos treináveis adicionais, ramificações auxiliares ou sinais de supervisão específicos do modelo, preservando a arquitetura do modelo base e as capacidades generativas gerais.

Principais Contribuições

• Alinhamento Não Invasivo: Demonstra que a renderização de texto pode ser melhorada por meio do design de recompensa e alinhamento pós-treinamento, em vez de redesenho arquitetural, permitindo que a mesma "receita" seja aplicada a modelos fundamentais heterogêneos (por exemplo, FLUX.1-dev, Z-Image-Turbo, SD3.5, Qwen-Image).
• Design de Recompensa Hierárquica: Introduz uma decomposição de recompensa multinível que distingue entre falhas estruturais globais, erros semânticos de palavras e defeitos de glifos de granularidade fina, abordando as limitações de recompensas de métrica única, como a distância de edição OCR.
• Agnosticismo do Otimizador: Mostra que o mesmo sinal de recompensa hierárquico impulsiona efetivamente tanto o GRPO quanto o DPO, oferecendo uma interface de pós-treinamento geral para renderização de texto.

Resultados Experimentais
Os autores avaliaram o TextAlign no FLUX.1-dev e no Z-Image-Turbo, comparando com modelos fundamentais robustos (SD3.5, Qwen-Image) e sistemas especializados de renderização de texto (AnyText, TextDiffuser).

• Precisão do Texto: Tanto as variantes DPO quanto GRPO melhoraram consistentemente as métricas de precisão de texto baseadas em OCR (Pontuação de Edição Normalizada, Precisão, Recall, Pontuação F1 e Precisão Exata do Conjunto de Palavras) em comparação com seus respectivos modelos base. Na base Z-Image-Turbo, o modelo alinhado com GRPO alcançou as melhores pontuações em todas as métricas de OCR entre todos os métodos comparados.
• Qualidade Geral de Geração: O processo de alinhamento não degradou a qualidade geral de geração de imagens. Métricas como CLIPScore, ImageReward, PickScore e HPSv3 permaneceram competitivas, e estudos humanos indicaram que os modelos alinhados foram preferidos tanto pela fidelidade do texto quanto pela integração visual.
• Robustez e Generalização: Os modelos alinhados mantiveram desempenho estável em várias lengths de texto (curto a longo), posicionamentos espaciais (frente, meio, fundo) e dez categorias visuais diversas (por exemplo, pôsteres, logotipos, caligrafia, cenas acadêmicas). O framework também demonstrou transferibilidade, mostrando ganhos em um benchmark externo MARIO-Eval sem retreinamento nesses dados específicos.
• Estudos de Ablação: A remoção de qualquer um dos três níveis de recompensa (global, palavra ou glifo) resultou em quedas de desempenho, confirmando que a estrutura hierárquica é complementar e necessária para abordar o espectro completo de falhas de renderização.

Significado e Alegações
O artigo alega que a renderização visual confiável de texto pode ser significativamente melhorada por meio de modelagem de recompensa cuidadosamente projetada e alinhamento pós-treinamento, eliminando a necessidade de redesenho arquitetural específico do modelo. Ao tratar a renderização de texto como um problema de alinhamento de preferência, o TextAlign oferece uma alternativa escalável e agnóstica ao modelo à complexa engenharia exigida por intervenções anteriores em nível de arquitetura. Os resultados sugerem que a "receita" de design de recompensa hierárquica pode ser aplicada a diferentes geradores de imagem para aprimorar sua precisão tipográfica, preservando ao mesmo tempo sua competência visual ampla.