Resumo Técnico: TiGeSR (Text–image Guided Super-Resolution)

Declaração do Problema

A Super-Resolução (SR) de Imagens de Texto em Cena enfrenta um compromisso fundamental entre a fidelidade geral da imagem e a legibilidade textual. Embora os modelos generativos modernos (ex: abordagens baseadas em difusão) se destaquem na restauração de texturas e detalhes naturais em imagens gerais, eles frequentemente distorcem regiões de texto, transformando caracteres em algo sem sentido (gibberish). Isso é particularmente crítico para caracteres chineses, onde pequenas distorções ou omissões de traços podem alterar completamente o significado semântico. Por outro lado, métodos focados apenas em regiões de texto carecem de restrições globais de fundo, levando a inconsistências de estilo e artefatos de bloco entre o texto e o seu entorno. Os conjuntos de dados existentes também são limitados, oferecendo tipicamente apenas degradação leve (zoom $\le \times 4$), o que falha em refletir cenários desafiadores do mundo real, como a fotografia de longa distância.

Metodologia: TiGeSR

Os autores propõem o TiGeSR, um framework de dois estágios que opera sob um paradigma de "texto primeiro, imagem depois". Esta abordagem desacopla explicitamente a restauração de glifos do aprimoramento de imagem geral para garantir tanto a precisão estrutural quanto a coerência visual.

1. Estágio 1: Restauração de Texto

O primeiro estágio foca exclusivamente na reconstrução de estruturas de glifos precisas a partir de entradas de Baixa Resolução (LR).

• Pipeline: Um detector de OCR localiza regiões de texto e extrai o conteúdo semântico. Essas regiões são codificadas via VAE e processadas por um modelo de difusão baseado em UNet.
• Saída de Dupla Ramificação: O modelo gera duas ramificações: uma ramificação de aparência ($z_{RGB}$) e uma ramificação de estrutura ($z_m$). A ramificação de estrutura é condicionada ao conteúdo de texto previsto via atenção cruzada (cross-attention) para guiar a recuperação da geometria dos traços.
• Estratégia de Treinamento: Para equilibrar a precisão sintética com a generalização no mundo real, é empregada uma estratégia de treinamento de duas fases. A Fase 1 utiliza dados sintéticos e reais para aprender padrões de degradação. A Fase 2 congela os blocos de saída RGB e treina a UNet exclusivamente em dados sintéticos para refinar a qualidade das máscaras de texto, garantindo estruturas de glifos de alta fidelidade sem o ruído de erros de segmentação do mundo real.
• Funções de Perda: O estágio utiliza uma perda de difusão de controle de texto combinada com uma perda orientada à segmentação (perdas MSE, Focal e Dice) para supervisionar a geração de máscaras ao nível de pixel.

2. Estágio 2: Aprimoramento de Imagem

O segundo estágio realiza a super-resolução de imagem completa, utilizando as estruturas de texto restauradas como orientação condicional.

• Pipeline: Uma rede do tipo ControlNet recebe a entrada LR e a máscara de texto reconstruída ($\hat{x}_m$) do Estágio 1.
• Mecanismo: A máscara de texto é injetada como uma condição no processo de difusão, direcionando a super-resolução global para harmonizar o texto com o fundo enquanto suprime artefatos.
• Funções de Perda: O objetivo de treinamento combina uma soma ponderada de perdas MSE e LPIPS para qualidade de imagem geral, além de uma perda de borda (usando operadores Sobel) para preservar especificamente a integridade dos traços e os limites dos glifos.

Principais Contribuições

1. Framework TiGeSR: O primeiro framework de SR de texto em cena de dois estágios que desacopla a restauração de glifos do aprimoramento de imagem. Ao restaurar as estruturas de texto primeiro e usá-las para guiar a restauração da imagem completa, ele alcança alta legibilidade e qualidade visual simultaneamente.
2. Dataset UZ-ST: A introdução do UltraZoom-Scene Text (UZ-ST), o primeiro conjunto de dados de texto em cena chinês apresentando um zoom máximo de $\times 14.29$. Ele contém 5.036 pares LR–HR com 49.675 linhas de texto, cobrindo diversos cenários (placas, pôsteres, documentos) e condições de iluminação. O dataset inclui um pipeline de "Alinhamento Caduente de Grosso para Fino" (Cascade Coarse-to-Fine Alignment) para lidar com desalinhamentos severos causados por mudanças extremas de distância focal.
3. Desempenho de Estado da Arte: Experimentos extensivos no Real-CE e no novo benchmark UZ-ST demonstram que o TiGeSR supera os métodos existentes baseados em GAN e difusão, particularmente na preservação da estrutura do texto sob degradação severa.

Resultados Experimentais

• Desempenho Quantitativo: No benchmark UZ-ST, o TiGeSR alcançou uma Precisão de OCR (OCR-A) de 43,0% e um PSNR de 25,48, superando significativamente competidores como TADiSR (36,6% OCR-A) e DiffTSR (31,7% OCR-A). No benchmark Real-CE, atingiu 67,3% de OCR-A.
• Qualidade da Região de Texto: Quando avaliado especificamente em regiões de texto recortadas, o TiGeSR mostrou ganhos positivos em OCR-A (+2,5% no Real-CE, +1,3% no UZ-ST) em comparação com a entrada LR, enquanto a maioria dos outros métodos sofreu quedas de desempenho.
• Resultados Qualitativos: Comparações visuais mostram que o TiGeSR restaura com sucesso detalhes finos de traços e mantém a consistência de cor com o fundo, enquanto outros métodos frequentemente produzem caracteres distorcidos ou cores de texto inconsistentes.
• Estudos de Ablação:
  • O paradigma "texto primeiro" é validado ao mostrar que remover o estágio de restauração de texto (usando máscaras vazias) causa uma queda significativa no OCR-A (de 67,3% para 59,5%).
  • O framework é robusto mesmo quando as previsões de OCR são nulas ou aleatórias, indicando que o modelo depende fortemente das pistas estruturais inerentes na entrada LR, e não apenas do texto do OCR.
  • A estratégia de treinamento de duas fases é crucial para generalizar para a degradação do mundo real enquanto mantém a precisão da máscara.

Significância e Alegações

O artigo afirma que o TiGeSR resolve o persistente compromisso entre qualidade de imagem e legibilidade de texto ao tratar as regiões de texto e não-texto de forma distinta. Ao reconstruir explicitamente as estruturas de glifos antes de aprimorar a imagem completa, o método garante que o significado semântico do texto seja preservado enquanto mantém alta fidelidade visual. A introdução do UZ-ST aborda uma lacuna crítica de dados, fornecendo um benchmark desafiador para avaliar modelos sob condições de degradação extrema do mundo real (até $\times 14,29$ de zoom) que anteriormente não haviam sido testadas. Os autores posicionam o TiGeSR como uma evolução necessária na SR de texto em cena, indo além da síntese de textura "plausível" para a restauração estrutural precisa.