PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution

Resumo Técnico: PRISM

Declaração do Problema
Super-Resolução de Texto em Imagem (Text-SR) visa restaurar texto de alta resolução a partir de entradas degradadas de baixa qualidade. Diferentemente da super-resolução de imagem genérica, a Text-SR exige preservar não apenas a plausibilidade visual, mas também a fidelidade semântica, pois erros mínimos na topologia dos traços podem alterar a identidade do caractere e comprometer a legibilidade. O artigo identifica dois desafios críticos e acoplados nos métodos existentes, particularmente sob degradação severa:

1. Condições de Texto Não Confiáveis: Métodos baseados em difusão atuais frequentemente derivam condições de texto diretamente de entradas degradadas. Quando os traços estão severamente corrompidos, essas condições inferidas são inerentemente não confiáveis, levando o modelo a gerar caracteres nítidos, mas semanticamente incorretos.
2. Estruturas Locais Ambíguas: Mesmo com um prior global plausível, os limites finos dos traços (por exemplo, fechamentos, interseções) permanecem ambíguos. Confiar em pistas de borda de imagens degradadas é arriscado, pois essas bordas frequentemente estão ausentes ou são enganosas.

As abordagens existentes lutam para desvendar a estimativa de condições da reconstrução de imagem, resultando frequentemente em um compromisso onde o modelo não consegue distinguir entre corrigir a geometria do traço e compensar uma condição de alto nível errônea.

Metodologia
Os autores propõem PRISM (Retificação de Priori e Modelagem de Estrutura Consciente de Incerteza), um framework baseado em difusão de passo único que decompõe explicitamente a restauração em retificação de priori global e refinamento de estrutura local. O framework é construído sobre um modelo de difusão latente pré-treinado (Stable Diffusion 2.1) e consiste em dois componentes principais:

1. FMPR (Retificação de Priori por Correspondência de Fluxo):

   • Objetivo: Aprender uma condição consciente de texto confiável a partir de entradas degradadas mediante a retificação do espaço de priori.
   • Mecanismo: O FMPR emprega uma estratégia de "aprendizado privilegiado". Durante o treinamento, uma Priori Condicional Privilegiada ($c^*$) é construída usando latentes pareados de baixa qualidade (LQ) e alta qualidade (HQ), fornecendo uma distribuição alvo limpa. Durante a inferência, apenas a entrada degradada está disponível.
   • Correspondência de Fluxo: Em vez de regressão direta ou priores de difusão padrão, o FMPR modela a recuperação do priori como um problema de transporte de correspondência de fluxo. Ele aprende um campo de velocidade ($\mathcal{V}_{FM}$) que transporta o embedding de priori LQ observado ($c_l$) em direção ao espaço de priori privilegiado ($c^*$). Isso é alcançado via integração de Euler sobre um caminho contínuo, resultando em um priori recuperado ($\hat{c}$) que serve como um sinal de orientação global robusto para o backbone de restauração.

2. SURE (Codificador Residual Consciente de Incerteza Guiado por Estrutura):

   • Objetivo: Refinar a geometria local dos traços enquanto lida com a ambiguidade das bordas degradadas.
   • Mecanismo: O SURE atua como um ramo consciente de estrutura que injeta controles residuais no backbone de difusão congelado. Ele apresenta um Extrator de Pistas Espaciais Consciente de Incerteza que prevê tanto a média quanto a variância (incerteza) de características estruturais a partir da imagem degradada.
   • Controle Estocástico: Usando um truque de reparametrização, o SURE amostra pistas estruturais estocásticas. Isso permite que o modelo represente regiões ambíguas com alta incerteza, em vez de forçar uma previsão de borda determinística (e potencialmente errônea). Um Codificador Residual Estrutural então usa essas pistas para prever sinais residuais multi-nível ($R$) que refinam as características de conexão de salto do UNet.
   • Treinamento: O ramo é treinado com uma perda consciente de estrutura que inclui uma perda de previsão de borda (comparando bordas previstas com a verdade-terrestre extraída por Sobel) e uma penalidade de divergência KL para evitar o colapso da variância, garantindo que o mecanismo de incerteza permaneça ativo.

Principais Contribuições

• Framework PRISM: Um modelo Text-SR baseado em difusão de passo único que desacopla a recuperação de priori global do refinamento de estrutura local, abordando a confiabilidade das condições de texto sob degradação severa.
• Módulo FMPR: Um mecanismo de retificação de priori por correspondência de fluxo que aprende a transportar embeddings degradados em direção a um espaço de priori privilegiado e orientado à restauração, melhorando significativamente a precisão da orientação global de texto em comparação com regressão direta ou priores de difusão padrão.
• Módulo SURE: A primeira formulação de controle de borda consciente de incerteza adaptada para refinamento estrutural específico de texto. Ela gateia adaptativamente informações de borda com base na incerteza aprendida, suprimindo pistas de traço ambíguas enquanto absorve evidências locais confiáveis.
• Eficiência: O método alcança desempenho de última geração com inferência em nível de milissegundos (passo único), contrastando fortemente com métodos de difusão iterativos que exigem dezenas ou centenas de passos.

Resultados Experimentais
Os autores avaliam o PRISM em benchmarks sintéticos (BTL-test) e do mundo real (RealCE-val) envolvendo texto em chinês e inglês.

• Desempenho: O PRISM alcança resultados de última geração em múltiplas métricas, incluindo PSNR, LPIPS, FID, Precisão de OCR (ACC) e Distância de Edição Normalizada (NED). Notavelmente, sob degradação severa $\times4$ no RealCE-val, ele melhora a ACC de 60,62% (segundo melhor) para 65,19% e reduz significativamente o FID.
• Análise Qualitativa: Comparações visuais mostram que o PRISM produz estruturas de caracteres mais nítidas e coerentes, com menos traços quebrados ou fundidos, em comparação com métodos como DiffTSR, TeReDiff e MARCONet. Ele lida efetivamente com glifos chineses complexos onde outros métodos frequentemente falham em preservar a topologia dos traços.
• Eficiência: O PRISM infere uma única imagem em aproximadamente 80ms (0,08s), o que é ordens de magnitude mais rápido que o DiffTSR (10,7s) e o TeReDiff (5,27s), tornando-o comparável em velocidade a métodos CNN/Transformer não baseados em difusão.
• Estudos de Ablação: Experimentos confirmam que a Correspondência de Fluxo supera a regressão direta e a difusão padrão para recuperação de priori. Além disso, o design consciente de incerteza no SURE demonstra ser superior à orientação de borda determinística, particularmente ao lidar com regiões ambíguas onde bordas errôneas superconfiantes prejudicariam a legibilidade.

Significado e Alegações
O artigo alega que o PRISM aborda um gargalo fundamental na Text-SR: a confiabilidade da orientação consciente de texto sob degradação severa. Ao separar explicitamente a recuperação de um priori de texto estável do refinamento de estruturas locais incertas, o método evita o emaranhamento da estimativa de condições e da reconstrução de imagem que aflige as abordagens existentes. Os autores afirmam que esse design permite a recuperação de estruturas de glifos semanticamente fiéis com precisão sub-caractere, mantendo a eficiência necessária para implantação prática. O trabalho introduz um novo paradigma para restauração consciente de texto que prioriza a modelagem de incerteza estrutural, oferecendo uma solução robusta para aprimoramento de documentos do mundo real e pré-processamento de reconhecimento de texto em cena.