PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution

Resumen Técnico: PRISM

Enunciado del Problema
La Super-Resolución de Texto en Imágenes (Text-SR) tiene como objetivo restaurar texto de alta resolución a partir de entradas degradadas de baja calidad. A diferencia de la super-resolución de imágenes genérica, la Text-SR requiere preservar no solo la plausibilidad visual, sino también la fidelidad semántica, ya que errores menores en la topología de los trazos pueden alterar la identidad del carácter y romper la legibilidad. El artículo identifica dos desafíos críticos y acoplados en los métodos existentes, particularmente bajo degradación severa:

1. Condiciones de Texto No Confiables: Los métodos basados en difusión actuales a menudo derivan las condiciones de texto directamente de las entradas degradadas. Cuando los trazos están fuertemente corruptos, estas condiciones inferidas son inherentemente poco fiables, lo que lleva al modelo a generar caracteres nítidos pero semánticamente incorrectos.
2. Estructuras Locales Ambiguas: Incluso con un prior global plausible, los límites finos de los trazos (por ejemplo, cierres, intersecciones) permanecen ambiguos. Confiar en señales de borde de imágenes degradadas es riesgoso, ya que estos bordes a menudo están ausentes o son engañosos.

Los enfoques existentes luchan por desentrañar la estimación de condiciones de la reconstrucción de imágenes, lo que a menudo resulta en una compensación donde el modelo no puede distinguir entre corregir la geometría del trazo y compensar una condición de alto nivel errónea.

Metodología
Los autores proponen PRISM (Rectificación de Prior y Modelado de Estructura Consciente de la Incertidumbre), un marco basado en difusión de un solo paso que descompone explícitamente la restauración en rectificación de prior global y refinamiento de estructura local. El marco se basa en un modelo de difusión latente preentrenado (Stable Diffusion 2.1) y consta de dos componentes principales:

1. FMPR (Rectificación de Prior de Ajuste de Flujo):

   • Objetivo: Aprender una condición consciente del texto fiable a partir de entradas degradadas mediante la rectificación del espacio de prior.
   • Mecanismo: FMPR emplea una estrategia de "aprendizaje privilegiado". Durante el entrenamiento, se construye un Prior Condicional Privilegiado ($c^*$) utilizando latentes emparejados de baja calidad (LQ) y alta calidad (HQ), proporcionando una distribución objetivo limpia. Durante la inferencia, solo está disponible la entrada degradada.
   • Ajuste de Flujo: En lugar de regresión directa o priores de difusión estándar, FMPR modela la recuperación del prior como un problema de transporte de ajuste de flujo. Aprende un campo de velocidad ($\mathcal{V}_{FM}$) que transporta la incrustación de prior LQ observada ($c_l$) hacia el espacio de prior privilegiado ($c^*$). Esto se logra mediante integración de Euler sobre una trayectoria continua, produciendo un prior recuperado ($\hat{c}$) que sirve como una señal de guía global robusta para el núcleo de restauración.

2. SURE (Codificador Residual Consciente de la Estructura y la Incertidumbre):

   • Objetivo: Refinar la geometría local de los trazos mientras se maneja la ambigüedad de los bordes degradados.
   • Mecanismo: SURE actúa como una rama consciente de la estructura que inyecta controles residuales en el núcleo de difusión congelado. Cuenta con un Extractor de Señales Espaciales Consciente de la Incertidumbre que predice tanto la media como la varianza (incertidumbre) de las características estructurales a partir de la imagen degradada.
   • Control Estocástico: Utilizando un truco de reparametrización, SURE muestrea señales estructurales estocásticas. Esto permite que el modelo represente regiones ambiguas con alta incertidumbre en lugar de forzar una predicción de borde determinista (y potencialmente incorrecta). Un Codificador Residual Estructural utiliza luego estas señales para predecir señales residuales multinivel ($R$) que refinan las características de conexión de salto del UNet.
   • Entrenamiento: La rama se entrena con una pérdida consciente de la estructura que incluye una pérdida de predicción de bordes (comparando los bordes predichos con la verdad fundamental extraída mediante Sobel) y una penalización de divergencia KL para evitar el colapso de la varianza, asegurando que el mecanismo de incertidumbre permanezca activo.

Contribuciones Clave

• Marco PRISM: Un modelo de Text-SR basado en difusión de un solo paso que desacopla la recuperación de prior global del refinamiento de estructura local, abordando la fiabilidad de las condiciones de texto bajo degradación severa.
• Módulo FMPR: Un mecanismo de rectificación de prior de ajuste de flujo que aprende a transportar incrustaciones degradadas hacia un espacio de prior privilegiado orientado a la restauración, mejorando significativamente la precisión de la guía global de texto en comparación con la regresión directa o los priores de difusión estándar.
• Módulo SURE: La primera formulación de control de bordes consciente de la incertidumbre adaptada para el refinamiento estructural específico del texto. Cierra selectivamente la información de bordes basada en la incertidumbre aprendida, suprimiendo señales de trazo ambiguas mientras absorbe evidencia local fiable.
• Eficiencia: El método logra un rendimiento de vanguardia con inferencia a nivel de milisegundos (un solo paso), contrastando marcadamente con los métodos de difusión iterativos que requieren decenas o cientos de pasos.

Resultados Experimentales
Los autores evalúan PRISM en benchmarks tanto sintéticos (BTL-test) como del mundo real (RealCE-val) que involucran texto en chino e inglés.

• Rendimiento: PRISM logra resultados de vanguardia en múltiples métricas, incluyendo PSNR, LPIPS, FID, Precisión de OCR (ACC) y Distancia de Edición Normalizada (NED). Notablemente, bajo degradación severa de $\times4$ en RealCE-val, mejora la ACC del 60,62% (segundo mejor) al 65,19% y reduce significativamente el FID.
• Análisis Cualitativo: Las comparaciones visuales muestran que PRISM produce estructuras de caracteres más nítidas y coherentes con menos trazos rotos o fusionados en comparación con métodos como DiffTSR, TeReDiff y MARCONet. Maneja eficazmente glifos chinos complejos donde otros métodos a menudo fallan en preservar la topología del trazo.
• Eficiencia: PRISM infiere una sola imagen en aproximadamente 80 ms (0,08 s), lo que es órdenes de magnitud más rápido que DiffTSR (10,7 s) y TeReDiff (5,27 s), haciéndolo comparable en velocidad a los métodos CNN/Transformer no basados en difusión.
• Estudios de Ablación: Los experimentos confirman que el Ajuste de Flujo supera a la regresión directa y a la difusión estándar para la recuperación de prior. Además, se demuestra que el diseño consciente de la incertidumbre en SURE es superior a la guía de bordes determinista, particularmente al manejar regiones ambiguas donde bordes incorrectos sobreconfiados perjudicarían la legibilidad.

Significado y Afirmaciones
El artículo afirma que PRISM aborda un cuello de botella fundamental en la Text-SR: la fiabilidad de la guía consciente del texto bajo degradación severa. Al separar explícitamente la recuperación de un prior de texto estable del refinamiento de estructuras locales inciertas, el método evita el enredo de la estimación de condiciones y la reconstrucción de imágenes que afecta a los enfoques existentes. Los autores afirman que este diseño permite la recuperación de estructuras de glifos semánticamente fieles con precisión subcaracterística, manteniendo al mismo tiempo la eficiencia requerida para el despliegue práctico. El trabajo introduce un nuevo paradigma para la restauración consciente del texto que prioriza el modelado de la incertidumbre estructural, ofreciendo una solución robusta para la mejora de documentos del mundo real y el preprocesamiento para el reconocimiento de texto en escenas.