PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution

Riepilogo Tecnico: PRISM

Enunciato del Problema
La Super-Risoluzione di Immagini di Testo (Text-SR) mira a ripristinare testo ad alta risoluzione da input degradati di bassa qualità. A differenza della super-risoluzione generica delle immagini, la Text-SR richiede di preservare non solo la plausibilità visiva ma anche la fedeltà semantica, poiché errori minori nella topologia dei tratti possono alterare l'identità del carattere e compromettere la leggibilità. Il documento identifica due sfide critiche e accoppiate nei metodi esistenti, in particolare sotto degradazione severa:

1. Condizioni di Testo Inaffidabili: I metodi basati su diffusione attuali derivano spesso le condizioni di testo direttamente dagli input degradati. Quando i tratti sono pesantemente corrotti, queste condizioni inferite sono intrinsecamente inaffidabili, portando il modello a generare caratteri nitidi ma semanticamente errati.
2. Strutture Locali Ambigue: Anche con un prior globale plausibile, i confini fini dei tratti (ad esempio, chiusure, intersezioni) rimangono ambigui. Fare affidamento su segnali di bordo tratti da immagini degradate è rischioso poiché questi bordi sono spesso assenti o fuorvianti.

Gli approcci esistenti faticano a disaccoppiare la stima delle condizioni dalla ricostruzione dell'immagine, risultando spesso in un compromesso in cui il modello non riesce a distinguere tra la correzione della geometria del tratto e la compensazione di una condizione di alto livello errata.

Metodologia
Gli autori propongono PRISM (Prior Rectification and Uncertainty-Aware Structure Modeling), un framework basato su diffusione a singolo passo che scompone esplicitamente il ripristino in rettifica del prior globale e rifinitura della struttura locale. Il framework è costruito su un modello di diffusione latente pre-addestrato (Stable Diffusion 2.1) e consiste in due componenti principali:

1. FMPR (Flow-Matching Prior Rectification):

   • Obiettivo: Apprendere una condizione consapevole del testo affidabile dagli input degradati rettificando lo spazio del prior.
   • Meccanismo: FMPR impiega una strategia di "apprendimento privilegiato". Durante l'addestramento, viene costruito un Prior Condizionato Privilegiato ($c^*$) utilizzando latenti accoppiati di bassa qualità (LQ) e alta qualità (HQ), fornendo una distribuzione target pulita. Durante l'inferenza, è disponibile solo l'input degradato.
   • Flow Matching: Invece della regressione diretta o dei prior di diffusione standard, FMPR modella il recupero del prior come un problema di trasporto di flow-matching. Apprende un campo di velocità ($\mathcal{V}_{FM}$) che trasporta l'embedding del prior LQ osservato ($c_l$) verso lo spazio del prior privilegiato ($c^*$). Ciò è ottenuto tramite integrazione di Eulero su un percorso continuo, producendo un prior recuperato ($\hat{c}$) che funge da segnale di guida globale robusto per il backbone di ripristino.

2. SURE (Structure-guided Uncertainty-aware Residual Encoder):

   • Obiettivo: Rifinire la geometria locale dei tratti gestendo al contempo l'ambiguità dei bordi degradati.
   • Meccanismo: SURE agisce come un ramo consapevole della struttura che inietta controlli residui nel backbone di diffusione congelato. Presenta un Estrattore di Segnali Spaziali Consapevole dell'Incertezza che predice sia la media che la varianza (incertezza) delle caratteristiche strutturali dall'immagine degradata.
   • Controllo Stocastico: Utilizzando un trucco di riparametrizzazione, SURE campiona segnali strutturali stocastici. Ciò permette al modello di rappresentare regioni ambigue con alta incertezza invece di forzare una predizione di bordo deterministica (e potenzialmente errata). Un Codificatore Residuo Strutturale utilizza quindi questi segnali per predire segnali residui multi-livello ($R$) che rifiniscono le caratteristiche di connessione in bypass dell'UNet.
   • Addestramento: Il ramo è addestrato con una loss consapevole della struttura che include una loss di predizione del bordo (confrontando i bordi preditti con la verità fondamentale estratta tramite Sobel) e una penalità di divergenza KL per prevenire il collasso della varianza, assicurando che il meccanismo di incertezza rimanga attivo.

Contributi Chiave

• Framework PRISM: Un modello Text-SR basato su diffusione a singolo passo che disaccoppia il recupero del prior globale dalla rifinitura della struttura locale, affrontando l'affidabilità delle condizioni di testo sotto degradazione severa.
• Modulo FMPR: Un meccanismo di rettifica del prior basato su flow-matching che apprende di trasportare gli embedding degradati verso uno spazio prior privilegiato e orientato al ripristino, migliorando significativamente l'accuratezza della guida globale del testo rispetto alla regressione diretta o ai prior di diffusione standard.
• Modulo SURE: La prima formulazione di controllo dei bordi consapevole dell'incertezza adattata alla rifinitura strutturale specifica per il testo. Gira adattivamente le informazioni sui bordi basandosi sull'incertezza appresa, sopprimendo i segnali di tratto ambigui mentre assorbe evidenze locali affidabili.
• Efficienza: Il metodo ottiene prestazioni all'avanguardia con inferenza a livello di millisecondi (singolo passo), in netto contrasto con i metodi di diffusione iterativi che richiedono decine o centinaia di passi.

Risultati Sperimentali
Gli autori valutano PRISM su benchmark sia sintetici (BTL-test) che del mondo reale (RealCE-val) che coinvolgono testo cinese e inglese.

• Prestazioni: PRISM ottiene risultati all'avanguardia su più metriche, inclusi PSNR, LPIPS, FID, Accuratezza OCR (ACC) e Distanza di Modifica Normalizzata (NED). Notevolmente, sotto degradazione severa $\times4$ su RealCE-val, migliora l'ACC dal 60,62% (secondo posto) al 65,19% e riduce significativamente il FID.
• Analisi Qualitativa: I confronti visivi mostrano che PRISM produce strutture di caratteri più nitide e coerenti, con meno tratti rotti o fusi rispetto a metodi come DiffTSR, TeReDiff e MARCONet. Gestisce efficacemente glifi cinesi complessi dove altri metodi spesso falliscono nel preservare la topologia del tratto.
• Efficienza: PRISM inferisce un'immagine singola in circa 80ms (0,08s), che è ordini di grandezza più veloce di DiffTSR (10,7s) e TeReDiff (5,27s), rendendolo comparabile in velocità ai metodi CNN/Transformer non basati su diffusione.
• Studi di Ablazione: Gli esperimenti confermano che il Flow Matching supera la regressione diretta e la diffusione standard per il recupero del prior. Inoltre, il design consapevole dell'incertezza in SURE si dimostra superiore alla guida deterministica dei bordi, in particolare nella gestione di regioni ambigue dove bordi errati eccessivamente sicuri danneggerebbero la leggibilità.

Significato e Affermazioni
Il documento afferma che PRISM affronta un collo di bottiglia fondamentale nella Text-SR: l'affidabilità della guida consapevole del testo sotto degradazione severa. Separando esplicitamente il recupero di un prior di testo stabile dalla rifinitura di strutture locali incerte, il metodo evita l'intreccio tra stima delle condizioni e ricostruzione dell'immagine che affligge gli approcci esistenti. Gli autori affermano che questo design permette il recupero di strutture glifiche semanticamente fedeli con precisione sub-carattere, mantenendo al contempo l'efficienza richiesta per il dispiegamento pratico. Il lavoro introduce un nuovo paradigma per il ripristino consapevole del testo che dà priorità alla modellazione dell'incertezza strutturale, offrendo una soluzione robusta per il miglioramento di documenti reali e la pre-elaborazione del riconoscimento di testo in scena.