Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

1. Il Problema: Il Collo di Bottiglia della Scalabilità nella Super-Risoluzione

Le moderne reti di Super-Risoluzione a Immagine Singola (SISR), specialmente quelle basate su modelli generativi (come i modelli di diffusione), producono risultati fotorealistici eccellenti quando operano ai fattori di ingrandimento per cui sono state addestrate (es. 4x). Tuttavia, questi modelli soffrono di un grave limite di scalabilità: quando si tenta di utilizzarli per ingrandimenti estremi (es. 64x, 256x) ben oltre il loro regime di addestramento, le prestazioni crollano.

• Cause del fallimento: Le rappresentazioni interne e le funzioni di ripristino apprese sono strettamente accoppiate alla scala e al degrado specifici visti durante l'addestramento. Applicare il modello al di fuori di questo dominio viola le sue assunzioni apprese, portando a artefatti gravi, immagini sfocate o all'incapacità di generare dettagli ad alta frequenza significativi.
• Limiti delle soluzioni attuali: I metodi basati su ottimizzazione iterativa (senza addestramento) sono computazionalmente costosi. I metodi addestrati direttamente su fattori di ingrandimento estremi sono proibitivi in termini di memoria e tempo di calcolo.

2. Metodologia: Chain-of-Zoom (CoZ)

Gli autori propongono Chain-of-Zoom (CoZ), un framework agnostico rispetto al modello che risolve il problema decomponendo la super-risoluzione in una catena autoregressiva di stati di scala intermedi, arricchiti da prompt testuali "consapevoli della multi-scala".

A. Modellazione degli Stati di Scala Intermedi (Scale-Level Autoregression)

Invece di mappare direttamente l'immagine a bassa risoluzione ($x_L$) a quella ad alta risoluzione ($x_H$), CoZ introduce stati intermedi $x_i$.

• Decomposizione AR-2: Il processo generativo è modellato come una catena di Markov di ordine 2 (AR-2). La probabilità congiunta è fattorizzata in una sequenza di distribuzioni trattabili:
  $$p(x_0, c_1, x_1, ..., c_n, x_n) = p(x_0, c_1, x_1) \prod_{i=2}^{n} p(x_i | x_{i-1}, x_{i-2}, c_i) p(c_i | x_{i-1}, x_{i-2})$$
  Dove $x_{i-1}$ è lo stato corrente e $x_{i-2}$ è lo stato precedente.
• Ruolo dei Prompt ($c_i$): Poiché i segnali visivi diventano scarsi ad alti ingrandimenti, il modello utilizza prompt testuali estratti da un Vision-Language Model (VLM) per guidare la generazione. Il prompt $c_i$ è condizionato non solo sull'immagine corrente ($x_{i-1}$) ma anche su quella precedente ($x_{i-2}$), fornendo un contesto multi-scala che riduce le allucinazioni.

B. Estrazione di Prompt Consapevoli della Multi-Scala con RLHF (GRPO)

Per garantire che i prompt testuali guidino il modello verso risultati realistici e allineati alle preferenze umane, gli autori introducono un nuovo pipeline di addestramento:

• Vision-Language Model (VLM): Un VLM (es. Qwen2.5-VL) estrae descrizioni testuali basate sulle immagini a scala corrente e precedente.
• Generalized Reward Policy Optimization (GRPO): Il VLM viene fine-tunato utilizzando GRPO, un'alternativa alla PPO (Proximal Policy Optimization).
• Funzione di Ricompensa: La ricompensa totale $R(c_i)$ è una somma ponderata di tre componenti:
  1. Critic Preference Reward ($R_{critic}$): Un VLM "critico" più potente (es. InternVL2.5-8B) valuta la qualità semantica del prompt generato, assegnando un punteggio che funge da proxy per la preferenza umana.
  2. Phrase-Exclusion Reward ($R_{phrase}$): Penalizza l'uso di frasi inutili come "prima immagine" o "seconda immagine".
  3. Repetition Penalty ($R_{rep}$): Penalizza la ripetizione eccessiva di n-grammi nel testo.
     Questo processo allinea il VLM a generare prompt che migliorano la coerenza semantica e riducono le allucinazioni durante l'ingrandimento estremo.

C. Inferenza

Il processo di inferenza è ricorsivo:

1. Si parte dall'immagine LR ($x_0$).
2. Si genera un prompt $c_1$ basato su $x_0$.
3. Si genera lo stato successivo $x_1$ usando il modello SR di base (es. OSEDiff) condizionato da $x_0$ e $c_1$.
4. Per i passi successivi, si generano $c_i$ basati su $(x_{i-1}, x_{i-2})$ e si genera $x_i$.
5. Questo ciclo permette di raggiungere ingrandimenti estremi (fino a 256x) riutilizzando un singolo modello SR pre-addestrato (es. per 4x) senza ri-addestramento.

3. Contributi Chiave

1. Framework Chain-of-Zoom (CoZ): Un approccio autoregressivo a livello di scala che scompone la super-risoluzione estrema in una sequenza di passi gestibili, permettendo a qualsiasi modello SR esistente di raggiungere risoluzioni estreme senza ri-addestramento.
2. Estrazione di Prompt Multi-Scala: Una tecnica innovativa che utilizza VLM per generare prompt basati su stati di scala multipli ($x_{i-1}, x_{i-2}$), risolvendo il problema della scarsità di informazioni visive ad alti ingrandimenti.
3. Pipeline di Allineamento delle Preferenze (GRPO): Il primo utilizzo di GRPO per l'addestramento di VLM nell'estrazione di prompt per la super-risoluzione, utilizzando un modello critico per guidare la generazione verso risultati semanticamente coerenti e privi di allucinazioni.
4. Agnosticismo del Modello: Il framework funziona con qualsiasi backbone SR (diffusione o non-diffusione), dimostrando efficacia su modelli come OSEDiff e S3Diff.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come DIV2K e DIV8K, confrontando CoZ con metodi di interpolazione, super-risoluzione diretta (one-step) e varianti di CoZ con diversi tipi di prompt.

• Qualità Visiva: CoZ riesce a generare dettagli fini (texture di muri, venature delle foglie, rughe) fino a 256x di ingrandimento, mantenendo la fedeltà semantica. Le immagini sono nettamente superiori rispetto all'interpolazione o all'uso diretto di modelli SR su scale estreme.
• Metriche Quantitative (No-Reference):
  • A scale basse (4x), le differenze sono minime.
  • A scale elevate (64x, 256x), CoZ con prompt VLM (fine-tuned con GRPO) supera costantemente tutti gli altri metodi. Ad esempio, su DIV2K a 256x, CoZ (VLM) ottiene un punteggio NIQE di 9.82 (più basso è meglio) contro 16.17 della Super-Risoluzione Diretta e 34.84 dell'interpolazione.
  • I prompt generati dal VLM fine-tuned mostrano prestazioni superiori rispetto ai prompt "Null" o generati da estrattori non allineati (DAPE), specialmente alle scale più alte.
• Confronto con Baseline: CoZ applicato a modelli come S3Diff migliora drasticamente le prestazioni rispetto all'uso diretto di S3Diff o ad altri metodi a scala arbitraria (LIIF), che falliscono completamente a 256x.
• Efficienza: Sebbene richieda più passi di inferenza rispetto a un singolo salto, CoZ è significativamente più efficiente rispetto all'addestramento di nuovi modelli per ogni fattore di ingrandimento e offre una via praticabile per risoluzioni estreme.

5. Significato e Impatto

Il lavoro di Chain-of-Zoom risolve una limitazione fondamentale nel campo della super-risoluzione: la rigidità dei modelli addestrati su scale fisse.

• Flessibilità: Permette agli utenti di ingrandire immagini a livelli arbitrari senza la necessità di addestrare modelli specifici per ogni fattore di ingrandimento.
• Efficienza delle Risorse: Sfrutta modelli esistenti (spesso 4x) per compiti estremi, riducendo drasticamente i costi computazionali e di memoria rispetto all'addestramento diretto su scale 64x o 256x.
• Nuova Direzione per la Guida Testuale: Dimostra come l'allineamento delle preferenze umane tramite RLHF (GRPO) possa essere utilizzato per migliorare la guida testuale in compiti di visione artificiale complessi, trasformando i prompt da semplici descrizioni in strumenti di controllo semantico critici per la generazione di dettagli realistici.

In sintesi, CoZ trasforma i modelli di super-risoluzione da strumenti a scala fissa in motori di ingrandimento estremo, aprendo nuove possibilità per l'enhancement di immagini in ambiti critici come la sorveglianza satellitare, l'imaging medico e la conservazione dei media.