ImageRAGTurbo: Towards One-step Text-to-Image Generation with Retrieval-Augmented Diffusion Models

Titolo

ImageRAGTurbo: Verso una generazione Text-to-Image in un singolo passo con Modelli di Diffusione Potenziati dal Recupero (Retrieval-Augmented)

1. Il Problema

I modelli di diffusione sono attualmente lo stato dell'arte per la generazione di immagini da testo, ma soffrono di due limitazioni principali che ne ostacolano l'uso in applicazioni in tempo reale:

• Alta Latenza: Il processo di campionamento iterativo richiede tipicamente 25-50 passi per generare un'immagine coerente, creando un collo di bottiglia computazionale.
• Compromissione della Qualità nei Modelli "Few-Step": Le tecniche recenti per ridurre i passi a 1-4 (come i modelli distilled o consistency models) spesso sacrificano la fedeltà al prompt (allineamento testo-immagine) e la qualità dell'immagine. Ad esempio, un modello a un passo potrebbe fallire nel generare concetti visivi specifici richiesti dal prompt (es. "una barca" o "un faro").
• Costi di Addestramento: L'addestramento di modelli few-step di alta qualità richiede risorse computazionali enormi e procedure di distillazione complesse.

2. Metodologia: ImageRAGTurbo

Il paper propone ImageRAGTurbo, un framework innovativo che combina la generazione rapida (few-step) con il Retrieval-Augmented Generation (RAG). L'idea centrale è che l'iniezione di informazioni semantiche pertinenti (recuperate da un database) semplifica il compito del modello di mappare il rumore casuale sulla distribuzione target, permettendo di ridurre i passi senza perdere qualità.

Il framework si articola in tre componenti principali:

A. Recupero e Condizionamento

Dato un prompt target ($p_{tgt}$), il sistema recupera coppie testo-immagine rilevanti ($p_{retr}, x_{retr}$) da un database (es. OpenImage) utilizzando un encoder testuale pre-addestrato (CLIP).

B. Iniezione Diretta nello Spazio H (Preliminare)

Gli autori hanno inizialmente investigato un approccio training-free:

• Le immagini recuperate vengono codificate nello spazio latente ($z_{retr}$) e passate attraverso l'encoder del denoiser UNet per estrarre le feature dello spazio H (lo strato più profondo della rete, che contiene concetti ad alto livello).
• Queste feature ($h_{retr}$) vengono fuse con le feature del target ($h_{tgt}$) tramite interpolazione sferica normalizzata.
• Risultato: Migliora la fedeltà al prompt, ma richiede una costosa ricerca esaustiva dei parametri di fusione ($w$) durante l'inferenza, rendendolo impraticabile per applicazioni reali.

C. Adattamento Efficiente nello Spazio H (H-Adapter)

Per risolvere il problema della ricerca dei parametri, viene proposto un adattatore addestrabile nello spazio H:

• Viene inserito un modulo leggero (adapter) nello spazio H dell'UNet, che rimane congelato.
• L'adapter utilizza un meccanismo di cross-attention per fondere automaticamente le feature recuperate con quelle del prompt target, determinando dinamicamente la correlazione e il peso da assegnare al contenuto recuperato.
• Addestramento: Il modello viene finetunato utilizzando una strategia di addestramento avversario latente (Latent Adversarial Training).
  • Un discriminatore distingue tra le latenti generate dal modello studente (few-step) e quelle del modello insegnante (teacher).
  • Vengono aggiunte loss ausiliarie (Score Distillation Loss e Latent LPIPS Loss) per stabilizzare l'addestramento e migliorare la qualità visiva.
  • Vengono utilizzati adattamenti a basso rango (LoRA) anche sul decoder per un'efficienza parametrica.

3. Contributi Chiave

1. Nuovo Framework RAG per Modelli Few-Step: È la prima esplorazione dell'integrazione del RAG con modelli di diffusione a pochi passi, migliorando significativamente la fedeltà al prompt mantenendo la velocità.
2. Adattatore H-Space Efficiente: Sviluppo di un metodo di finetuning leggero che utilizza un adapter con cross-attention nello spazio H, riducendo i requisiti computazionali rispetto alle tradizionali tecniche di distillazione.
3. Performance Superiori: Dimostrazione sperimentale che il metodo supera gli approcci few-step esistenti sia in qualità di generazione che in allineamento al prompt, senza compromettere la latenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark MS-COCO e TIFA, confrontando ImageRAGTurbo (1 passo) con modelli come Stable Diffusion Turbo, Latent Consistency Model (4 passi) e Stable Diffusion standard (50 passi).

• Qualità e Allineamento (MS-COCO):

  • ImageRAGTurbo (1 passo) ottiene un punteggio CLIP superiore (+1.37%) rispetto a Stable Diffusion Turbo (senza recupero) e un FID migliore.
  • Supera significativamente il Latent Consistency Model (4 passi) in fedeltà e qualità.
  • Le prestazioni sono comparabili a quelle di Stable Diffusion v2-1-base che usa 50 passi, con un calo minimo (circa 1-2%) rispetto al modello teacher.

• Fedeltà al Prompt (TIFA):

  • Su TIFA, ImageRAGTurbo raggiunge un punteggio di 0.801 (vs 0.779 di SD Turbo), superando anche il modello a 50 passi in categorie specifiche come "oggetto", "attività" e "materiale".
  • Migliora il punteggio TIFA del 2.2% rispetto alla controparte senza recupero.

• Efficienza e Latenza:

  • Il tempo di inferenza totale è di 116.7 ms/immagine, paragonabile a Stable Diffusion Turbo (113.8 ms).
  • L'overhead introdotto dal recupero e dall'adapter è minimo (circa 2.5% in più di latenza), ma garantisce un miglioramento del 3% nel punteggio TIFA.
  • Il metodo è circa 25 volte più veloce del modello teacher a 50 passi con una perdita di qualità trascurabile.

5. Significato e Implicazioni

ImageRAGTurbo rappresenta un passo avanti significativo verso l'uso pratico dei modelli di diffusione in scenari interattivi e in tempo reale.

• Superamento del compromesso Velocità/Qualità: Dimostra che è possibile ottenere immagini ad alta fedeltà in un singolo passo, un obiettivo finora difficile da raggiungere con la sola distillazione.
• Scalabilità: L'uso di un database di recupero e di un adapter leggero rende il sistema scalabile e adattabile a nuovi domini senza riaddestrare l'intero modello di diffusione.
• Futuro: Il lavoro apre la strada a ricerche su recuperi più granulari (composizionali) e sull'integrazione di RAG in altre architetture generative veloci.

In sintesi, ImageRAGTurbo risolve il problema della bassa fedeltà nei modelli di diffusione ultra-veloci sfruttando informazioni esterne contestuali, offrendo una soluzione pratica per la generazione di immagini di alta qualità in tempo reale.