Sintesi Tecnica: Generazione di Immagini a Lungo Contesto Coerente con Attention Relazionale Sparsa (LCG)

Definizione del Problema

Sebbene i recenti modelli generativi abbiano raggiunto una fedeltà impressionante nella sintesi di singole immagini, essi faticano a mantenere la coerenza attraverso output sequenziali richiesti per applicazioni a lungo contesto come fumetti, storyboard e narrazioni visive. Gli approcci esistenti affrontano un compromesso fondamentale: la generazione indipendente dei pannelli ignora le evidenze cross-pannello, mentre la generazione sequenziale propaga il drift dell'identità precoce o l'errata assegnazione dei ruoli ai frame successivi. Inoltre, i meccanismi di attenzione densa tra tutti i pannelli, che consentono uno scambio diretto di informazioni, soffrono di una scalabilità quadratica della memoria ($O(N^2L^2D)$), superando rapidamente i budget di memoria pratici all'aumentare del numero di pannelli ($N$). Di conseguenza, lo sviluppo di modelli in grado di sfruttare efficientemente il contesto visivo a lungo raggio preservando al contempo la coerenza globale rimane una sfida aperta.

Metodologia

Gli autori propongono Long-Context Generation (LCG), un framework basato sulla diffusione progettato per la generazione di immagini testo-immagine a lungo contesto multi-immagine. Data una sequenza di prompt specifici per la scena, LCG sintetizza congiuntamente una sequenza di immagini corrispondente, garantendo l'allineamento con i singoli prompt e preservando l'identità del personaggio, l'assegnazione dei ruoli e la continuità visiva. Il framework opera assegnando a ciascun prompt un ramo di generazione parallelo e denoisando tutti i rami congiuntamente.

LCG introduce due meccanismi centrali per affrontare la scalabilità e la coerenza:

1. Sparse Relational Attention (SRA)

Per superare i limiti di memoria dell'attenzione densa, LCG riformula l'interazione tra i rami in un meccanismo di Sparse Relational Attention. Invece di prestare attenzione a tutti i token in tutti i rami, ogni ramo di generazione presta attenzione selettivamente alle regioni più rilevanti dagli altri.

• Compressione Semantica Grossolana: Il modello comprime le sequenze di token da tutti i rami in rappresentazioni a livello di blocco per identificare le regioni globalmente rilevanti.
• Selezione Locale e Globale: Le query recuperano prima i top-$K$ token rilevanti dal proprio ramo (contesto locale) e poi prestano attenzione alle rappresentazioni semantiche compresse da tutti i rami per selezionare i blocchi rilevanti (contesto globale).
• Recupero Fine-Grained: I token a grana fine all'interno dei blocchi selezionati vengono recuperati per formare sottoinsiemi sparsi per il calcolo dell'attention.
• Complessità: Questo approccio riduce il costo computazionale da quadratico $O(N^2L^2D)$ a circa $O(NL(K_{loc} + K_{glob})D)$, dove i valori $K$ sono fissi e molto più piccoli della lunghezza totale della sequenza, rendendo computazionalmente trattabile la generazione a lungo contesto.
• Codifica a Livello di Ramo: Per distinguere i rami simultanei, LCG inietta identificatori di ramo unici nella dimensione temporale del 3D Rotary Position Embedding (RoPE).

2. Routing Consistency Constraint (RCC)

Sebbene la SRA permetta un'interazione efficiente, le rotte sparse sono selezionate in base alle feature del modello e possono essere instabili, portando a drift dell'identità o confusione dei ruoli (ad esempio, un personaggio che presta attenzione a una regione visivamente simile ma semanticamente errata in un altro pannello).

• Meccanismo: RCC sfrutta maschere consapevole dell'identità per imporre una corrispondenza semantica e strutturale tra i rami paralleli. Converte queste maschere in target di routing a livello di token.
• Funzione di Perdita: Il modello calcola una perdita di coerenza ($L_{RCC}$) che penalizza le deviazioni tra la mappa di attenzione sparsa predetta e la corrispondenza derivata dalla maschera. Nello specifico, incoraggia i token assegnati alla stessa identità di personaggio attraverso i diversi rami a formare rotte cross-branch più forti.
• Effetto: Questo regolarizza il flusso di attenzione, garantendo che l'evidenza di identità e ruolo sia propagata ai pannelli corretti senza richiedere una supervisione densa.

Contributi Chiave

1. Framework LCG: Un nuovo framework per la generazione di immagini testo-immagine a lungo contesto multi-immagine che consente uno scambio di informazioni sparso tra rami di generazione paralleli, migliorando sia la coerenza cross-pannello che la scalabilità.
2. Sparse Relational Attention (SRA): Un modulo di routing relazionale sparso che combina la selezione semantica compatta con il recupero di token relazionali a grana fine, consentendo un'efficace computazione a lungo contesto entro budget di memoria pratici.
3. Routing Consistency Constraint (RCC): Una funzione di perdita che converte le maschere consapevole dell'identità in target di routing a livello di token, mitigando efficacementamente il drift dell'aspetto e garantendo un'identità del personaggio e un layout della scena coerenti in scene complesse con più soggetti.
4. Long-Context Consistency Dataset (LCCD): La costruzione di un dataset sintetico su larga scala composto da 600K sequenze di addestramento (divise in scenari a singolo e multi-personaggio) e un set di test separato di 1K. Ogni sequenza contiene da 6 a 20 immagini, espandendo significativamente gli span di 2-4 frame dei dataset esistenti. Il dataset è generato tramite una pipeline strutturata utilizzando LLM per la definizione dei personaggi e la sintesi dei prompt, seguita da uno screening automatico della coerenza.

Risultati Sperimentali

Gli autori hanno valutato LCG sul test set LCCD, confrontandolo con i baseline tra cui Flux.1-dev, StoryDiffusion e Story2Board.

• Performance Quantitative: LCG ha ottenuto punteggi superiori in tutte le metriche:
  • Allineamento al Prompt (VQAScore): 0.71 (rispetto a 0.64 di Story2Board).
  • Coerenza del Soggetto (DreamSim): 0.75 (rispetto a 0.62 dei baseline).
  • Preservazione dell'Identità (FaceSim-Arc): 0.66 (rispetto a 0.52 di Story2Board).
  • Qualità Visiva (Aesthetic Score): 0.62.
• Valutazione Umana: In uno studio sugli utenti con 30 partecipanti, LCG ha ricevuto la preferenza complessiva più alta (4.03/5) e le valutazioni più forti per l'allineamento del testo (4.08) e la coerenza dell'identità (4.18).
• Studi di Ablazione:
  • Sostituire la SRA con l'attenzione completa ha migliorato leggermente la fedeltà del prompt ma non è riuscito a mantenere la coerenza su sequenze lunghe ed è andato oltre i limiti di memoria a 20 pannelli.
  • Rimuovere RCC ha portato a una realizzazione del prompt più debole, un sottile drift dell'identità e artefatti spurii.
  • Le performance sono rimaste competitive anche a 20 pannelli, sebbene si sia osservato un graduale declino delle metriche all'aumentare della lunghezza del contesto.
• Efficienza: La SRA ha ridotto significativamente l'uso di picco della VRAM e la latenza rispetto all'attenzione cross-branch densa. Mentre l'attenzione densa ha causato errori di memoria (OOM) a 20 pannelli su GPU H800, la SRA ha generato con successo sequenze di 20 pannelli.

Significato e Rivendicazioni

Il paper afferma che LCG affronta il limite critico degli attuali framework di diffusione controllabile, che si concentrano principalmente sulla personalizzazione di singole immagini o sul condizionamento del soggetto piuttosto che sulla sintesi congiunta a lungo contesto. Introducendo un routing relazionale sparso e un vincolo di coerenza guidato da maschere di identità, LCG consente la generazione di narrazioni visive coerenti con identità di personaggi coerenti attraverso sequenze estese (6–20 immagini) e interazioni complesse tra più personaggi.

Gli autori posizionano LCG come un passo verso la risoluzione del problema del "long-context drift" nell'IA generativa, dimostrando che è possibile mantenere la coerenza globale e la fedeltà dell'identità senza incorrere in costi computazionali proibitivi. Sebbene il metodo migliori significativamente la coerenza, gli autori notano con modestia che mantenere dettagli dell'identità a grana fine rimane più impegnativo all'aumentare della lunghezza della sequenza e del numero di personaggi che interagiscono, suggerendo che il lavoro futuro risieda in meccanismi di tracciamento dell'identità più forti.