Riepilogo Tecnico: FullFlow

Enunciato del Problema

I moderni modelli di diffusione e flusso rettificato per testo-immagine (T2I) possiedono priors visivi ricchi e forti capacità generative, ma operano strettamente in modo unidirezionale: testo in ingresso, immagine in uscita. Sebbene esistano modelli unificati visione-linguaggio (VLM), sono tipicamente costruiti condizionando un modello linguistico preaddestrato con un codificatore visivo o eseguendo un addestramento congiunto costoso da zero. Questi approcci spesso scartano i forti priors sulle immagini già codificati nei backbones T2I o richiedono un retraining sostanziale computazionalmente proibitivo. La domanda centrale affrontata da questo lavoro è se un modello di flusso T2I preaddestrato possa essere aggiornato in un generatore bidirezionale visione-linguaggio senza un preaddestramento multimodale completo o sacrificando il prior sull'immagine originale.

Metodologia

Gli autori propongono FullFlow, una ricetta efficiente in termini di parametri che aggiorna un modello T2I di flusso rettificato preaddestrato (specificamente Stable Diffusion 3 e FLUX.1-dev) in un generatore bidirezionale. L'innovazione fondamentale risiede nel trattare le due modalità in modo asimmetrico ma compatibile all'interno di un singolo backbone condiviso.

1. Estensione Multimodale nello Spazio Nativo

• Modalità Immagine: Le immagini rimangono nel loro spazio latente continuo nativo di flusso rettificato. Il modello preserva il processo di immagine continuo preaddestrato.
• Modalità Testo: Il testo è gestito tramite un processo di inserimento discreto basato su Edit Flows. A differenza della diffusione discreta basata su maschere (che introduce token fuori vocabolario incompatibili con codificatori congelati), FullFlow utilizza un processo forward basato sulla cancellazione. Ciò garantisce che, a qualsiasi livello di rumore, lo stato del testo corrotto sia una sottosequenza di token valida che può essere decodificata e re-tokenizzata per codificatori ausiliari (ad es. CLIP).
• Architettura: Un singolo backbone condiviso (MM-DiT) elabora entrambe le modalità. Il modello è condizionato su due istanti temporali disaccoppiati: $t$ per il tempo dell'immagine e $\tau$ per il tempo del testo.
  • Componenti Congelati: I pesi del backbone e tutti i codificatori di testo ausiliari (T5, CLIP) rimangono congelati.
  • Componenti Addestrabili: Solo gli adattatori LoRA (applicati ai livelli lineari del transformer), le testine di testo leggere (per i conteggi degli inserimenti e le identità dei token) e nuovi percorsi di condizionamento temporale vengono addestrati. Ciò equivale ad addestrare solo circa il 5% dei parametri per SD3 e il 2,5% per FLUX.1.

2. Obiettivo di Addestramento a Doppio Istante Temporale

L'obiettivo di addestramento prevede la previsione congiunta della velocità dell'immagine e degli inserimenti di testo mancanti basata sulla coppia di istanti temporali $(t, \tau)$.

• Programma di Corruzione: Gli autori confrontano un programma "alternato-pulito" (addestramento solo su compiti condizionati agli estremi) con un programma "corruzione mista" dove $(t, \tau) \sim \text{Unif}([0, 1]^2)$. Scoprono che un approccio ibrido — preaddestramento con corruzione mista per apprendere la corrispondenza cross-modale, seguito da raffinamento con alternanza-pulita — produce i migliori risultati.
• Stabilizzazione:
  • Bilanciamento Adattivo dei Gradienti: Per affrontare il disallineamento di scala tra la perdita per immagini basata su MSE e la perdita per testo basata su entropia incrociata/conteggi, gli autori regolano dinamicamente il peso della perdita di testo $\lambda_{txt}$ utilizzando una media mobile esponenziale (EMA) del rapporto dei gradienti.
  • Corrispondenza con Insegnante: Per prevenire il degrado del prior sull'immagine preaddestrato durante il fine-tuning su nuove distribuzioni di dati, la regressione della velocità dell'immagine viene sostituita con un obiettivo di "corrispondenza con insegnante allo stesso rumore". L'insegnante è lo stesso backbone con i livelli LoRA disabilitati, senza richiedere memoria aggiuntiva.

3. Modalità di Inferenza

Disaccoppiare $t$ e $\tau$ trasforma l'inferenza nella selezione di una traiettoria in uno spazio generativo 2D:

• Testo $\to$ Immagine: Fissare $\tau=1$ (testo pulito), evolvere $t$ da 0 a 1.
• Immagine $\to$ Testo: Fissare $t=1$ (immagine pulita), evolvere $\tau$ da 0 a 1.
• Campionamento Congiunto: Evolvere simultaneamente sia $t$ che $\tau$.
• Generazione Parziale di Testo (VQA): Fissare l'immagine e i token della domanda, limitando il processo di inserimento all'intervallo della risposta. Ciò abilita la Risposta alle Domande Visive (VQA) senza un decodificatore separato.

Contributi Chiave

1. C1: Convertire un modello di flusso rettificato T2I preaddestrato in un generatore bidirezionale addestrando solo adattatori LoRA e testine di testo leggere, preservando con successo il prior sull'immagine preaddestrato.
2. C2: Introdurre un framework a doppio istante temporale in cui le immagini rimangono in flusso continuo e il testo utilizza un processo di inserimento discreto, abilitando la generazione condizionata, congiunta e parziale di testo come traiettorie in uno spazio unificato $(t, \tau)$.
3. C3: Dimostrare prestazioni superiori rispetto a una baseline Dual Diffusion-LoRA abbinata su SD3 e FLUX.1-dev sia nella ritenzione testo-immagine che nella qualità immagine-testo, supportando al contempo compiti a valle VQA con risorse computazionali minime.

Risultati Sperimentali

Gli autori valutano FullFlow su SD3 e FLUX.1-dev utilizzando un conteggio di parametri abbinato e un rango LoRA rispetto a una baseline Dual Diffusion reimplementata.

• Efficienza: FullFlow si addestra su due GPU RTX A5000 in meno di 24 ore, riducendo la VRAM di picco da ~84 GB (Dual Diffusion) a ~38 GB e aumentando il throughput di circa 8 volte.
• Testo-Immagine (SD3): A parità di tempo reale, FullFlow migliora l'FID da 62,7 a 31,6 (e 29,3 a parità di step) e il CMMD da 0,870 a 0,121, dimostrando una forte ritenzione del prior sull'immagine.
• Immagine-Testo (SD3): FullFlow ottiene un punteggio CIDEr di 99,4 (contro 2,0 per la baseline) a parità di tempo reale, e 13,4 a parità di step.
• Compiti a Valle: Su benchmark VQA (VQAv2, VizWiz, OKVQA), FullFlow (con soli 130M di parametri addestrabili) raggiunge un'accuratezza competitiva, superando notevolmente la baseline Dual Diffusion su VizWiz (50,7 contro 29,9).
• Trasferibilità: La ricetta si trasferisce con successo a FLUX.1-dev, raggiungendo un CIDEr di 73,6 dopo 36 ore di addestramento.

Significato e Affermazioni

Il paper afferma che FullFlow dimostra che forti capacità bidirezionali visione-linguaggio possono essere sbloccate da modelli di flusso T2I preaddestrati senza la necessità di un preaddestramento multimodale completo. I risultati suggeriscono che i priors T2I preaddestrati codificano una struttura visivo-semantica più ricca di quanto comunemente assunto, capace di supportare compiti inversi (immagine-testo) e generazione congiunta attraverso un adattamento leggero.

Gli autori posizionano questo lavoro come una "prova di concetto fattibile in termini di calcolo" piuttosto che una rivendicazione di prestazioni end-to-end massime. Sottolineano che il loro metodo rende i modelli di flusso rettificato bidirezionali accessibili alla più ampia comunità di ricerca richiedendo solo GPU commerciali e una piccola frazione dei parametri tipicamente necessari per i modelli unificati. Riconoscono le limitazioni, inclusa l'attuale focalizzazione sulla risoluzione 256$\times$256 e la mancanza di scalabilità verso dataset più grandi o di addestramento su istruzioni per dialoghi complessi, notandoli come direzioni future.