Sintesi Tecnica: Many-for-Many (MfM)

Problematica

La ricerca attuale sulla generazione e manipolazione visiva è frammentata. Sebbene i modelli di diffusione abbiano ottenuto risultati impressionanti, la maggior parte degli approcci esistenti si concentra sull'addestramento di modelli separati per compiti specifici (ad esempio, Text-to-Video o Image-to-Video) o sul fine-tuning di un modello fondazionale Text-to-Video (T2V) pre-addestrato per compiti downstream come la manipolazione video. Questo paradigma presenta due sfide primarie:

1. Alto costo dell'addestramento dei modelli fondazionali: Addestrare un modello fondazionale T2V robusto da zero richiede enormi quantità di dati di alta qualità e annotati, il che è proibitivamente costoso.
2. Frammentazione dei compiti: I modelli esistenti sono spesso limitati a uno o pochi compiti. Per eseguire molteplici compiti di generazione o manipolazione (ad esempio, inpainting, super-risoluzione, colorazione), sono tipicamente richiesti modelli distinti o pipeline di fine-tuning complesse, portando a inefficienza e prestazioni incoerenti.

Metodologia

Gli autori propongono Many-for-Many (MfM), un framework unificato progettato per addestrare un singolo modello da zero capace di eseguire oltre 10 diversi compiti di generazione e manipolazione visiva. La metodologia principale prevede tre componenti chiave:

1. Architettura Unificata e Adapter

Il modello MfM è costruito su un Diffusion Transformer (DiT) con attenzione 3D completa, addestrato utilizzando il Flow Matching. Per gestire le diverse condizioni di input tra i vari compiti (che vanno da prompt testuali 0D a maschere video 3D e mappe di profondità), gli autori introducono un adapter leggero:

• Unificazione delle Condizioni: Invece di elaborare separatamente dati di pixel, maschere e mappe di profondità, l'adapter concatena questi input 3D in una mappa di caratteristiche unificata.
• Allineamento della Risoluzione: L'adapter utilizza strati convoluzionali e blocchi di downsampling per regolare la risoluzione spaziale e temporale delle condizioni di input per farle corrispondere allo spazio latente del VAE video (ad esempio, convertendo $T \times H \times W \times C$ in $t \times h \times w \times c$).
• Identificazione del Compito: I nomi dei compiti (ad esempio, "text-to-video", "image-to-video") vengono aggiunti ai prompt testuali per chiarire l'operazione specifica, specialmente quando i compiti condividono input comuni come le maschere.
• Integrazione della Profondità: Le mappe di profondità sono introdotte come input condizionale per migliorare la percezione del modello dello spazio 3D.

2. Varianti del Modello

Due versioni del modello sono state addestrate per soddisfare diverse esigenze computazionali:

• MfM-2B: 2 miliardi di parametri, 28 strati, 28 teste di attenzione.
• MfM-8B: 8 miliardi di parametri, 40 strati, 48 teste di attenzione.
  Entrambi utilizzano l'Embedding di Posizione Rotatoria 3D (3D RoPE) per gestire risoluzioni e lunghezze variabili, e la Normalizzazione Query-Key (QK-Norm) per garantire la stabilità dell'addestramento.

3. Strategia di Addestramento

Il processo di addestramento impiega una strategia di apprendimento congiunto progressivo:

• Apprendimento Congiunto Multi-Task: Il modello viene addestrato su un mix di dati di immagini e video. Il rapporto tra dati immagine-video viene regolato progressivamente, partendo da coppie testo-immagine per stabilire connessioni semantiche e introducendo gradualmente i dati video.
• Data Augmentation: Per massimizzare l'utilità dei dati disponibili, il framework genera campioni di addestramento diversificati da video esistenti. Ad esempio, i compiti di inpainting video vengono creati applicando maschere casuali, e i compiti di colorazione video vengono generati convertendo i video in scala di grigi. Ciò consente al modello di apprendere compiti di manipolazione senza richiedere dataset dedicati separati per ogni compito.
• Progressione della Risoluzione: L'addestramento inizia a basse risoluzioni (ad esempio, 49×128×224) e progredisce verso risoluzioni più elevate (fino a 97×720×1280), concludendosi con una fase multi-risoluzione utilizzando NaViT per supportare rapporti di aspetto arbitrari.

Contributi Chiave

1. Framework Unificato: MfM è il primo framework che addestra un singolo modello da zero capace di gestire efficacemente un ampio spettro di compiti, inclusi T2V, I2V, estensione video, inpainting, outpainting, colorazione, super-risoluzione e trasferimento di stile.
2. Utilizzo Efficiente dei Dati: Sfruttando una strategia di apprendimento multi-task e un adapter unificato, MfM utilizza dati che prima erano inutilizzabili per l'addestramento standard T2V (ad esempio, dati a bassa risoluzione o con watermark), riducendo significamente la dipendenza da costose annotazioni T2V di alta qualità.
3. Prestazioni con Meno Risorse: Il modello 8B raggiunge prestazioni competitive utilizzando solo il 10% dei dati di addestramento tipicamente richiesti dai modelli fondazionali T2V open-source all'avanguardia.

Risultati Sperimentali

Gli autori hanno valutato MfM sui benchmark VBench per T2V e I2V, nonché su un benchmark MfM personalizzato che copre 16 compiti distinti.

• Text-to-Video (T2V): Sul benchmark VBench-T2V, MfM-8B ha raggiunto il miglior ranking medio (3.04) tra i modelli valutati, superando modelli più grandi come Wan2.1 (14B), Hunyuan (13B) e sistemi commerciali come Sora e Gen-3. Ha dimostrato prestazioni superiori in termini di aspetto, coerenza complessiva e grado di dinamismo.
• Image-to-Video (I2V): MfM ha ottenuto il miglior ranking medio (3.33) su VBench-I2V, mostrando prestazioni equilibrate tra coerenza statica e generazione dinamica, superando modelli I2V specializzati.
• Manipolazione Video: In compiti come l'inpainting, l'outpainting e la colorazione video, Mfamenti ha dimostrato miglioramenti significativi nelle metriche di riferimento (ad esempio, miglioramenti del FID dal 16,4% al 72,9% rispetto ai baseline specializzati) e una superiore coerenza temporale.
• Studio di Ablazione: Confrontando un modello T2V addestrato con la strategia multi-task di MfM rispetto a uno addestrato senza di essa, è emerso che l'approccio multi-task ha migliorato significativamente i punteggi di dinamismo del movimento (0.819 vs 0.402), suggerendo che l'esposizione a diversi compiti di manipolazione migliora la comprensione della complessità del movimento da parte del modello.

Significato

L'articolo sostiene che MfM rappresenti un cambiamento verso modelli fondazionali visivi economici e unificati. Unificando l'addestramento dei compiti di generazione e manipolazione, MfM dimostra che un singolo modello può raggiungere prestazioni altamente competitive in diversi compiti visivi pur richiedendo sostanzialmente meno dati e risorse computazionali rispetto agli attuali modelli fondazionali specializzati o su larga scala. Il lavoro suggerisce che il trasferimento di conoscenza tra compiti di immagine e video, e tra compiti di generazione e manipolazione, sia una via percorribile per migliorare la qualità della generazione video senza i costi proibitivi associati all'addestramento da zero di massicci modelli fondazionali specifici per compito.

Gli autori segnalano alcune limitazioni, specificamente che l'attuale architettura elabora separatamente le condizioni 1D (testo) e 2D/3D (visive) prima di fonderle tramite self-attention. Suggeriscono che il lavoro futuro potrebbe esplorare modelli vision-language per una fusione multimodale esplicita e precoce per gestire meglio le complesse condizioni di input.