🤖 machine learning

Parallel Decoding Distillation for Fast Image and Video Generation

Questo articolo introduce la Parallel Decoding Distillation (PDD), un metodo basato su traiettorie scalabile e semplificato che accelera la generazione di immagini e video prevedendo più passi di denoising per ogni valutazione della rete, raggiungendo prestazioni allo stato dell'arte con 4–8 valutazioni della funzione e migliorando significativamente la diversità dei video rispetto alle tecniche di distillazione esistenti.

Autori originali: Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

Pubblicato 2026-07-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come dipingere un capolavoro o dirigere un film. Nel mondo dell'intelligenza artificiale, questo si fa usando i modelli di "diffusione" o "flusso". Pensa a questi modelli come ad artisti che partono da una tela coperta di rumore statico — come una TV sintonizzata su un canale morto — e la puliscono lentamente, passo dopo passo, finché non appare un'immagine o un video nitido. Il problema è che questo processo di pulizia è incredibilmente lento. Per ottenere un risultato di alta qualità, il robot potrebbe dover compiere centinaia di piccoli passi, controllando il proprio lavoro ad ognuno di essi. È come cercare di attraversare una stanza facendo un passo da un millimetro alla volta; ci arriverai, ma ci vorrà un'eternità.

Per velocizzare questo processo, gli scienziati hanno cercato di insegnare a questi robot a fare dei grandi balzi. Alcuni metodi cercano di indovinare la destinazione finale con un unico salto gigante, mentre altri cercano di imparare il "percorso" che il robot dovrebbe seguire per poter saltare le parti noiose centrali. Tuttavia, i metodi attuali per i video sono complicati. Spesso si affidano a trucchi di addestramento complessi e instabili che possono far dimenticare al robot come muoversi, producendo video che sembrano bellissimi ma che sono congelati nel tempo, o che collassano in schemi ripetitivi e noiosi. La grande domanda è: possiamo insegnare a questi modelli a muoversi velocemente e fluidamente senza perdere la magia della loro creatività?

Questo articolo presenta una nuova tecnica chiamata Parallel Decoding Distillation (PDD), che agisce come un coach super efficiente per questi artisti IA. Invece di costringere il robot a fare un passo alla volta, il PDD gli insegna a prevedere un'intera sequenza di passi con un solo sguardo. Immagina di camminare lungo un corridoio. Un robot normale si ferma davanti a ogni porta per controllare se è aperta prima di procedere verso la successiva. Il PDD, invece, guarda lungo l'intero corridoio, prevede esattamente come sarà la sensazione del pavimento sotto i suoi piedi per i prossimi dieci passi, e poi avanza con decisione, coprendo tutta quella distanza in un colpo solo.

Gli autori hanno scoperto che, addestrando il modello a prevedere la "velocità media" (o velocità) per un blocco di tempo tutto in una volta, sono riusciti a generare immagini e video di alta qualità in soli 4 o 8 passi (chiamati Valutazioni della Funzione, o NFE), rispetto alle centinaia solitamente richieste. Questo è un incremento di velocità massiccio. A differenza di altri metodi che cercavano di costringere il robot a seguire un percorso rigido o che usavano una matematica complicata che spesso comprometteva la capacità del modello di creare varietà, il PDD utilizza un approccio più semplice e diretto. Non ha bisogno di calcolare derivate complesse o di usare giochi avversari (dove due IA combattono tra loro per migliorare), che sono noti per causare il "mode collapse" — un modo elegante per dire che l'IA rimane bloccata nel produrre sempre la stessa cosa.

L'articolo dimostra che questo metodo funziona incredibilmente bene su modelli su larga scala, inclusi quelli che generano contenuti text-to-video e text-to-image. Ad esempio, sul modello video Wan2.1, il PDD ha prodotto video con 4 NFE che erano non solo più veloci, ma anche più diversificati e dinamici rispetto ad altri metodi all'avanguardia. Nei test con il modello LTX-2.3, che crea video di 10 secondi con audio, il PDD è riuscito a eguagliare la qualità di un modello insegnante che richiedeva 4 × 30 NFE (120 passi totali) utilizzando solo 8 NFE. I risultati suggeriscono che il PDD è un modo robusto per rendere la generazione IA più veloce senza sacrificare la varietà e il movimento che rendono i video vivi. È un passo avanti significativo, che dimostra che non è necessario fare un milione di piccoli passi per ottenere un ottimo risultato; a volte, basta imparare a vedere l'intero percorso davanti a sé.

Sintesi Tecnica: Parallel Decoding Distillation per la Generazione Rapida di Immagini e Video

1. Definizione del Problema

I modelli di diffusione e flow matching su larga scala hanno raggiunto risultati allo stato dell'arte (SOTA) nella generazione da testo a immagine, testo a video e multi-modale. Tuttavia, i loro processi di campionamento iterativi intrinseci richiedono centinaia di valutazioni della rete (NFE), creando costi computazionali e latenza significativi. Questo collo di bottiglia ostacola applicazioni come la generazione di video in tempo reale, l'editing di contenuti e la modellazione interattiva del mondo.

I metodi di accelerazione esistenti rientrano generalmente in due categorie:

Metodi basati sulla traiettoria: Questi distillano il processo di campionamento sequenziale del docente in meno step. Sebbene efficaci per le immagini, spesso degradano la qualità del video o richiedono algoritmi di addestramento costosi (ad esempio, prodotti Jacobiano-vettore o differenze finite) quando applicati ai modelli video.
Metodi basati sulla distribuzione: Questi allineano le distribuzioni marginali dello studente e del docente piuttosto che seguire traiettorie specifiche. Sebbene dominanti nella distillazione video (ad esempio, utilizzando Variational Score Distillation o perdite avversarie), soffrono di collasso della moda (mode collapse), portando a una perdita di diversità del video e di movimento statico. Spesso richiedono anche obiettivi di addestramento alternati e sono sensibili agli iperparametri.

Il documento identifica la necessità di un metodo di distillazione basato sulla traiettoria e scalabile che eviti le difficoltà di ottimizzazione dei metodi basati sulla distribuzione (collasso della moda) e l'overhead computazionale dei metodi basati sulla traiettoria esistenti (JVP, differenze finite), specificamente per la generazione di video ad alta risoluzione.

2. Metodologia: Parallel Decoding Distillation (PDD)

Gli autori introducono la Parallel Decoding Distillation (PDD), un framework di distillazione basato sulla traiettoria progettato per accelerare l'inferenza per i modelli di diffusione e flow matching.

Concetto Centrale

A differenza dei metodi tradizionali che fondono più step di denoising in un singolo step ampio, PDD apprende un decodificatore parallelo che predice le velocità medie per più intervalli di tempo consecutivi in una singola valutazione della rete.

Discretizzazione: Il dominio temporale $[0, 1]$ è discretizzato in $N$ intervalli. Questi sono raggruppati in blocchi di dimensione $L$ .
Predizione Parallela: Dato uno stato $X_n$ al tempo $t_n$ , il decodificatore parallelo $\bar{u}_\theta$ predice le velocità medie per tutti gli $L$ intervalli all'interno del blocco $\{n, \dots, n+L-1\}$ simultaneamente:
$\bar{u}_\theta(n|X_n) \approx u_k(X_k), \quad k = n, \dots, n+L-1$
dove $u_k$ è la velocità media del $k$ -esimo intervallo.
Campionamento: Durante l'inferenza, il modello avanza di $L$ intervalli in un unico step utilizzando le velocità predette, riducendo il totale delle NFE a $N/L$ . Variando la dimensione del blocco $L$ durante l'addestramento, il modello supporta NFE variabili al momento dell'inferenza senza ulteriore condizionamento temporale.

Obiettivo di Addestramento

PDD impiega un obiettivo di addestramento semplificato, basato sulla regressione, che evita VSD, perdite avversarie, JVP e differenze finite.

Approssimazione del Docente: Le velocità medie target sono approssimate utilizzando un solver Runge-Kutta (Euler o Midpoint) applicato al modello pre-addestato (docente).
Addestramento On-Policy: La perdita è calcolata sugli output dello studente stesso (on-policy). Lo studente predice le velocità, simula la traiettoria all'interno del blocco e la perdita viene calcolata confrontando la velocità predetta dallo studente a un passo campionato contro la velocità media approssimata dal docente a quello stato.
Funzione di Perdita:
$\mathcal{L}_{PD}(\theta) = \mathbb{E} \left[ \| \bar{u}_\theta(n|X_n) - u_k(\text{sg}(\bar{X}_k)) \|^2 \right]$
dove $\text{sg}$ denota l'operatore stop-gradient, e $\bar{X}_k$ è lo stato raggiunto seguendo le velocità predette dallo studente.

Architettura

Backbone: PDD utilizza esattamente la stessa architettura di backbone del modello docente pre-addestato.
Strato di Output: L'ultimo strato lineare è espanso ripetendo il numero di canali $N$ volte (dove $N$ è la dimensione della griglia). Ciò consente al modello di produrre $N$ predizioni di velocità distinte corrispondenti a ciascun step temporale.
Fusione degli Strati: Durante la generazione, invece di applicare $L$ strati lineari separati, i pesi vengono fusi in un singolo strato lineare che produce la velocità media pesata per il blocco. Ciò garantisce che non vi sia un costo computazionale aggiuntivo durante l'inferenza rispetto alla valutazione a step singolo del docente.

Addestramento Data-Free

Per i modelli su larga scala in cui i dati non sono disponibili, PDD supporta uno schema di addestramento data-free. Il modello campiona un rumore iniziale, alternando tra step del solver (avanzando lo stato usando le proprie predizioni dello studente) e step di addestramento, imparando efficacemente dalle proprie traiettorie generate.

3. Contributi Chiave

Formulazione di PDD: Un metodo di distillazione basato sulla traiettoria e scalabile che predice le velocità medie per più intervalli in una singola valutazione, consentendo un'inferenza rapida per i modelli di flow matching e diffusione.
Addestramento Semplificato: Un obiettivo di regressione singolo che elimina la necessità di JVP, differenze finite, addestramento multi-stadio, VSD o perdite GAN, producendo comunque campioni di alta qualità e diversificati.
Architettura Flessibile: Un design compatibile con qualsiasi modello pre-addestato che supporta NFE variabili al momento dell'inferenza senza richiedere un ulteriore condizionamento temporale o un secondo coordinata temporale.
Validazione Empirica: Dimostrazione delle prestazioni SOTA su ImageNet-256, Qwen-Image (Text-to-Image), Wan2.1 (Text-to-Video 1.3B/14B) e LTX-2.3 (Text-to-Video/Audio), con miglioramenti significativi nella diversità della generazione rispetto ai baseline basati sulla distribuzione.

4. Risultati Sperimentali

Gli autori hanno valutato PDD attraverso tre task:

Generazione di Immagini Condizionale per Classe (ImageNet-256):
- PDD ha ottenuto punteggi FID competitivi nel setting a singolo step (FID 2.69 con Midpoint), superando o eguagliando i metodi SOTA come FreeFlow e Pi-Flow, pur supportando NFE variabili (1, 2, 4, 8).
- Il metodo ha mostrato una convergenza stabile attraverso diversi iperparametri.
Text-to-Image (Qwen-Image 20B):
- Valutato sui benchmark OneIG, DPG-Bench e GenEval con 2, 4 e 8 NFE.
- PDD (Midpoint) ha ottenuto i migliori punteggi complessivi su OneIG e DPG-Bench a 4 e 8 NFE, superando i baseline come DMD2, TwinFlow e Pi-Flow.
- Fondamentalmente, PDD preserva una diversità significativamente più alta (misurata tramite metriche di diversità OneIG) rispetto a DMD2, che soffre di collasso della moda.
Text-to-Video (Wan2.1 1.3B & 14B):
- Valutato su VBench con 4 e 8 NFE.
- PDD ha raggiunto la qualità video SOTA e punteggi complessivi, classificandosi primo sul modello 1.3B e secondo sul modello 14B (dietro AnyFlow nelle metriche complessive ma con migliore diversità).
- Diversità: PDD ha dimostrato punteggi di diversità superiori rispetto ai baseline basati sulla distribuzione (DMD2, AnyFlow).
- Movimento: L'analisi visiva ha indicato che i video generati da PDD esibiscono gradi più elevati di movimento e coerenza dinamica rispetto ai baseline, che spesso producono video statici o ripetitivi.
Text-to-Video/Audio (LTX-2.3):
- PDD ha distillato il modello LTX-2.3 da 22B per la generazione di video a 720p da 10s con audio utilizzando solo 8 NFE.
- Dopo solo 250 iterazioni di addestramento, PDD ha performato in modo pari o superiore al modello distillato ufficiale a 8 step, nonostante non avesse accesso ai dati di addestramento.
- La valutazione della preferenza umana (tramite Gemini 3.1 Pro) ha mostrato PDD vincere o pareggiare il modello distillato ufficiale in termini di allineamento al prompt, qualità visiva, qualità del movimento e qualità dell'audio.

5. Significato e Rivendicazioni

Il documento afferma che PDD rappresenta il primo metodo di distillazione puramente basato sulla traiettoria capace di ottenere la generazione di video ad alta risoluzione e pochi step con una migliore diversità.

Superamento del Collasso della Moda: Aderendo a un approccio basato sulla traiettoria senza fare affidamento su perdite basate sulla distribuzione (VSD/GAN), PDD evita il collasso della moda e la mancanza di movimento spesso visti nei correnti metodi di distillazione video.
Efficienza Computazionale: Il metodo elimina la necessità di costose JVP e differenze finite, rendendolo scalabile a grandi modelli (fino a 22 miliardi di parametri) e compatibile con l'addestramento data-free.
Flessibilità: La capacità di supportare NFE variabili al momento dell'inferenza tramite la selezione della dimensione del blocco offre un vantaggio pratico per diversi scenari applicativi.
Movimento e Diversità: Gli autori sottolineano che PDD non solo accelera la generazione, ma preserva anche la "ricchezza" dell'output del modello docente, in particolare riguardo alla dinamica del movimento e alla diversità dei campioni, che sono critici per la generazione video.

Gli autori concludono che, sebbene PDD sia attualmente limitato ai modelli di flow e diffusione, il principio della decodifica parallela potrebbe potenzialmente essere generalizzato ai modelli autoregressivi discreti in lavori futuri. Notano inoltre che l'investigazione di PDD in contesti dipendenti dai dati oltre ImageNet-256 rimane un'area aperta per la ricerca futura.