🤖 AI

LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration

Il paper propone LESA, un framework di predittori apprendibili e consapevoli dello stadio basato su una rete KAN e un'architettura multi-esperto, che accelera significativamente i modelli di diffusione per la generazione di immagini e video mantenendo o migliorando la qualità rispetto agli stati dell'arte.

Autori originali: Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

Pubblicato 2026-03-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover dipingere un capolavoro digitale, come un'opera d'arte generata dall'intelligenza artificiale. Fino a poco tempo fa, per creare queste immagini, l'AI doveva fare un passo alla volta, come se fosse un artista che deve ridipingere l'intera tela mille volte per aggiungere un solo dettaglio. Questo processo è bellissimo ma lentissimo e richiede computer potentissimi.

Il problema è che, mentre l'artista AI lavora, spesso i suoi "pensieri" (i dati intermedi) cambiano molto poco da un passo all'altro. È come se, mentre dipingi un cielo, il colore del blu rimanesse quasi uguale per dieci secondi.

Fino a oggi, per velocizzare il processo, si usavano due trucchi:

Copiare e incollare: Se il colore non cambia, si usa lo stesso colore del passo prima. Ma a volte il colore cambia un po', e usare quello vecchio rende l'immagine sfocata o strana.
Indovinare il futuro: Si cerca di prevedere come cambierà il colore usando una semplice formula matematica (come una linea retta). Funziona bene se il cambiamento è regolare, ma l'arte dell'AI è caotica: a volte cambia tutto d'un colpo, a volte rimane fermo. Le formule semplici falliscono e l'immagine diventa un disastro.

La Soluzione: LESA (Il "Pittore Intelligente")

Gli autori di questo paper hanno creato LESA, un sistema che possiamo immaginare come un assistente artistico super-intelligente che non usa regole fisse, ma impara a prevedere il futuro.

Ecco come funziona, spiegato con metafore semplici:

1. Il Viaggio in Tre Fasi (L'Analisi del Tempo)

Immagina il processo di creazione di un'immagine come un viaggio in auto da una città all'altra.

Fase 1 (Partenza): L'auto è in un traffico caotico, fa curve brusche e cambia direzione spesso. È il momento in cui l'AI crea le forme grosse (la testa, il corpo). Qui i cambiamenti sono violenti.
Fase 2 (Autostrada): Una volta in autostrada, l'auto va dritta e veloce. I cambiamenti sono lisci e prevedibili. È il momento in cui l'AI rifinisce i contorni.
Fase 3 (Arrivo): Si entra nel parcheggio, si fanno manovre lente e precise per posizionare l'auto nel box. È il momento dei dettagli fini (i capelli, le texture).

I vecchi metodi usavano lo stesso tipo di guida per tutto il viaggio. Se usavi la guida "autostrada" nella fase di traffico, andavi fuori strada. Se usavi la guida "traffico" in autostrada, viaggiavi lentissimo.

LESA invece ha tre piloti diversi (chiamati "esperti"):

Un pilota esperto per il traffico caotico (fase iniziale).
Un pilota esperto per l'autostrada (fase centrale).
Un pilota esperto per il parcheggio preciso (fase finale).
Ogni pilota sa esattamente come comportarsi in quella specifica fase, evitando errori.

2. Il "Cervello" Matematico (KAN)

Per far sì che questi piloti siano così bravi, LESA usa una nuova tecnologia chiamata KAN (Reti di Kolmogorov-Arnold).
Immagina che i vecchi metodi usassero un cursore fisso su una radio: potevi solo alzare o abbassare il volume in modo rigido.
La KAN è come un musicista jazz che può cambiare la forma della sua voce, il ritmo e l'intonazione in tempo reale per adattarsi alla musica. Invece di seguire una regola rigida, la KAN "impara" la forma esatta di come cambiano i dati, modellando la curva perfetta per ogni momento.

3. L'Allenamento (Imparare dall'Errore)

Come si insegna a questo sistema? Con un metodo in due fasi:

Studio con il libro di testo: Prima, il sistema guarda le risposte giuste (l'immagine finale perfetta) e impara a prevedere il passo successivo.
Prova sul campo: Poi, il sistema inizia a fare previsioni da solo, basandosi sulle sue stesse previsioni precedenti. Se sbaglia, impara a correggersi. È come un ciclista che prima fa ginnastica in palestra e poi impara a guidare in una gara vera, imparando a gestire le cadute e le curve strette.

I Risultati: Velocità senza Sacrificare la Qualità

Grazie a questo sistema, LESA riesce a saltare molti passaggi inutili senza rovinare il quadro.

Su alcuni modelli, è 6 volte più veloce (6.25x) rispetto ai metodi precedenti.
La qualità dell'immagine non ne risente quasi per nulla (anzi, in alcuni casi è migliore perché non commette gli errori di previsione dei metodi vecchi).
Funziona sia per creare immagini che video.

In sintesi:
LESA è come avere un assistente che non si limita a copiare il lavoro fatto prima o a indovinare a caso, ma capisce in quale fase del processo si trova e usa lo strumento matematico perfetto per prevedere il futuro in quel preciso istante. Il risultato? Immagini e video creati in una frazione del tempo, con la stessa (o migliore) bellezza.

1. Il Problema

I modelli di diffusione, in particolare i Diffusion Transformers (DiT), hanno ottenuto risultati straordinari nella generazione di immagini e video. Tuttavia, la loro diffusione pratica è limitata dall'alto costo computazionale richiesto per l'inferenza, dovuta alle architetture profonde e alla necessità di iterazioni di denoising su molti passaggi temporali (timesteps).

Le strategie esistenti di accelerazione si basano sul Feature Caching (memorizzazione e riutilizzo delle feature):

Cache-Then-Reuse: Riutilizza direttamente le feature del passaggio precedente, assumendo che le variazioni siano minime.
Cache-Then-Forecast: Utilizza tecniche di previsione training-free (es. espansione di Taylor) assumendo che l'evoluzione delle feature sia liscia e continua nel tempo.

Limiti attuali: L'analisi del paper rivela che la dinamica delle feature nei modelli di diffusione non è uniforme. Il processo presenta fasi distinte:

Alto rumore: Cambiamenti drastici e instabili.
Rumore medio: Evoluzione stabile e continua.
Basso rumore: Rifinitura dettagliata fine.
I metodi attuali, che applicano un'unica strategia di previsione fissa a tutto il processo, falliscono nell'adattarsi a queste dinamiche dipendenti dallo stadio, causando degradazione della qualità e incoerenza temporale, specialmente ad alti rapporti di accelerazione.

2. Metodologia: LESA

Il paper propone LESA (Learnable Stage-Aware Predictors), un framework basato su un approccio di apprendimento in due fasi che modella esplicitamente le caratteristiche temporali del processo di diffusione.

A. Architettura Multi-Stadio e Multi-Expert

Invece di un unico predittore globale, LESA divide il processo di denoising in stadi distinti basati sui livelli di rumore, assegnando a ciascuno un predittore esperto specializzato:

Esperto ad alto rumore: Gestisce la fase iniziale di cambiamento rapido delle feature.
Esperto a rumore medio: Gestisce la fase centrale di denoising stabile.
Esperto a basso rumore: Gestisce la fase finale di rifinitura dei dettagli.
Ogni stadio utilizza una finestra temporale ( $K$ ) adattata: più corta ( $K=4$ ) per le fasi rapide e più lunga ( $K=8$ ) per le fasi stabili.

B. Predittore basato su KAN (Kolmogorov-Arnold Network)

Il cuore del predittore è l'uso di una Kolmogorov-Arnold Network (KAN) invece delle tradizionali MLP (Multi-Layer Perceptron).

Funzionamento: La KAN apprende funzioni univariate basate su spline invece di usare funzioni di attivazione fisse. Questo permette una modellazione non lineare più flessibile ed efficiente dei parametri.
Meccanismo: Il predittore prende le feature cacheate degli ultimi $K$ passaggi e le proietta linearmente. Parallelamente, un modulo KAN elabora gli offset temporali relativi per generare un fattore di modulazione scalare ( $\alpha$ ).
Aggiornamento: La feature prevista è data da $\hat{h}_{t-1} = h_t + \alpha \cdot z$ , dove $\alpha$ modula l'intensità dell'aggiornamento residuo in base alla fase temporale (ad esempio, un $\alpha$ più alto nelle fasi iniziali caotiche).

C. Strategia di Addestramento in Due Fasi

Per garantire robustezza e stabilità, LESA utilizza una strategia di training specifica:

Ground-Truth Guided Training (GT-Guided): Il predittore viene addestrato a minimizzare l'errore rispetto alle feature reali (ground truth) fornite dal modello base, imparando la dinamica di denoising.
Closed-Loop Autoregressive Training (CL-AR): Il predittore viene addestrato in un ciclo chiuso dove le sue previsioni passate vengono riutilizzate come input per i passaggi successivi. Questo espone il modello al "drift" (errore cumulativo) inevitabile durante l'inferenza accelerata, rendendolo più robusto agli errori di previsione.

3. Contributi Chiave

Framework di Previsione Temporale Apprendibile: Introduzione di un predittore basato su KAN che apprende direttamente le dinamiche temporali dalle attivazioni del modello, superando i limiti dei metodi training-free.
Architettura Multi-Expert Consapevole dello Stadio: La divisione del processo di denoising in stadi con predittori dedicati garantisce una modellazione accurata delle diverse dinamiche di feature a diversi livelli di rumore.
Strategia di Training Ibrida: L'uso combinato di training guidato dal ground truth e training autoregressivo in ciclo chiuso assicura prestazioni stabili anche a rapporti di accelerazione elevati.

4. Risultati Sperimentali

LESA è stato valutato su modelli di stato dell'arte per immagini e video, mostrando prestazioni superiori rispetto a metodi SOTA come TaylorSeer, TeaCache e FORA.

FLUX.1-dev: Raggiunge un'accelerazione 5.00× con una degradazione della qualità minima (solo 1.0% di calo).
Qwen-Image: Raggiunge un'accelerazione 6.25×, migliorando la qualità del 20.2% rispetto a TaylorSeer (misurato con metriche di qualità percepita).
HunyuanVideo (Video): Raggiunge un'accelerazione 5.00× con un miglioramento del 24.7% in PSNR rispetto a TaylorSeer, mantenendo coerenza temporale e fedeltà visiva.
Efficienza: L'uso di KAN garantisce un'efficienza dei parametri superiore rispetto alle MLP, permettendo di catturare dinamiche complesse con meno risorse.

5. Significato e Impatto

Il lavoro di LESA rappresenta un passo avanti significativo nell'ottimizzazione dei modelli di diffusione generativa:

Superamento delle Assunzioni Semplificate: Dimostra che l'assunzione di un'evoluzione temporale liscia e uniforme è errata per i DiT moderni e che un approccio adattivo e basato sull'apprendimento è necessario.
Scalabilità: La capacità di mantenere alta fedeltà visiva a rapporti di accelerazione elevati (fino a 6.25×) rende i modelli di diffusione più pratici per applicazioni in tempo reale e su hardware limitato.
Generalizzazione: L'efficacia su modelli diversi (FLUX, Qwen, Hunyuan) e su compiti diversi (immagine e video) conferma la robustezza e la generalizzabilità del framework.

In sintesi, LESA trasforma il caching delle feature da una semplice tecnica euristica a un componente di apprendimento profondo, risolvendo il compromesso tra velocità e qualità nella generazione di contenuti con modelli di diffusione.