💻 computer science

MOSAIK: Multi-Patch Content-Aware Spatial Allocation of Image Tokens for Efficient Generation

MOSAIK è un framework guidato dal danno per i modelli di diffusione nello spazio dei pixel che alloca dinamicamente dimensioni di patch eterogenee attraverso le regioni dell'immagine in base alla perdita di fedeltà stimata, raggiungendo una significativa efficienza computazionale (riduzione del 70% dei FLOP) pur mantenendo una qualità di generazione competitiva rispetto ai baseline a computazione completa.

Autori originali: Mohammadreza Hami, Mohammadreza Samadi, Chao Gao, Negar Hassanpour

Pubblicato 2026-08-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mohammadreza Hami, Mohammadreza Samadi, Chao Gao, Negar Hassanpour

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di dipingere un capolavoro su una tela gigante, ma di avere solo una scorta limitata di vernice e un limite di tempo molto severo. Nel mondo dell'intelligenza artificiale, creare immagini è un po' come questo. Per molto tempo, i computer hanno usato un metodo "compresso" per disegnare immagini, un po' come abbozzare una scena in un piccolo taccuino prima di provare a riempirla con i dettagli. Questo era veloce, ma aveva un limite: una volta abbozzato in piccolo, non potevi magicamente recuperare i dettagli minuscoli e nitidi come la consistenza della pelliccia o i singoli petali di un fiore.

Per aggirare questo problema, una nuova generazione di IA ha iniziato a dipingere direttamente sulla tela gigante, pixel per pixel. Questo è come passare da un piccolo taccuino a un enorme murale. Il risultato? Immagini straordinariamente realistiche. Ma c'è un problema: dipingere ogni singolo pixel richiede al computer di elaborare una quantità massiccia di informazioni, il che è lento e costoso. Per velocizzare le cose, gli scienziati hanno provato a usare dei "pennelli grandi" per coprire ampie aree della tela con un unico tratto. Tuttavia, usare un pennello grande ovunque è un po' come cercare di dipingere il ritratto di una tigre con un rullo da imbianchino: potresti ottenere la forma corretta, ma perderesti le strisce e i baffi. La grande domanda è stata: come possiamo usare pennelli grandi per lo sfondo noioso (come il cielo) ma pennelli piccoli e precisi per le parti importanti (come il muso della tigre) senza che il computer si confonda?

È qui che entra in gioco un nuovo metodo chiamato MOSAIK. Pensa a MOSAIK come a un super-intelligente direttore artistico per il pittore IA. Invece di costringere il computer a usare la stessa dimensione del pennello per l'intera immagine, MOSAIK osserva l'immagine mentre viene creata e decide: "Ehi, questa parte è solo un cielo sfocato, usiamo un pennello gigante qui per risparmiare tempo. Ma questa parte è l'occhio della tigre, passiamo a un pennello piccolo e super preciso proprio ora".

Il documento presenta MOSAIK (che sta per Multi-Patch Content-Aware Spatial Allocation of Image Tokens) come un modo per rendere molto più veloci questi generatori di immagini ad alta qualità, basati sul singolo pixel, senza rovinare l'immagine. I ricercatori hanno scoperto che, cambiando dinamicamente la dimensione delle "pennellate" (o patch) nelle diverse parti dell'immagine, sono riusciti a ridurre enormemente il carico di lavoro del computer. Nello specifico, sono riusciti a ridurre il numero di calcoli (chiamati FLOPs) del 70% e il numero di frammenti di dati (token) dell'83%.

Ecco il trucco magico: MOSAIK non si limita a indovinare dove usare i pennelli grandi. Utilizza un "predittore di danni". Immagina che l'IA abbia un sensore speciale che chiede: "Se uso un pennello grande in questo punto specifico, quanto dettaglio perderò?". Se la risposta è "molto" (come sulla pelliccia di una tigre), mantiene il pennello piccolo. Se la risposta è "nulla" (come su un cielo blu uniforme), passa a un pennello grande. Il documento mostra che questo approccio intelligente e disomogeneo funziona molto meglio dei metodi più vecchi che cercavano di velocizzare le cose usando semplicemente pennelli grandi per tutta l'immagine in certi momenti o saltando dei passaggi.

Nei loro test, MOSAIK è stato in grado di generare immagini che apparivano quasi identiche alla versione lenta a piena potenza, anche se stava facendo il 70% di lavoro in meno. Quando hanno confrontato MOSAIK con altri trucchi per velocizzare il processo, MOSAIK manteneva i dettagli nitidi, mentre gli altri iniziavano a sembrare sfocati o perdevano caratteristiche importanti. I ricercatori suggeriscono che questo approccio "guidato dal danno" è un modo potente per rendere la generazione di immagini IA di alta qualità più veloce ed efficiente, dimostrando che non è necessario scegliere tra velocità e qualità se si sa dove essere efficienti e dove essere precisi.

Riassunto Tecnico: MOSAIK

Problema

I modelli di diffusione nello spazio dei pixel (PDM) offrono un vantaggio significativo rispetto ai modelli di diffusione latente (LDM), evitando il limite di ricostruzione imposto dagli Autoencoder Variazionali (VAE), preservando così i dettagli spaziali ad alta frequenza e a grana fine. Tuttavia, generare direttamente nello spazio dei pixel comporta un numero di token sostanzialmente più elevato. Poiché i meccanismi di auto-attenzione nei transformer presentano una complessità quadratica rispetto al numero di token, i PDM comportano costi computazionali proibitivi.

I metodi di efficienza esistenti tentano di mitigare questo problema variando le dimensioni dei patch (l'area spaziale rappresentata da un singolo token) attraverso i timestep di denoising o la profondità della rete. Sebbene questi approcci riducano il numero totale di token, applicano un layout di patch spazialmente uniforme su l'intera immagine in ogni passaggio. Questa uniformità crea un'inefficienza fondamentale: o si spende troppa computazione su regioni semplici e a bassa informazione o, viceversa, si limita la capacità rappresentativa in regioni sensibili dove i dettagli fini sono critici. L'articolo sostiene che la densità dell'informazione visiva è intrinsecamente eterogenea, rendendo necessario una strategia di allocazione dinamica per regione che gli attuali metodi non possiedono.

Metodologia: MOSAIK

MOSAIK (Multi-patch cOntent-aware Spatial Allocation of Image toKens) è un framework progettato per variare le dimensioni dei patch attraverso diverse regioni dell'immagine e diversi step di denoising in base al "danno" predetto (perdita di fedeltà) causato dal raggruppamento (coarsening). L'approccio si basa sulla colonna vertebrale (backbone) PixelDiT e utilizza una pipeline di addestramento in tre fasi:

Fase 1: Fluidità Multi-Patch

L'obiettivo è equipaggiare il modello per operare a molteplici dimensioni di patch uniformi ( $P \in \{16, 32, 64\}$ ) senza un dimenticanza catastrofica del originale prior generativo.

Architettura: I pesi del backbone sono congelati. Moduli di Low-Rank Adaptation (LoRA) vengono iniettati nei blocchi DiT. Sono introdotti tokenizer separati per $p32$ e $p64$ , inizializzati componendo la proiezione $p16$ pre-addestata con downsampling bilineare.
Addestramento: Il modello subisce una auto-distillazione, ottimizzando per corrispondere alle predizioni di velocità del modello insegnante $p16$ congelato attraverso tutte le dimensioni di patch uniformi.

Fase 2: Adattamento Mixed-Patch

Questa fase consente al modello di elaborare layout di patch arbitrari ed eterogenei (dove diverse regioni utilizzano diverse dimensioni di patch) all'interno di un singolo passaggio in avanti (forward pass).

Embedding Posizionali: Gli standard Rotary Positional Embeddings (RoPE) assumono una griglia uniforme. MOSAIK affronta il disallineamento spaziale dei patch misti ancorando ogni token al centro geometrico del proprio patch all'interno di un sistema di coordinate $p16$ normalizzato.
Addestramento: Il generatore viene addestrato su layout eterogenei campionati casualmente, scindendo deliberatamente la disposizione spaziale delle dimensioni dei patch dal contenuto dell'immagine. Ciò costringe il modello a imparare a eseguire qualsiasi layout indipendentemente dal suo allineamento con le caratteristiche visive.

Fase 3: Predittore di Layout Guidato dal Danno

Questa fase introduce un predittore leggero che alloca dinamicamente i token in base alla degradazione stimata causata dal raggruppamento di specifiche regioni.

Definizione di Danno: Il "danno" è definito come la differenza al quadrato tra la predizione di un layout uniforme $p64$ e l'insegnante ad alta fedeltà $p16$ , mediata su regioni non sovrapposte di $64 \times 64$ .
Addestramento del Predittore: Una rete convoluzionale leggera con condizionamento FiLM è addestrata per regredire questa mappa di danno direttamente dalle attivazioni intermedie del backbone (specificamente le attivazioni del blocco-6 di DiT) e dagli embedding testuali. Ciò evita la necessità di un secondo passaggio in avanti durante l'inferenza.
Strategia di Inferenza: Ad ogni step di denoising, il predittore stima la mappa del danno. Le regioni con danno predetto elevato ricevono patch più fini ( $p16$ ), mentre le regioni a basso danno ricevono patch più grossolane ( $p32$ o $p64$ ). L'allocazione è vincolata da un budget di token specificato dall'utente, dando priorità ai raffinamenti che offrono la maggiore riduzione del danno per ogni token aggiunto.

Contributi Chiave

Patchificazione Spazialmente Adattiva: MOSAIK è il primo framework ad applicare layout di patch eterogenei all'interno di un modello di diffusione nello spazio dei pixel, andando oltre i vincoli di uniformità spaziale dei metodi precedenti.
Allocazione Guidata dal Danno: Gli autori formulano l'allocazione dei patch come un problema di predizione del danno, utilizzando un predittore leggero per identificare le regioni in cui il raggruppamento causerebbe la perdita di fedeltà più significativa.
Pipeline di Addestramento in Tre Fasi: Una strategia di addestramento innovativa che stabilisce prima la fluidità multi-patch, poi l'adattamento ai layout misti, e infine addestra un predittore separato per guidare il routing dei token senza riaddestrare il generatore.
Capacità di Integrazione: Il framework è progettato per essere ortogonale ai metodi di efficienza temporale (come il caching delle feature), consentendo un'ottimizzazione combinata.

Risultati

Gli esperimenti sono stati condotti sulla generazione di immagini 1024x1024 utilizzando i benchmark GenEval e DPG-Bench, confrontando MOSAIK con i baseline che includono la riduzione uniforme dei patch, lo scheduling dei patch temporali (DDiT) e il caching delle feature (TeaCache, TaylorSeer).

Efficienza vs Qualità: MOSAIK ottiene una riduzione del 70% dei FLOPs e una riduzione dell'83% dei token eguagliando il PixelDiT a computazione completa su GenEval (punteggio 0.74) e scendendo di solo 1.0 punto su DPG-Bench (82.5 vs 83.5).
Confronto con lo Scheduling Temporale: In regimi di computazione aggressivi (es. riduzione del 60-70% dei FLOPs), MOSAIK supera costantemente DDiT. Mentre DDiT applica una singola dimensione di patch globalmente, MOSAIK reindirizza dinamicamente la computazione verso le regioni sensibili (es. i bordi dei soggetti), preservando l'integrità strutturale e i dettagli fini come texture e bordi.
Confronto con il Caching: MOSAIK supera i baseline basati sul caching (TeaCache, TaylorSeer) a parità di budget, particolarmente in regimi altamente vincolati.
Complementarità: Quando combinato con i metodi di caching, MOSAIK mantiene le prestazioni anche a livelli di compressione più elevati (fino all'80% di riduzione dei FLOPs), dove il caching da solo causa un significativo crollo della qualità.
Ablation: Sostituire il predittore guidato dal danno con un allocatore casuale o privo di contenuto risulta in un significativo degrado delle prestazioni, validando che la classificazione del danno predetto trasporti informazioni reali sulla sensibilità spaziale.

Significato e Rivendicazioni

L'articolo sostiene che MOSAIK dimostra che la eterogeneità spaziale nella informazione visiva è un fattore critico per l'efficienza della generazione, che è stato trascurato dai metodi focalizzati esclusivamente sull'adattamento temporale o di profondità.

Allocazione Ottimale delle Risorse: Gli autori sostengono che la raffinazione fine uniforme spreca computazione su regioni semplici, mentre il raggruppamento uniforme distrugge i dettagli in regioni complesse. MOSAIK colma questo divario allocando le risorse dove sono più necessarie.
Vantaggio dello Spazio dei Pixel: Il framework sfrutta la ridondanza spaziale intrinseca disponibile nei modelli nello spazio dei pixel (a differenza dei modelli latenti dove la compressione VAE ha già consumato la ridondanza) per utilizzare dinamicamente il raggruppamento senza la necessità di un'ottimizzazione congiunta end-to-end di un router e di un generatore.
Scalabilità: L'approccio consente prestazioni stabili attraverso una vasta gamma di budget computazionali, da riduzioni moderate a vincoli aggressivi, senza richiedere il riaddestramento per diversi livelli di budget.

L'articolo conclude che MOSAIK stabilisce un nuovo standard per l'efficienza nella diffusione nello spazio dei pixel, offrendo un'alternativa altamente competitiva allo scheduling temporale e al caching, e suggerisce che i lavori futuri potrebbero estendere questi principi alla diffusione video, sfruttando la ridondanza sia nello spazio che nel tempo.