🤖 AI

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

Questo articolo introduce un nuovo tokenizer a lunghezza variabile per i Diffusion Transformer che raggiunge un rapporto qualità-computazione superiore impiegando il merging globale apprendibile per consentire un allineamento delle rappresentazioni indipendente dai dati e cross-length, superando i problemi di disallineamento semantico intrinseci ai metodi tradizionali basati sulla troncatura.

Autori originali: Dong Hoon Lee, Seunghoon Hong

Pubblicato 2026-06-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Dong Hoon Lee, Seunghoon Hong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover inviare un film in alta definizione a un amico. Se lo invii interamente non compresso, il download richiede un tempo infinito e consuma una quantità enorme di dati. Se lo comprimi troppo, l'immagine diventa sfocata e pixelata.

Per molto tempo, i generatori di immagini basati su IA (come quelli che creano immagini a partire dal testo) hanno affrontato esattamente questo problema. Utilizzano un "tokenizer"—un traduttore che scompone l'immagine in piccoli frammenti chiamati token.

Alta compressione (pochi token) = Veloce ed economico, ma l'immagine è di scarsa qualità.
Bassa compressione (molti token) = Ottima qualità, ma lento e costoso.

In precedenza, se volevi un equilibrio diverso tra velocità e qualità, dovevi addestrare un modello di IA completamente diverso per ogni impostazione. Era come aver bisogno di un motore diverso per ogni diversa velocità di guida.

Il problema del "Taglio"

Alcuni ricercatori hanno cercato di risolvere il problema creando dei tokenizer a "lunghezza variabile". La loro idea era semplice: "Tagliamo semplicemente la fine della lista di token se vogliamo risparmiare spazio".

Pensa a questo come a un libro in cui i punti cruciali della trama si trovano a pagina 1, mentre i dettagli minimi sono a pagina 100. Se vuoi una versione più breve, strappi via semplicemente le ultime 50 pagine.

L'intoppo: Questo cambia la storia. La versione "breve" si concentra solo sul quadro generale, mentre la versione "lunga" include i minimi dettagli. Poiché il contenuto è così diverso, l'IA si confonde. È come cercare di insegnare a uno studente a leggere un racconto breve e un romanzo lungo usando lo stesso libro di testo, ma con capitoli completamente diversi. L'IA fatica a imparare entrambi contemporaneamente, portando a immagini sfocate o strane.

La Soluzione: "Unire" invece di Tagliare

Gli autori di questo articolo propongono un modo più intelligente: Unire invece di tagliare.

Immagina di avere un gruppo di 100 persone (token) in fila.

Il vecchio metodo (Taglio): Se hai bisogno di meno persone, dici semplicemente alle ultime 50 di tornare a casa. Le restanti 50 rimangono esattamente nei loro posti.
Il nuovo metodo (Unione): Se hai bisogno di meno persone, chiedi a persone con un aspetto simile di stringersi insieme e formare una singola "super-persona". Se due persone indossano la stessa maglietta rossa, si uniscono per rappresentare quel gruppo.

Perché è meglio?

Coerenza: Che tu abbia 100 persone o 10 "super-persone", i gruppi rappresentano la stessa struttura sottostante. Il "gruppo della maglietta rossa" è ancora lì, solo condensato. Questo mantiene la "storia" coerente per l'IA, indipendentemente da quanti token utilizzi.
Allineamento: Poiché i gruppi sono formati in base alla somiglianza (non solo alla posizione), l'IA può apprendere un singolo modello che funzioni perfettamente sia per liste brevi che lunghe.

Il segreto: "Unione Globale Apprendibile" (Learnable Global Merging)

C'era un grande ostacolo. Di solito, per decidere chi si unisce a chi, si guarda l'immagine specifica (ad esempio, "Questi due pixel sembrano l'orecchio di un gatto, quindi uniamoli"). Ma quando un'IA sta creando una nuova immagine da zero, non ha ancora l'immagine! Non può guardare l'immagine per decidere come unirla.

Gli autori hanno risolto questo problema con la Unione Globale Apprendibile.
Pensa a questo come a un manuale di regole preimpostato o a un "piano maestro" che l'IA apprende durante l'addestramento. Invece di guardare l'immagine per decidere chi si unisce a chi, l'IA utilizza un modello fisso e appreso (come un manuale di istruzioni universale) che dice: "Il Token 1 si unisce sempre al Token 2, il Token 3 si unisce al Token 4", indipendentemente da quale sia l'aspetto finale dell'immagine.

Anche se questo manuale di regole è fisso (non cambia in base all'immagine), l'IA lo addestra così bene che riesce naturalmente a raggruppare elementi simili. Ciò consente all'IA di sapere esattamente come gestire i token "uniti" anche prima di generare l'immagine.

I Risultati

I ricercatori hanno testato questo metodo su ImageNet (un enorme database di immagini). Hanno scoperto che:

Il loro metodo permette a un singolo modello di IA di generare immagini a diverse velocità e qualità senza dover essere riaddestrato per ogni impostazione.
Le immagini hanno una qualità migliore e la matematica funziona in modo più efficiente rispetto ai metodi precedenti che si limitavano a "tagliare" i token.
Hanno persino aggiunto un piccolo passaggio di "fine-tuning" (usando una tecnica chiamata LoRA) che rende l'IA ancora migliore per specifici conteggi di token con un costo aggiuntivo quasi nullo.

In breve: Hanno scoperto come rendere flessibili i generatori di immagini IA. Invece di costringere l'IA a scegliere tra un modello "veloce" e uno "buono", hanno costruito un unico, intelligente traduttore capace di rimpicciolire o espandere i dati dell'immagine raggruppando intelligentemente le parti simili, mantenendo alta la qualità e bassi i costi.

Riepilogo Tecnico: Tokenizzazione a Lunghezza Variabile tramite Merging Globale Apprendibile per i Diffusion Transformer

1. Definizione del Problema

I Modelli di Diffusione Latente (LDM) si affidano ai tokenizer per comprimere le immagini negli spazi latenti, creando un compromesso tra qualità della generazione e costo computazionale. I tokenizer convenzionali utilizzano un rapporto di compressione fisso, rendendo necessari molteplici varianti del modello per adattarsi a diversi budget computazionali o requisiti di qualità.

I Variable-Length Tokenizers (VLT) sono stati proposti per affrontare questo problema, regolando adattivamente il numero di token in base a specifiche condizioni (ad esempio, il budget computazionale). Il metodo prevalente, il nested dropout, addestra i modelli a scartare i token della "coda" da una sequenza ordinata, posizionando la semantica di alto livello nei primi token e i dettagli di basso livello nei successivi.

Tuttavia, gli autori identificano un difetto critico nel nested dropout quando applicato ai Diffusion Transformer (DiT):

Cross-Length Shift (Spostamento tra lunghezze): Troncare una sequenza ordinata altera la struttura di similarità a coppie (allineamento rappresentazionale) dello spazio latente. Le sequenze più brevi si concentrano sulla semantica centrale, mentre quelle più lunghe includono dettagli residui.
Mismatch Distribuzionale: Questo spostamento causa una variazione significativa della distribuzione latente e della corrispondente funzione di score attraverso diverse lunghezze di token. Di conseguenza, un singolo modello di diffusione addestrato congiuntamente su diverse lunghezze non riesce a generalizzare efficacemente, spesso performando peggio rispetto ai modelli addestrati su lunghezze specifiche.
Limitazione delle Soluzioni Esistenti: Gli standard loss di allineamento della rappresentazione richiedono che le dimensioni dei token coincidano (N = M), il che è impossibile nelle impostazioni a lunghezza variabile dove la cardinalità differisce.

2. Metodologia

Il documento propone un nuovo tokenizer a lunghezza variabile basato sul merging che modula la lunghezza combinando i token anziché troncarli. L'innovazione principale è il Learnable Global Merging (LGM), progettato per garantire l'allineamento rappresentazionale tra diversi conteggi di token rimanendo compatibile con i modelli generativi.

A. Modulazione della Lunghezza tramite Merging
Invece di scartare i token, il metodo li unisce (merging) in base a una matrice di assegnazione $\Gamma$ .

Proportional Attention (Attenzione Proporzionale): Per gestire i token uniti, il decoder e il diffusion transformer utilizzano un'attenzione proporzionale, in cui il punteggio di attenzione è regolato dalla dimensione effettiva del cluster ( $m_j$ ) di ogni token unito.
Rappresentazione Equivalente a Lunghezza Intera: Gli autori dimostrano che l'elaborazione di latenti modulati con l'attenzione proporzionale è matematicamente equivalente all'elaborazione di latenti a lunghezza intera proiettati ($Wz$) con l'attenzione standard. Questa equivalenza permette di misurare e minimizzare direttamente la differenza tra i latenti originali ( $z$ ) e i latenti uniti ($Wz$), minimizzando efficacemente lo spostamento della rappresentazione incoraggiando l'unione di token simili.

B. Learnable Global Merging (LGM)
Sorge una sfida poiché il merging standard (ad esempio, il clustering agglomerativo) è dipendente dai dati, derivando i pattern di unione dall'immagine di input. Questo è incompatibile con la generazione per diffusione, in cui l'immagine target non è disponibile.

Indipendenza dai Dati: Gli autori introducono Learnable Global Embeddings ( $e$ ) che sono indipendenti dai dati di input. Questi embedding determinano il pattern di merging per un dato target di riduzione.
Ottimizzazione: Il pattern di merging viene derivato tramite clustering agglomerativo sugli embedding globali apprendibili. Poiché il clustering comporta operazioni discrete, viene applicato un trucco straight-through per consentire l'ottimizzazione degli embedding tramite gradiente.
Alignment Loss (Loss di Allineamento): Viene introdotta una loss di allineamento ( $L_{align}$ ) per garantire che la struttura di similarità degli embedding globali apprendibili ( $e$ ) corrisponda alla struttura di similarità dei token latenti effettivi ( $z$ ). Questo guida il pattern di merging globale a raggruppare token simili, minimizzando così lo spostamento della rappresentazione definito nell'obiettivo di merging.

C. Integrazione con il Diffusion Transformer

Positional Embeddings (Embedding Posizionali): Il metodo utilizza positional embedding uniti, calcolati nello stesso modo dei latenti, per gestire l'informazione posizionale degli aggregati di token.
Post-Training: Viene introdotto un passaggio di post-training leggero tramite LoRA (Low-Rank Adaptation). Dopo l'addestramento congiunto su diverse lunghezze, vengono addestrati alcuni epoch di parametri LoRA specifici per la lunghezza, per adattare ulteriormente il modello a specifici conteggi di token con un overhead trascurabile.

3. Contributi Chiave

Tokenizzazione basata sul Merging: Una nuova architettura VLT che modula la lunghezza tramite il merging dei token, consentendo l'allineamento diretto della rappresentazione tra diversi conteggi di token minimizzando lo spostamento tra i latenti originali e quelli uniti.
Learnable Global Merging: Un meccanismo di merging indipendente dai dati che risolve l'incompatibilità tra il merging dipendente dai dati e la generazione per diffusione, garantendo che il pattern di merging sia accessibile durante l'inferenza.
Miglioramento del Rapporto Qualità-Calcolo: L'integrazione di questo tokenizer con un Diffusion Transformer raggiunge prestazioni superiori nel bilanciare la qualità della generazione (gFID) e il costo computazionale rispetto ai metodi VLT esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sulla generazione condizionale di classe su ImageNet 256×256.

Allineamento della Rappresentazione: Il metodo proposto raggiunge punteggi di Centered Kernel Nearest-Neighbor Alignment (CKNNA) significativamente più alti tra diverse lunghezze di token rispetto al nested dropout. Notevolmente, l'allineamento è spesso superiore a quello dei tokenizer a lunghezza fissa addestrati indipendentemente.
Prestazioni dell'Addestramento Congiunto:
- Nested Dropout: Mostra un ampio divario (0.8–1.7 gFID) tra i modelli addestrati congiuntamente su diverse lunghezze e quelli addestrati separatamente.
- Metodo Proposto: Riduce questo divario a meno di 0.3 gFID. Con il post-training LoRA, il modello congiunto raggiunge prestazioni entro 0.05 gFID dai modelli addestrati separatamente.
Confronto a Livello di Sistema:
- Il metodo supera i VLT esistenti (Semanticist, FlexTok) e i baseline a lunghezza fissa (SoftVQ, MAETok) in termini di rapporto gFID–compute.
- Raggiunge una qualità di generazione competitiva ad alti rapporti di compressione (ad esempio, 32 token) senza richiedere un decoder di tipo tokenizer basato sulla diffusione, a differenza di alcuni baseline.
Qualità di Ricostruzione: Il tokenizer mantiene forti metriche di ricostruzione (rFID, PSNR, SSIM) attraverso diverse lunghezze di token, particolarmente ad alti rapporti di compressione.

5. Significato e Rivendicazioni

Il documento sostiene che la barriera principale a un efficace modello di diffusione a lunghezza variabile sia lo spostamento della distribuzione latente tra le lunghezze causato dai metodi di troncamento convenzionali. Passando a un approccio basato sul merging con pattern apprendibili e indipendenti dai dati, gli autori riescono con successo a mantenere l'allineamento della rappresentazione.

La significatività risiede nel rendere possibile l'utilizzo di un singolo modello di diffusione che operi efficacemente attraverso diversi conteggi di token, permettendo un controllo flessibile su qualità e calcolo senza la necessità di molteplici varianti del modello. Gli autori pongono questo lavoro come un passo verso l'implementazione più efficiente di modelli generativi in scenari con diverse restrizioni computazionali, notando che, sebbene rimanga un divario tra i tokenizer 1D e 2D, il loro approccio offre una direzione promettente per architetture ibride. Il lavoro è inquadrato come un miglioramento dell'efficienza piuttosto che come una nuova capacità generativa, senza dichiarare preoccupazioni etiche.