Riepilogo Tecnico: SelfBootTok – Bilanciare Compressione e Generazione di Immagini con la Tokenizzazione Bootstrapped

1. Problema

Gli attuali metodi di tokenizzazione delle immagini affrontano un compromesso fondamentale tra efficienza di compressione e qualità della generazione. Gli approoli standard spesso codificano informazioni ridondanti mescolando semantica globale e dettagli locali all'interno di ogni singolo token. Questo "mescolamento" crea ridondanza tra i token e complica l'addestramento dei modelli generativi, poiché i generatori devono apprendere simultaneamente la semantica di alto livello e i dettagli visivi fini. Inoltre, gli esistenti tokenizer 1D, pur offrendo un'alta compressione, spesso faticano a catturare sia il contesto globale che i dettagli strutturali locali entro un budget di token limitato senza sacrificare la fedeltà della ricostruzione o le prestazioni di generazione. La sfida risiede nel decomporre pulitamente l'informazione visiva per ridurre la ridondanza a livello di token, consentendo al contempo una formazione scalabile e una generazione efficiente.

2. Metodologia: SelfBootTok

Gli autori propongono SelfBootTok, un tokenizer di immagini 1D che affronta questi problemi attraverso una strategia di decomposizione globale-locale combinata con l'apprendimento auto-supervisionato (self-supervised) bootstrapped. Il framework si compone di tre componenti principali:

A. Decomposizione Globale-Locale

Invece di trattare tutti i token in modo uniforme, SelfBootTok separa l'informazione visiva in gruppi distinti:

• Token Globali ($z_G$): Rappresentazioni semantiche di alto livello estratte tramite un encoder Vision Transformer (ViT).
• Token Locali ($z_{L1}, z_{L2}$): Dettagli visivi fini catturati attraverso due rami paralleli:
  • Token Locali 1D: Predetti tramite un MLP a partire dai token globali.
  • Token Locali 2D: Predetti tramite un transformer causale a partire dai token globali.
    Il modello impiega un design a multi-codebook ($C_{global}, C_{local1D}, C_{local2D}$) con quantizzazione vettoriale soft per garantire la differenziabilità, permettendo a ciascun gruppo di specializzarsi nella propria specifica granularità.

B. Apprendimento Bootstrapped Auto-Supervisionato

Un'innovazione chiave è il paradigma di self-bootstrapping. Il modello impara a predire i dettagli locali esclusivamente dai token globali utilizzando immagini non etichettate.

• Addestramento: Il tokenizer è addestrato per ricostruire le caratteristiche locali (allineate con encoder pre-addestrati come DINOv2, SigLIP o I-JEPA) basandosi sulla rappresentazione del token globale.
• Generazione: Durante la fase di generazione, il generatore produce solo i token globali ($z_G$). I token locali ($z_{L1}, z_{L2}$) vengono automaticamente predetti dai aligner locali congelati (MLP e Transformer) basandosi sui token globali generati.
• Vantaggio: Questo sposta l'onere dell'apprendimento dei dettagli visivi dal generatore al tokenizer. Il generatore si concentra esclusivamente sulla semantica di alto livello, riducendo significativamente la sua complessità e i requisiti di dati.

C. Allineamento da 2D a 1D tramite Trasporto Ottimale

Per integrare i priori strutturali 2D nella sequenza di token 1D, il metodo utilizza un framework di Trasporto Ottimale (OT).

• Un aligner locale 2D predice una sequenza 1D che è allineata con le feature latenti del VAE 2D.
• L'allineamento minimizza una perdita di trasporto ottimale regolarizzata dall'entropia (risolta tramite l'algoritmo di Sinkhorn), mappando efficacemente le distribuzioni spaziali 2D in una sequenza 1D compatta preservando l'informazione strutturale.

D. Ottimizzazione Parallela e Scalabilità

Il framework supporta una strategia di addestramento unica in cui il tokenizer e il generatore possono essere ottimizzati in parallelo.

1. Il tokenizer viene addestrato per generare token globali e predire i dettagli locali.
2. Una volta appresa la componente del token globale, questa viene congelata.
3. Il generatore e i più grandi aligner locali possono quindi essere scalati e addestrati in parallelo senza dover riaddestrare il generatore. Ciò disaccoppia il design della dimensione del tokenizer dalla dimensione del generatore, permettendo una scalabilità efficiente.

3. Principali Contributi

1. Decomposizione Pulita dell'Informazione: SelfBootTok risolve la ridondanza separando la semantica globale e i dettagli locali in distinti gruppi di token, semplificando il compito del generatore.
2. Predizione Self-Bootstrapped: Il modello predice i dettagli locali fini direttamente dai token globali usando dati non etichettati, eliminando la necessità di estesi accoppiamenti testo-immagine per l'apprendimento dei dettagli e spostando parte del processo di generazione all'interno della pipeline di compressione.
3. Generazione Efficiente: Richiedendo al generatore di produrre solo i token globali, il metodo riduce i costi computazionali di circa il 40% e il tempo di addestramento del 54% rispetto agli approcci di scaling che richiedono il riaddestramento dei generatori.
4. Architettura Scalabile: Il framework consente di scalare l'apprendimento delle rappresentazioni locali (da 10M a 600M di parametri) riutilizzando lo stesso generatore addestrato, raggiungendo nuove prestazioni state-of-the-art senza riaddestrare il modello di generazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet-256 ($256 \times 256$) con un budget di 64 token.

• Qualità della Ricostruzione: SelfBootTok raggiunge un FID di ricostruzione (rFID) di 0.66, superando altri tokenizer 1D (es. SoftVQ a 0.88, TiTok-B a 1.70) e performando in modo comparabile a metodi che utilizzano 256 token (es. SD-VAE).
• Prestazioni di Generazione: Il metodo raggiunge un FID di generazione (gFID) state-of-the-art di 1.56 tra i tokenizer 1D. È comparabile ai migliori tokenizer 2D (VA-VAE: 1.35) e ai modelli autoregressivi (MAR-H: 1.55), nonostante l'uso di significativamente meno token.
• Efficienza: La strategia di addestramento parallelo riduce il costo computazionale totale da 4.9B parametri/60K GFLOPs a 2.95B/36.6K GFLOPs e accorcia il tempo di addestramento da 28 giorni a 13 giorni.
• Studi di Ablazione: I risultati confermano che l'inclusione di entrambi i rami locali 1D e 2D e l'uso di I-JEPA per l'allineamento forniscono le migliori prestazioni. Il design di self-bootstrapping migliora significativamente la ricostruzione in tutte le metriche (rFID, PSNR, SSIM).

5. Significato e Rivendicazioni

Il paper sostiene che SelfBootTok stabilisce un nuovo paradigma per la tokenizzazione delle immagini che bilancia efficacemente compressione e generazione. Spostando l'apprendimento dei dettagli visivi al tokenizer tramite self-bootstrapping, il metodo consente:

• Efficienza Superiore: I generatori diventano molto più efficienti, richiedendo solo i token globali per produrre immagini di alta qualità.
• Scalabilità: La capacità di scalare l'apprendimento delle rappresentazioni locali usando più dati o parametri senza riaddestrare il generatore.
• Prestazioni State-of-the-Art: Raggiungere una qualità di generazione di alto livello (gFID 1.56) con soli 64 token, dimostrando che le rappresentazioni latenti compatte possono trattenere dettagli sufficienti per una generazione ad alta fedeltà quando l'informazione globale e quella locale sono correttamente decomposte.

Gli autori sottolineano che questo approccio valida il potenziale del self-bootstrapping nella tokenizzazione delle immagini, offrendo una soluzione ai problemi di ridondanza e scalabilità che affliggono gli attuali metodi di tokenizzazione 1D.