Riepilogo Tecnico: Slot-MLLM: Tokenizzazione Visiva Centrata sugli Oggetti per MLLM Multimodali

1. Enunciato del Problema

I recenti Modelli Linguistici Multimodali (MLLM) generativi hanno adottato token visivi discreti per abilitare la modellazione autoregressiva delle immagini insieme al testo. Sebbene questo paradigma unifichi la comprensione e la generazione all'interno di un unico framework di previsione del token successivo, i tokenizzatori visivi esistenti presentano limitazioni significative:

• Mancanza di Struttura a Livello di Oggetto: La maggior parte dei tokenizzatori è basata su patch o si affida a supervisione semantica globale. Faticano a preservare la composizionalità strutturale, che è critica per il ragionamento a livello di oggetto e la generazione controllabile.
• Inefficienza e Rigidità: Approcci come UniTok e TokenFlow spesso si basano su rappresentazioni a griglia fissa, risultando in sequenze visive eccessivamente lunghe. Altri dipendono da clustering euristico o fusione di caratteristiche di patch piuttosto che da una scoperta di entità non supervisionata e fondata su principi.
• Sfide di Integrazione: Sebbene l'attenzione a slot (Slot Attention) offra un pregiudizio induttivo fondato per la rappresentazione centrata sugli oggetti decomponendo le scene in un insieme fisso di token, renderla pratica per MLLM generativi rimane una sfida aperta. Deve soddisfare simultaneamente la generazione di immagini di alta qualità, un forte allineamento con la semantica del linguaggio e la stabilità quando addestrata su dataset su larga scala.

2. Metodologia

Gli autori propongono SlotTok, un tokenizzatore visivo centrato sugli oggetti, e Slot-MLLM, un modello unificato che integra SlotTok con un LLM.

A. SlotTok: Tokenizzatore Visivo Centrato sugli Oggetti

SlotTok codifica le immagini in un insieme compatto di token discreti centrati sugli oggetti utilizzando un processo di addestramento in due fasi:

1. Architettura:

   • Codificatore a Slot (Slot Encoder): Basato su un transformer basato su query, prende le caratteristiche visive (da un codificatore visivo come DINOv2) e utilizza l'Attenzione a Slot (Slot Attention) per aggregare le informazioni in $N$ slot coerenti. Ogni slot è destinato a rappresentare un oggetto o una regione distinta. Per allinearsi con gli MLLM autoregressivi, include un livello di auto-attenzione causale.
   • Quantizzatore Vettoriale: Gli embedding continui degli slot sono discretizzati utilizzando un Quantizzatore Vettoriale Residuale (RVQ) con un blocco Transformer leggero per ricostruire gli embedding da codici discreti, garantendo un'alta qualità di ricostruzione sotto un budget di token compatto.
   • Decodificatore Visivo: Un decodificatore basato su diffusione (unCLIP-SD) che ricostruisce le immagini dai token degli slot. Utilizza tre percorsi di condizionamento: un vettore globale per la guida semantica, un embedding di contesto dello slot per l'attenzione incrociata UNet congelata e un livello di attenzione incrociata adattabile addestrabile che riceve gli embedding completi degli slot.

2. Strategia di Addestramento:

   • Fase 1 (Apprendimento Continuo): Il Codificatore a Slot, il blocco Transformer e i livelli adattatori vengono addestrati mentre i livelli originali di attenzione incrociata dell'UNet rimangono congelati. L'obiettivo combina cinque perdite:
     • Perdita di Ricostruzione dell'Immagine (Diffusione): Minimizzazione dell'errore di previsione del rumore.
     • Perdita di Allineamento CLIP: Allineamento degli embedding globali degli slot con gli embedding delle immagini CLIP.
     • Perdita Contrastiva Immagine-Testo: Allineamento degli embedding degli slot con gli embedding del testo per garantire la compatibilità semantica.
     • Perdita di Generazione di Testo Basata sull'Immagine: Predizione dei token di testo condizionati agli slot.
     • Perdita di Guida dell'Attenzione: Una perdita innovativa che allinea le mappe di attenzione incrociata dell'adattatore nell'UNet con le mappe di attenzione degli slot dal codificatore. Ciò garantisce che il decodificatore di diffusione consumi gli slot in modo allineato agli oggetti senza supervisione esterna.
   • Fase 2 (Discretizzazione): Il Codificatore a Slot e il Decodificatore Visivo vengono congelati. Solo l'RVQ e un Transformer di ricostruzione vengono addestrati per apprendere codici discreti che approssimano gli embedding continui, preservando l'allineamento agli oggetti appreso.

B. Slot-MLLM: Modellazione Multimodale Unificata

Slot-MLLM integra SlotTok in un unico framework autoregressivo:

• Rappresentazione dei Token: Le immagini vengono convertite in $N \times K$ indici discreti (dove $K$ è il numero di libri di codici RVQ). Questi vengono appiattiti e aggiunti al vocabolario dell'LLM come una "seconda lingua", delimitati dai token <boi> e <eoi>.
• Input Visivo Ibrido: Per le attività di comprensione, il modello utilizza embedding continui di slot pre-quantizzati proiettati nello spazio nascosto dell'LLM tramite un MLP per preservare le informazioni visive fini ed evitare errori di quantizzazione. Per le attività di generazione, il modello utilizza i token degli slot discreti per abilitare la previsione autoregressiva del token successivo.
• Addestramento: Il modello subisce un pre-addestramento multimodale su coppie immagine-testo e dati intercalati, seguito da un Affinamento Supervisionato (SFT) su dataset di seguito alle istruzioni per la comprensione, la generazione e la modifica.

3. Contributi Chiave

1. SlotTok: Un nuovo tokenizzatore visivo centrato sugli oggetti che utilizza l'attenzione a slot per comprimere le immagini in un piccolo insieme di token semanticamente significativi preservando la fedeltà strutturale.
2. Strategia di Addestramento Pratica: Un approccio di addestramento in due fasi che apprende rappresentazioni centrato sugli oggetti e tokenizzazione discreta senza degradare i prior di diffusione pre-addestrati, utilizzando la guida dell'attenzione per stabilizzare l'allineamento slot-oggetto.
3. Slot-MLLM: La prima validazione empirica su larga scala che l'attenzione a slot può essere integrata efficacemente negli LLM per immagini reali diversificate. Dimostra che la tokenizzazione centrata sugli oggetti abilita la modellazione autoregressiva unificata sia per la comprensione che per la generazione.

4. Risultati Sperimentali

Ricostruzione dell'Immagine e Qualità dei Token

• Ricostruzione: SlotTok raggiunge una qualità di ricostruzione competitiva (PSNR, SSIM, CLIP-T) rispetto ai tokenizzatori basati su diffusione come LaViT e SEED, nonostante utilizzi significativamente meno token (32 slot contro 256+ patch).
• Centratura sull'Oggetto: L'analisi qualitativa e gli esperimenti di sostituzione casuale mostrano che i token di SlotTok non sono ridondanti e sono distinti. Sostituire il 50% dei token causa un calo significativo delle prestazioni, confermando che ogni slot codifica dettagli visivi specifici.
• Mappe di Attenzione: Le mappe di attenzione di SlotTok si concentrano chiaramente su singoli oggetti, mentre le baseline come LaViT mostrano un'attenzione dispersa o posizioni di oggetti spostate.

Comprensione e Generazione Multimodale

• Comprensione: Slot-MLLM supera le baseline unificate (LaViT, SEED-LLaMA) su benchmark zero-shot (GQA, MME, POPE, NaturalBench), in particolare in compiti che richiedono il riconoscimento di oggetti e il vincolo degli attributi.
• Generazione e Modifica: Slot-MLLM supera costantemente le baseline nella generazione da testo a immagine (GenEval, T2I-CompBench) e nella modifica localizzata di immagini (MagicBrush, GIE-Bench). Dimostra una capacità superiore nel mantenere la coerenza dello sfondo e manipolare oggetti specifici in base ai prompt testuali.
• Scalabilità: Le prestazioni migliorano costantemente quando si scala l'LLM di base (da 7B a 14B), indicando la compatibilità dell'architettura con modelli più potenti.

Studi di Ablazione

• Attenzione a Slot: Rimuovere l'attenzione a slot (sostituendola con l'attenzione incrociata standard) porta a un calo significativo nelle metriche a livello di oggetto (ARI, mIoU) e nelle prestazioni dei compiti downstream, confermando la necessità del pregiudizio induttivo.
• Perdita di Guida: Rimuovere la perdita di guida dell'attenzione migliora la ricostruzione a livello di pixel (PSNR) ma degrada l'allineamento degli oggetti e le prestazioni di generazione/modifica downstream, evidenziando il compromesso tra fedeltà grezza e struttura semantica.
• Numero di Slot: Aumentare gli slot oltre 32 (ad esempio, a 64) migliora le metriche di ricostruzione ma degrada le metriche centrate sull'oggetto (ARI, mIoU), suggerendo che un eccesso di slot sovrappartiziona oggetti coerenti.

5. Significato e Affermazioni

Il documento afferma di fornire la prima validazione empirica su larga scala che l'attenzione a slot centrata sugli oggetti può essere integrata efficacemente negli MLLM generativi per immagini reali.

Gli autori sostengono che:

• L'alta fedeltà di ricostruzione da sola è insufficiente per gli MLLM; i token visivi devono fornire una rappresentazione consapevole degli oggetti che si allinea con i concetti linguistici.
• La tokenizzazione centrata sugli oggetti non è semplicemente una scelta rappresentativa ma un abilitatore chiave per una generazione multimodale efficiente e controllabile.
• Il metodo proposto raggiunge un equilibrio superiore tra qualità generativa, efficienza computazionale (tramite compressione dei token) e controllo strutturale fine rispetto ai tokenizzatori esistenti basati su patch o supervisionati globalmente.

Il lavoro stabilisce che l'adattamento dell'attenzione a slot per allinearsi alla supervisione linguistica e il rafforzamento delle rappresentazioni centrate sugli oggetti sono necessari per gli MLLM unificati di prossima generazione.