Technische Samenvatting: Slot-MLLM: Object-gerichte Visual Tokenisatie voor Multimodale LLM

1. Probleemstelling

Recente generatieve Multimodale Grootte Taalmodellen (MLLM's) hebben discrete visuele tokens aangenomen om autoregressieve modellering van afbeeldingen naast tekst mogelijk te maken. Hoewel dit paradigma begrip en generatie verenigt binnen één enkel next-token predictie-framework, staan bestaande visuele tokenizers voor aanzienlijke beperkingen:

• Gebrek aan Object-niveau Structuur: De meeste tokenizers zijn patch-gebaseerd of vertrouwen op globale semantische supervisie. Ze worstelen om structurele compositie te behouden, wat cruciaal is voor redenering op object-niveau en controleerbare generatie.
• Inefficiëntie en Starheid: Benaderingen zoals UniTok en TokenFlow vertrouwen vaak op vaste-rooster representaties, wat resulteert in buitensporig lange visuele sequenties. Anderen vertrouwen op heuristische clustering of samenvoeging van patch-features in plaats van principiële, onbewaakte entiteitsontdekking.
• Integratie-uitdagingen: Hoewel Slot Attention een principiële inductieve bias biedt voor object-gerichte representatie door scènes te ontleden in een vaste set tokens, blijft het praktisch toepasbaar maken voor generatieve MLLM's een open uitdaging. Het moet tegelijkertijd voldoen aan hoogwaardige afbeeldingsgeneratie, sterke uitlijning met taalsemantic en stabiliteit bij training op grootschalige datasets.

2. Methodologie

De auteurs stellen SlotTok voor, een object-gerichte visuele tokenizer, en Slot-MLLM, een unificerend model dat SlotTok integreert met een LLM.

A. SlotTok: Object-gerichte Visuele Tokenizer

SlotTok encodeert afbeeldingen in een compacte set discrete, object-gerichte tokens met behulp van een twee-fasen trainingsproces:

1. Architectuur:

   • Slot Encoder: Gebaseerd op een query-gebaseerde transformer, neemt het visuele features (van een visie-encoder zoals DINOv2) en gebruikt Slot Attention om informatie te aggregeren in $N$ coherente slots. Elke slot is bedoeld om een distinct object of regio te representeren. Om uit te lijnen met autoregressieve MLLM's, bevat het een causale self-attention laag.
   • Vector Quantizer: Continue slot embeddings worden gediscretiseerd met behulp van een Residual Vector Quantizer (RVQ) met een lichtgewicht Transformer blok om embeddings te reconstrueren uit discrete codes, waarbij hoge reconstructiekwaliteit wordt gewaarborgd onder een compact token-budget.
   • Visuele Decoder: Een op diffusie gebaseerde decoder (unCLIP-SD) die afbeeldingen reconstrueert vanuit slot tokens. Het maakt gebruik van drie conditioneringspaden: een globale vector voor semantische begeleiding, een slot context embedding voor bevroren UNet cross-attention, en een trainbare adapter cross-attention laag die volledige slot embeddings ontvangt.

2. Trainingsstrategie:

   • Fase 1 (Continue Learning): De Slot Encoder, Transformer blok en adapter lagen worden getraind terwijl de oorspronkelijke cross-attention lagen van de UNet bevroren blijven. Het doel combineert vijf verliezen:
     • Afbeeldingsreconstructie Verlies (Diffusie): Minimaliseren van de ruisvoorspellingsfout.
     • CLIP Uitlijningsverlies: Uitlijnen van globale slot embeddings met CLIP afbeeldingsembeddings.
     • Afbeelding-Text Contrastief Verlies: Uitlijnen van slot embeddings met tekst embeddings om semantische compatibiliteit te waarborgen.
     • Afbeelding-gebaseerde Tekstgeneratie Verlies: Voorspellen van tekst tokens geconditioneerd op slots.
     • Attention Guidance Verlies: Een nieuw verlies dat de adapter cross-attention kaarten in de UNet uitlijnt met de slot attention kaarten van de encoder. Dit zorgt ervoor dat de diffusie decoder slots op een object-uitgelijnde manier consumeert zonder externe supervisie.
   • Fase 2 (Discretisatie): De Slot Encoder en Visuele Decoder worden bevroren. Alleen de RVQ en een reconstructie Transformer worden getraind om discrete codes te leren die de continue embeddings benaderen, waarbij de geleerde object-uitlijning behouden blijft.

B. Slot-MLLM: Unificerend Multimodaal Modelleren

Slot-MLLM integreert SlotTok in één enkel autoregressief framework:

• Token Representatie: Afbeeldingen worden omgezet in $N \times K$ discrete indices (waarbij $K$ het aantal RVQ codeboeken is). Deze worden afgevlakt en toegevoegd aan de LLM vocabulaire als een "tweede taal", begrensd door <boi> en <eoi> tokens.
• Hybride Visuele Input: Voor begrip taken gebruikt het model voor-gequantiseerde continue slot embeddings geprojecteerd in de LLM verborgen ruimte via een MLP om fijne visuele informatie te behouden en quantisatiefouten te vermijden. Voor generatie taken gebruikt het model de discrete slot tokens om autoregressieve next-token predictie mogelijk te maken.
• Training: Het model ondergaat multimodale pre-training op afbeelding-tekst paren en verweven data, gevolgd door Supervised Fine-Tuning (SFT) op instructie-volgende datasets voor begrip, generatie en bewerking.

3. Belangrijkste Bijdragen

1. SlotTok: Een nieuwe object-gerichte visuele tokenizer die slot attention gebruikt om afbeeldingen te comprimeren tot een kleine set semantisch betekenisvolle tokens terwijl structurele fideliteit behouden blijft.
2. Praktische Trainingsstrategie: Een twee-fasen trainingsaanpak die object-gerichte representaties en discrete tokenisatie leert zonder pretrained diffusie-priors te degraderen, gebruikmakend van attention guidance om slot-object uitlijning te stabiliseren.
3. Slot-MLLM: De eerste grootschalige empirische validatie dat slot attention effectief kan worden geïntegreerd in LLM's voor diverse real-world afbeeldingen. Het toont aan dat object-gerichte tokenisatie verenigde autoregressieve modellering mogelijk maakt voor zowel begrip als generatie.

4. Experimentele Resultaten

Afbeeldingsreconstructie en Token Kwaliteit

• Reconstructie: SlotTok bereikt concurrerende reconstructiekwaliteit (PSNR, SSIM, CLIP-T) in vergelijking met op diffusie gebaseerde tokenizers zoals LaViT en SEED, ondanks het gebruik van aanzienlijk minder tokens (32 slots versus 256+ patches).
• Object-gerichtheid: Kwalitatieve analyse en gerandomiseerde vervangingsexperimenten tonen aan dat SlotTok tokens niet-redundant en distinct zijn. Het vervangen van 50% van de tokens veroorzaakt een significante prestatiedaling, wat bevestigt dat elke slot specifieke visuele details encodeert.
• Attention Maps: SlotTok attention maps concentreren zich duidelijk op individuele objecten, terwijl baselines zoals LaViT verspreide attention of verschoven objectposities tonen.

Multimodaal Begrip en Generatie

• Begrip: Slot-MLLM presteert beter dan verenigde baselines (LaViT, SEED-LLaMA) op zero-shot benchmarks (GQA, MME, POPE, NaturalBench), met name in taken die objectherkenning en attribuutbinding vereisen.
• Generatie & Bewerking: Slot-MLLM presteert consequent beter dan baselines in tekst-naar-afbeelding generatie (GenEval, T2I-CompBench) en gelokaliseerde afbeeldingsbewerking (MagicBrush, GIE-Bench). Het toont een superieur vermogen om achtergrondconsistentie te behouden en specifieke objecten te manipuleren op basis van tekst prompts.
• Schalen: De prestaties verbeteren consequent bij het schalen van de backbone LLM (van 7B naar 14B), wat de compatibiliteit van de architectuur met sterkere modellen aangeeft.

Ablatie Studies

• Slot Attention: Het verwijderen van slot attention (vervangen door standaard cross-attention) leidt tot een significante daling in object-niveau metrics (ARI, mIoU) en downstream taakprestaties, wat de noodzaak van de inductieve bias bevestigt.
• Guidance Verlies: Het verwijderen van het attention guidance verlies verbetert pixel-niveau reconstructie (PSNR) maar verslechtert object-uitlijning en downstream generatie/bewerkingsprestaties, wat de afweging tussen ruwe fideliteit en semantische structuur benadrukt.
• Slot Aantal: Het verhogen van slots boven 32 (bijv. naar 64) verbetert reconstructiemetrics maar verslechtert object-gerichte metrics (ARI, mIoU), wat suggereert dat excessieve slots coherente objecten te sterk partitioneren.

5. Betekenis en Claims

Het artikel claimt de eerste grootschalige empirische validatie te bieden dat object-gerichte slot attention effectief kan worden geïntegreerd in generatieve MLLM's voor real-world afbeeldingen.

De auteurs betogen dat:

• Hoge reconstructiefideliteit alleen onvoldoende is voor MLLM's; visuele tokens moeten een object-bewuste representatie bieden die uitlijnt met linguïstische concepten.
• Object-gerichte tokenisatie niet slechts een representatieve keuze is, maar een sleutelfacilitator voor efficiënte en controleerbare multimodale generatie.
• De voorgestelde methode een superieure balans bereikt tussen generatieve kwaliteit, computationele efficiëntie (via token compressie) en fijne structurele controle in vergelijking met bestaande patch-gebaseerde of globaal gesuperviseerde tokenizers.

Het werk vestigt dat het aanpassen van slot attention om uit te lijnen met taalsupervisie en het versterken van object-gerichte representaties noodzakelijk is voor next-generation verenigde MLLM's.