InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

Probleemstelling

Unified Multimodal Large Language Models (MLLMs) streven ernaar om beeldbegrip (understanding) en beeldgeneratie (generation) binnen één enkel kader te verenigen. Een centrale uitdaging in deze modellen is de visuele tokenizer, die hoogdimensionale afbeeldingen omzet in een beperkt aantal tokens voor de Large Language Model (LLM)-backbone.

Er bestaat een fundamenteel conflict in de vereisten voor deze gedeelde tokens:

• Beeldbegrip vereist semantische abstractie (hoog niveau, conceptueel).
• Beeldgeneratie vereist fijne perceptuele details (laag niveau, textuur, precisie).

Bestaande gedeelde-token-architecturen zijn voornamelijk architectuur-gedreven en vertrouwen op end-to-end trainingsverliezen zonder expliciete criteria voor welke informatie bewaard moet blijven. Hierdoor worden tokens vaak geoptimaliseerd voor één taak ten koste van de andere, of ze bevatten te veel redundante, hoog-entropische variaties die het representatiebudget verspillen. De auteurs introduceren het perspectief van de "capacity-constrained learner": de visuele tokenizer heeft een beperkt reken- en representatiebudget en moet prioriteit geven aan herbruikbare structuren (semantische entiteiten) in plaats van willekeurige variaties.

Methodologie: InfoTok

Om dit probleem op te lossen, stellen de auteurs InfoTok voor, een raamwerk voor visuele tokenisatie dat gebaseerd is op het Information Bottleneck (IB) principe. Het doel is om de informatiestroom expliciet te reguleren van afbeeldingen naar gedeelde tokens en vervolgens naar multimodale output.

1. Theoretisch Kader (Extended IB):
InfoTok formuleert tokenisatie als een optimalisatieprobleem dat een afweging maakt tussen compressie en taakrelevantie. De doelstelling wordt gedefinieerd door drie termen voor zowel begrip ($u$) als generatie ($g$):

• Compactheid (Compression): Minimaliseer de wederzijdse informatie $I(\tilde{Z}; I)$ tussen de projectie van de tokens en de inputafbeelding. Dit filtert redundante, hoog-entropische details.
• Voldoende Informatie (Sufficiency): Maximaliseer $I(\tilde{Z}; Y^{GT})$, waarbij $Y^{GT}$ de ground-truth is (tekst voor begrip, afbeelding voor generatie). Dit zorgt ervoor dat de tokens de noodzakelijke informatie behouden voor de taak.
• Alignement (Cross-modal Consistency): Maximaliseer $I(\tilde{Z}; T)$ om de visuele tokens compatibel te maken met tekstuele embeddings, wat essentieel is voor de unified next-token predictie.

2. Praktische Implementatie:
Omdat wederzijdse informatie (Mutual Information - MI) niet direct berekenbaar is voor hoogdimensionale neurale netwerken, worden twee differentieerbare schatters gebruikt om de IB-doelstelling te benaderen:

• Variational Information Bottleneck (VIB): Gebruikt een variational posterior (Gaussian) en de Kullback-Leibler (KL) divergentie om een bovengrens voor compressie en een ondergrens voor relevantie te schatten.
• Hilbert Schmidt Independence Criterion (HSIC): Een kernel-gebaseerde maatstaf voor afhankelijkheid die geen expliciete dichtheidsmodelling vereist.

3. Training en Distillatie:
InfoTok wordt geïntegreerd als een regularisatielaag tijdens het fine-tunen van bestaande MLLMs.

• Er worden lichte, taakspecifieke projecties ($\tilde{Z}$) toegevoegd tijdens training om de IB-verliezen te definiëren.
• Een distillatie-verlies ($L_{distill}$) wordt toegevoegd om de informatie-structuur van de projecties terug te leiden naar de gedeelde encoder-tokens ($Z$), zodat de encoder zelf de regularisatie leert.
• De totale loss functie is: $L_{Total} = L_{MLLM} + \lambda L_{InfoTok}$.

Belangrijkste Bijdragen

1. Capacity-Constrained Perspectief: De auteurs introduceren het idee dat gedeelde tokenizers in Unified MLLMs fungeren als "compute-bounded learners" die een expliciete allocatie van hun representatiebudget nodig hebben, gericht op herbruikbare structuur in plaats van ruis.
2. Informatie-theoretische Regularisatie: InfoTok is het eerste framework dat het IB-principe expliciet toepast op gedeelde visuele tokenisatie voor zowel begrip als generatie, met een wiskundig onderbouwde afweging tussen compressie en relevantie.
3. Praktische Instantiaties: Het paper levert tractable oplossingen (via VIB en HSIC) om deze theoretische principes in de praktijk te brengen zonder extra trainingsdata of architecturale wijzigingen.
4. Theoretische Onderbouwing: Een bewijs wordt geleverd dat het reguleren van de projecties ($\tilde{Z}$) voldoende is om de onderliggende encoder ($V_{enc}$) effectief te optimaliseren, gebaseerd op de data processing inequality.

Resultaten

InfoTok is geëvalueerd op drie representatieve Unified MLLMs: Harmon, OpenUni en Show-o2. Alle experimenten zijn uitgevoerd zonder extra trainingsdata, uitsluitend met de originele datasets van de baselines.

• Prestatieverbetering: InfoTok leidt tot consistente verbeteringen in zowel beeldbegrip (op benchmarks zoals MME, POPE, GQA, MMMU) als beeldgeneratie (op Geneval, WISE).
  • Bijvoorbeeld: Op Harmon steeg de prestatie op Geneval met +0.13 en op Geneval++ met +0.34.
  • Op Show-o2 werden vergelijkbare significante verbeteringen gezien, met name in het volgen van complexe instructies (compositional instruction following).
• Kwalitatieve Verbeteringen: Generaties tonen betere instructie-opvolging, minder ontbrekende objecten en betere semantische coherentie.
• Ablatiestudies:
  • De kerncomponenten (Compactheid en Voldoende Informatie) zijn de belangrijkste drijvers van de verbetering.
  • De Alignement-term verbetert de stabiliteit en cross-modale consistentie.
  • InfoTok werkt robuust over verschillende architecturen en is niet afhankelijk van specifieke hyperparameters of grote hoeveelheden extra fine-tuning data (prestaties satureren rond 1.5M samples).
  • Frequentie-analyse toont aan dat InfoTok de focus verschuift van hoogfrequente details (ruis/textuur) naar laagfrequente structurele informatie, wat de kwaliteit van de gedeelde tokens verbetert.

Significantie

Deze paper biedt een fundamentele verschuiving in hoe gedeelde visuele tokenizers worden ontworpen. In plaats van te vertrouwen op trial-and-error architecturale aanpassingen of grotere codebooks, biedt InfoTok een principiële, informatie-theoretische aanpak.

De resultaten suggereren dat het expliciet reguleren van de informatiestroom via het IB-principe een krachtigere methode is om de spanning tussen abstractie en detail in Unified MLLMs op te lossen dan puur schalen van het model. Dit opent een nieuwe weg voor het ontwerpen van stabielere en efficiëntere multimodale systemen die zowel goed begrijpen als goed genereren, zonder de noodzaak van extra data of complexe architecturale ingrepen.