TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

Het artikel introduceert TaiChi, een nieuw Vision-Language Model- framework dat door middel van een dubbele visuele tokenizer, een Bilateral Attention Network en een KAN-gebaseerde projector de beperkingen van bestaande modellen oplost en zo een superieur presterend systeem voor multimodale en multitask tokencommunicatie mogelijk maakt.

De kern

📸 De Grootte van het Probleem: Waarom huidige AI's "stotteren" bij het sturen van beelden

Stel je voor dat je een prachtige foto van een zonsondergang naar een vriend wilt sturen via een heel slechte internetverbinding.
Huidige slimme computers (die we Visueel-Taalmodellen noemen) proberen dit te doen, maar ze hebben drie grote problemen:

1. Te grof of te fijn: Ze kiezen vaak tussen een wazig overzicht (wat is er te zien?) of een superduidelijke close-up (wat zijn de details?). Ze kunnen niet makkelijk beide tegelijk.
   • Vergelijking: Het is alsof je een kaart van de wereld hebt, maar je vergeet de straatnamen. Of je hebt alleen de straatnamen, maar weet niet in welk land je bent.
2. Te veel praten: Om een foto te beschrijven, genereren ze soms duizenden kleine woorden (tokens). Dat is als een brief schrijven die 500 pagina's lang is, terwijl je het in één zin had kunnen zeggen. Dat kost veel tijd en geld om te sturen.
3. Verkeerde vertaling: Ze zijn goed in foto's en goed in tekst, maar het "vertalen" van de foto naar woorden gaat soms haperen. Belangrijke details (zoals de kleur van een auto) gaan verloren in de vertaling.

🥋 De Oplossing: TaiChi (De Meester van de Balans)

De auteurs van dit paper hebben een nieuw systeem bedacht dat TaiChi heet. De naam is niet toevallig: net als TaiChi in vechtkunst gaat het om balans, stroming en het gebruik van de juiste kracht op het juiste moment.

TaiChi lost de drie problemen op met drie slimme trucjes:

1. Twee Ogen in plaats van Eén (De Dual-Visual Tokenizer)

In plaats van één camera te gebruiken, heeft TaiChi er twee:

• Oog 1 (De Globale Kijker): Kijkt naar een wazig, klein plaatje. Dit oog ziet de grote lijnen: "Het is een bos, er is een rivier."
• Oog 2 (De Detailkijker): Kijkt naar een groot, scherp plaatje. Dit oog ziet de fijne details: "De bladeren zijn geel, de steen is nat."
• De Magie: In plaats van dat ze ruzie maken, werken ze samen. Ze geven elkaar de informatie die de ander mist. Zo krijg je een volledig plaatje zonder dat je duizenden pagina's hoeft te sturen.

2. De Slimme Regisseur (Het Bilateral Attention Network)

Nu hebben we twee sets informatie: de grote lijnen en de details. Hoe combineer je die zonder rommel?
TaiChi gebruikt een Bilateral Attention Network (BAN).

• Vergelijking: Stel je voor dat je een regisseur bent die twee acteurs regelt. De regisseur zegt tegen de "Grote Lijnen"-acteur: "Kijk eens goed naar die steen in de hoek, wat zie je daar?" En tegen de "Detail"-acteur zegt hij: "Onthoud dat dit een bos is, niet een stad."
• Ze kijken naar elkaar, vullen elkaar aan en verwijderen onnodige ruis (zoals een saaie achtergrond). Het resultaat is een compacte, krachtige samenvatting van de foto. In plaats van 1000 woorden, sturen ze nu misschien maar 100 zeer waardevolle woorden.

3. De Perfecte Vertaler (De KAN Projector)

Nu moeten deze samenvattingen worden vertaald naar de taal van de computer (tekst).

• Oude systemen gebruiken een stijve vertaler (zoals een woordenboek) die soms rare zinnen maakt.
• TaiChi gebruikt een KAN (Kolmogorov-Arnold Network).
• Vergelijking: Stel je voor dat een oude vertaler een stugge robot is die alleen letterlijke betekenissen kent. De KAN is als een kunstenaar-vertaler. Hij begrijpt niet alleen wat er staat, maar ook de sfeer, de nuances en de gevoelens. Hij kan complexe patronen in de foto (zoals hoe licht valt op water) perfect vertalen naar woorden, zonder dat er informatie verloren gaat.

📡 Hoe werkt dit in de "Token Communicatie"?

Normaal gesproken sturen we bits (0's en 1's) van de ene naar de andere kant. Als de verbinding slecht is, zijn de bits kapot en is je foto een troep.

TaiChi introduceert Token Communicatie:

• In plaats van bits te sturen, sturen we betekenisvolle tokens (samenvattingen van ideeën).
• Vergelijking: Stel je voor dat je in plaats van een hele film te sturen, alleen de samenvatting van het verhaal stuurt. Als de postbode (het netwerk) een paar woorden kwijtraakt, kan de ontvanger (de AI) de rest van het verhaal invullen omdat hij de logica en de context begrijpt.
• TaiChi is zo slim dat hij zelfs als er veel ruis is (een slechte verbinding), de ontvanger nog steeds het juiste antwoord kan geven of de juiste foto kan reconstrueren.

🚀 Waarom is dit belangrijk?

Dit paper laat zien dat we in de toekomst (bijvoorbeeld in 6G-netwerken) niet meer hoeven te wachten tot een hele foto is gedownload.

• Je kunt een vraag stellen: "Wat doet die man op de foto?"
• De AI stuurt een paar slimme tokens.
• De ontvanger AI reconstructeert het antwoord direct, zelfs als de verbinding slecht is.

Kortom: TaiChi is als een slimme tolk die een foto bekijkt, de belangrijkste details selecteert, ze perfect vertaalt en ze zo compact verpakt dat ze zelfs door een klein gaatje in een muur passen, zonder dat de boodschap verloren gaat.

Technische samenvatting

Probleemstelling

De huidige communicatieparadigma verschuift van bit-level replicatie naar token-communicatie, waarbij de focus ligt op de efficiënte transmissie van semantische tokens. Visueel-Taalmodellen (VLM's) bieden een sterke basis voor dit doel, maar hun toepassing in token-communicatie wordt beperkt door drie fundamentele uitdagingen:

1. Beperkte Token Granulariteit: Bestaande VLM's vertrouwen vaak op één visuele tokenizer met lage resolutie. Dit maakt het onmogelijk om tegelijkertijd globale concepten en fijne, pixel-level details vast te leggen, wat leidt tot een gebrek aan flexibiliteit bij het selecteren van features voor specifieke communicatietaken.
2. Te Lange Visuele Token-sequenties: Om visuele informatie te verwerken, worden hoge dimensies vaak gecodeerd in zeer lange sequences van tokens. Dit veroorzaakt een groot communicatie-overhead, verbruikt veel rekenkracht en kan leiden tot het verlies van kritieke informatie door truncatie of compressie.
3. Onvoldoende Cross-Modale Alignering: Traditionele projectoren (vaak gebaseerd op Multi-Layer Perceptrons of MLP's) hebben vaste activatiefuncties. Dit maakt het moeilijk om de complexe, niet-lineaire relaties tussen visuele en taalkundige modaliteiten te modelleren. Bovendien lijden MLP's aan "spectrale bias", waarbij ze neigen om laagfrequente informatie te prioriteren, waardoor hoogfrequente visuele details (zoals texturen en randen) verloren gaan tijdens de projectie.

Methodologie: Het TaiChi Framework

Om deze problemen op te lossen, stellen de auteurs TaiChi voor, een nieuw VLM-framework specifiek ontworpen voor token-communicatie. Het framework bestaat uit de volgende kerncomponenten:

1. Dual-Visual Tokenizer (Dubbele Visuele Tokenizer):

   • In plaats van één tokenizer, gebruikt TaiChi twee parallelle paden:
     • Een Low-Resolution (LR) tokenizer gebaseerd op Vision Transformer (ViT) om globale conceptuele features te extraheren.
     • Een High-Resolution (HR) tokenizer gebaseerd op Convolutional Neural Networks (CNN) om fijne, lokale details (texturen, randen) vast te leggen.
   • Deze aanpak zorgt voor een compleet beeld van zowel "wat" het beeld voorstelt als "hoe" het is opgebouwd.

2. Bilateral Attention Network (BAN):

   • Een innovatief fusiemodule dat de features van de LR- en HR-tokenizers intelligent combineert.
   • Het werkt via twee complementaire attention-branches:
     • Top-down: Gebruikt globale features als query om relevante details uit de lage-niveau features te halen.
     • Bottom-up: Gebruikt details als query om globale context uit de hoge-niveau features te halen.
   • Dit resulteert in een compacte set visuele tokens die zowel semantische abstractie als detailgetrouwheid bevatten, wat de totale token-lengte aanzienlijk verkleint.

3. KAN-based Projector (Kolmogorov-Arnold Network):

   • Vervangt de traditionele MLP-projector. KAN's gebruiken leerbare activatiefuncties (in plaats van vaste functies zoals ReLU) binnen de netwerkarchitectuur.
   • Dit stelt het model in staat om de optimale niet-lineaire mapping tussen visuele features en de semantische ruimte van Large Language Models (LLM's) te leren.
   • Het minimaliseert informatieverlies en lost het probleem van spectrale bias op, waardoor hoogfrequente visuele informatie behouden blijft.

4. Instructional Diffusion Refinement (IDR):

   • Een strategie om de output van de LLM te optimaliseren voor diffusiemodellen (voor beeld- of video-generatie). De LLM herschrijft en verfijnt de instructies intern om de "semantische kloof" tussen tekstgeneratie en beeldsynthese te overbruggen.

5. Gecombineerde VLM-Kanaalcodering:

   • TaiChi is geïntegreerd in een multimodaal en multitask systeem waarbij de VLM en de kanaalencoder/decoder gezamenlijk worden geoptimaliseerd. Dit zorgt voor robuustheid tegen kanaalruis en interferentie.

Belangrijkste Bijdragen

• Architecturale Innovatie: De introductie van een dual-visual tokenizer en BAN voor efficiënte, multi-scale visuele representatie.
• Geavanceerde Projectie: Het gebruik van KAN's voor superieure cross-modale alignering, wat resulteert in minder informatieverlies dan traditionele MLP's.
• Systeemintegratie: Het ontwerp van een volledig end-to-end token-communicatiesysteem dat multimodale taken (zoals VQA en beeldbeschrijving) en fysieke kanaalcondities (AWGN, Rayleigh fading) gezamenlijk optimaliseert.
• Multitask Learning: Een instructie-tuning strategie die diverse communicatietaken uniform maakt, waardoor het model flexibel is voor verschillende scenario's.

Resultaten

De auteurs hebben TaiChi getest op diverse benchmarks en in simulaties van token-communicatie:

• Zero-Shot Evaluatie: TaiChi presteert superieur op multimodale benchmarks (VQAT, MMB, MME) vergeleken met state-of-the-art modellen zoals LLaVA-1.5, InstructBLIP en BLIP-2, zelfs wanneer TaiChi wordt aangedreven door een kleiner LLM (Gemma-2B) dan zijn concurrenten.
• Ablatie-studies: Het verwijderen van de KAN-projector of de BAN leidt tot een significante daling in prestaties, wat bewijst dat beide componenten essentieel zijn voor de hoge kwaliteit van de visuele representatie en alignering.
• Token-Communicatie Prestaties:
  • TaiChi overtreft bestaande semantische communicatiesystemen (zoals DeepSC-varianten) aanzienlijk in zowel multimodale (VQA) als unimodale (tekstclassificatie) taken.
  • Het systeem behoudt hoge nauwkeurigheid onder zowel AWGN- als Rayleigh-vervalkanalen, zelfs bij lage Signal-to-Noise Ratio's (SNR).
  • De joint coding (gezamenlijke optimalisatie van VLM en kanaal) toont duidelijk betere resultaten dan systemen waarbij deze modules los van elkaar worden getraind, wat de robuustheid tegen kanaalstoringen bevestigt.

Significantie

Dit onderzoek markeert een belangrijke stap in de evolutie van 6G en semantische communicatie. Door de beperkingen van bestaande VLM's te overwinnen en deze naadloos te integreren in een token-gebaseerd communicatiesysteem, biedt TaiChi een oplossing voor:

1. Efficiëntie: Vermindering van de bandbreedte-vereisten door compacte, maar informatierijke token-sequenties.
2. Robuustheid: Het vermogen om informatie te reconstrueren en te interpreteren ondanks fysieke kanaalstoringen, dankzij de generatieve en semantische aard van token-communicatie.
3. Veelzijdigheid: Een enkel framework dat zowel visuele als tekstuele data kan verwerken en diverse taken kan uitvoeren, wat cruciaal is voor de toekomstige intelligente communicatienetwerken.

Samenvattend stelt TaiChi een nieuwe standaard neer voor hoe visueel-taalmodellen kunnen worden gebruikt als de kern van een intelligent, robuust en efficiënt communicatiesysteem voor de volgende generatie netwerken.