Video TokenCom: Textual Intent-Guided Multi-Rate Video Token Communications with UEP-Based Adaptive Source-Channel Coding

Dit paper introduceert Video TokenCom, een nieuw raamwerk dat tekstuele intenties en ongelijkwaardige foutbeveiliging combineert om video-tokens adaptief te coderen en zo de semantische kwaliteit onder beperkte bandbreedte te optimaliseren.

De kern

Stel je voor dat je een filmpje wilt sturen naar een vriend, maar je internetverbinding is erg traag en onstabiel. Normaal gesproken zou je het hele filmpje in kleine stukjes (pixels) verpakken en hopen dat het aankomt. Als er iets kwijtraakt, wordt het beeld wazig of blokkerig.

Dit artikel beschrijft een slimme nieuwe manier om video's te versturen, genaamd Video TokenCom. Het is alsof we stoppen met het versturen van "alle pixels" en beginnen met het versturen van "betekenisvolle ideeën".

Hier is hoe het werkt, uitgelegd met simpele analogieën:

1. De "Token" als Legoblok

In plaats van het filmpje als een enorme muur van pixels te zien, verandert de computer het in Legoblokjes (de "tokens").

• Hoe het werkt: Een slimme AI kijkt naar het filmpje en zegt: "Dit blokje is een gezicht, dat blokje is een auto, en dit blokje is de lucht."
• Het voordeel: In plaats van miljoenen pixels te sturen, sturen we nu alleen de instructies voor deze blokken. Het is veel efficiënter, net als het sturen van een bouwplaat in plaats van een hele voltooide Lego-ster.

2. De "Wensbrief" (Textual Intent)

Het meest unieke aan dit systeem is dat jij kunt zeggen wat belangrijk is.

• De Analogie: Stel je voor dat je een filmpje stuurt van een feestje. Jij schrijft erbij: "Let op de dansende vrouw!"
• De AI's reactie: De computer leest je wensbrief. Hij kijkt naar het filmpje en zegt: "Ah, de dansende vrouw is belangrijk! De rest (de muren, de vloer, de lucht) is minder belangrijk."
• Het resultaat: De computer maakt een "masker" over het filmpje. Alles wat jij noemde (de vrouw) krijgt een rood kruisje (belangrijk), en de rest krijgt een groen kruisje (minder belangrijk).

3. De "VIP-Route" vs. de "Standaard-Route" (Multi-rate Coding)

Nu komt het slimme deel: hoe we de data versturen.

• De VIP-Route (Belangrijke delen): De delen die jij hebt aangegeven (de dansende vrouw) worden verstuurd in ultra-hoge kwaliteit. Het zijn de beste, meest gedetailleerde Legoblokjes. Zelfs als het internet slecht is, zorgen we dat deze delen perfect aankomen.
• De Standaard-Route (Minder belangrijke delen): De rest van het filmpje (de achtergrond) wordt verstuurd als een samenvatting. In plaats van elk detail te sturen, zeggen we: "Het is ongeveer hetzelfde als in het vorige beeld, maar dan een beetje verschoven." Dit kost veel minder ruimte.
• Het resultaat: Je ziet de dansende vrouw kristalhelder, terwijl de achtergrond misschien wat vager is. Maar omdat jij specifiek om de vrouw vroeg, voelt het filmpje voor jou perfect aan.

4. De "Onzekere Straat" (Adaptieve Coding)

Soms is de internetverbinding erg slecht (veel ruis, lage snelheid).

• De Analogie: Stel je voor dat je een pakketje moet sturen over een weg die soms modderig is en soms glad.
• De Slimme Chauffeur: Het systeem kijkt naar de weg (de internetverbinding).
  • Als de weg glad is, stuurt het alles snel en in grote vrachtwagens.
  • Als de weg modderig is, verandert het systeem direct. Het verpakt de "VIP-delen" in extra stevige dozen (zodat ze niet kapot gaan) en verkleint de "standaard-delen" tot postzegelgrootte.
• UEP (Unequal Error Protection): Dit is een fancy term voor "ongelijke bescherming". Het systeem geeft de belangrijke delen extra bescherming tegen fouten, zodat ze altijd aankomen, terwijl de minder belangrijke delen wat meer risico lopen.

Waarom is dit zo cool?

Vroeger was het zo: als je internet slecht was, werd alles wazig. Je kon niets meer zien.
Met deze nieuwe methode:

1. Jij bepaalt wat belangrijk is. Jij bent de regisseur.
2. Het systeem is slim. Het geeft de belangrijke dingen prioriteit.
3. Het werkt ook bij slecht internet. Zelfs als de verbinding slecht is, blijft het belangrijkste deel (wat jij wilt zien) scherp en duidelijk.

Kort samengevat:
Dit is alsof je een filmpje stuurt met een speciale instructie: "Zorg dat de hoofdpersoon perfect is, en de rest mag een beetje wazig zijn als het internet het niet trekt." Hierdoor krijg je een veel betere ervaring, zelfs als je verbinding niet perfect is.

Technische samenvatting

1. Probleemstelling

De huidige draadloze communicatiesystemen voor video zijn vaak gebaseerd op bit-niveau transmissie of traditionele semantische communicatie die werkt met continue feature-representaties. Deze systemen hebben moeite om efficiënt om te gaan met beperkte bandbreedte en variërende kanaalcondities, vooral wanneer de focus ligt op specifieke, door de gebruiker gewenste inhoud (bijvoorbeeld een bepaald object in een video).

Er is een behoefte aan een nieuw paradigma dat:

• De opkomst van Large AI Models (LAMs) en Multimodale Large Language Models (MLLMs) benut.
• Discrete "tokens" gebruikt als eenheid voor zowel compressie als communicatie.
• In staat is om de transmissieprioriteit te baseren op de tekstuele intentie van de gebruiker (bijv. "de vrouw die op de telefoon slaat") in plaats van alle videoframes en pixels gelijk te behandelen.
• Een evenwicht vindt tussen semantische kwaliteit, perceptuele kwaliteit en transmissievertraging onder strikte bandbreedtebeperkingen.

2. Methodologie

Het paper stelt een nieuw raamwerk voor: Video TokenCom. Dit systeem combineert videotokenisatie, tekst-gestuurde intentie-extractie en adaptieve bron- en kanaalcodering met ongelijkwaardige foutbeveiliging (UEP). Het proces verloopt in vier hoofdstappen:

A. Videotokenisatie

In plaats van ruwe pixels te verzenden, wordt de video eerst omgezet in discrete tokens door een vooraf getrainde videotokenisator (gebaseerd op vector-quantization).

• De video wordt opgesplitst in I-frames (Intra) en P-frames (Predictive).
• Een vooraf getrainde tokenizer (zoals Cosmos) mapt videoframes naar een raster van discrete token-indexen. Dit reduceert de datavolume aanzienlijk terwijl de hoge semantische niveaus behouden blijven.

B. Extractie van door tekst gestuurde tokens

Het systeem identificeert welke tokens relevant zijn voor de tekstuele intentie van de gebruiker:

1. Heatmap Generatie: Voor het eerste frame wordt een "vision-language model" (zoals CLIP) gebruikt om een warmtekaart (heatmap) te genereren op basis van de tekstuele beschrijving (bijv. "auto en persoon"). Dit bepaalt welke beeldgebieden relevant zijn.
2. Optische Stroom Propagatie: Deze relevante gebieden worden via optische stroom (optical flow) door de tijd (naar volgende frames) gepropageerd om een continue semantische maskering te creëren.
3. Token Mapping: De pixel-level maskers worden gemapt naar het discrete token-raster. Tokens worden hierdoor ingedeeld in twee klassen:
   • Intentie-tokens (s): Tokens die binnen de door de gebruiker gewenste regio vallen.
   • Niet-intentie-tokens (n): Tokens die buiten deze regio vallen.

C. Semantische Multi-Rate Bit-toewijzing

Er wordt een differentiële coderingsstrategie toegepast:

• Intentie-tokens: Worden verzonden met volledige precisie (gebruikmakend van de volledige token-codebook, bijv. 16 bits).
• Niet-intentie-tokens: Worden verzonden met verminderde precisie via differentie-codering ten opzichte van een referentiekader. Ze gebruiken een gereduceerd codebook (bijv. 11 bits of minder).
  Dit bespaart bitrate terwijl de kwaliteit van de voor de gebruiker belangrijke inhoud behouden blijft.

D. Adaptieve Bron-Kanaal Codering (UEP)

Het systeem lost een optimalisatieprobleem op om de totale vervorming (distortion) en vertraging (delay) te minimaliseren binnen een vast resource-budget:

• Ongelijkwaardige Foutbeveiliging (UEP): Intentie-tokens en niet-intentie-tokens krijgen elk een eigen Modulation and Coding Scheme (MCS).
• Optimalisatie: Een Mixed Integer Linear Programming (MILP) algoritme kiest de beste combinatie van bit-precisie en MCS voor elke tokenklasse, afhankelijk van de huidige SNR (Signaal-Ruisverhouding) en beschikbare bandbreedte.
• Doel: Zorgen dat de belangrijkste tokens een lagere foutkans hebben en betere kwaliteit behouden, zelfs bij slechte kanaalcondities.

3. Belangrijkste Bijdragen

1. Intentie-gebaseerd Raamwerk: De ontwikkeling van een systeem dat tekstuele intenties gebruikt om videoinhoud te vertalen naar discrete tokenklassen (bedoeld vs. niet-beoogd), wat een nieuwe vorm van semantische communicatie mogelijk maakt.
2. Multi-Rate Bit-toewijzing: Een strategie die volledige precisie toewijst aan relevante tokens en verminderde precisie aan irrelevante tokens, wat aanzienlijke bitrate-besparingen oplevert zonder in te leveren op de semantische kwaliteit van de belangrijkste inhoud.
3. UEP-based Adaptatie: Een geïntegreerd bron- en kanaalcoderingsschema dat de modulatiesnelheid en coderingsrate dynamisch aanpast per tokenklasse om een optimale balans te vinden tussen vervorming en vertraging.
4. Superieure Prestaties: Het bewijzen dat dit raamwerk beter presteert dan zowel traditionele codecs (H.265) als geavanceerde generatieve semantische communicatiesystemen (zoals VC-DM).

4. Resultaten

Experimenten zijn uitgevoerd op datasets zoals MCL-JCV en UVG, met vergelijkingen tegen H.265 en VC-DM (diffusion-based).

• Kwaliteitsverbetering: Het Video TokenCom-systeem behaalde consistente verbeteringen in perceptuele en semantische metrieken (PSNR, SSIM, LPIPS, FVD, en CLIP-similariteit) over een breed bereik aan SNR-waarden.
• FVD-reductie: Bij een SNR van 6 dB werd de Fréchet Video Distance (FVD) met bijna 1500 punten verlaagd ten opzichte van H.265, wat wijst op een drastisch betere temporele coherentie en semantische trouw.
• Robuustheid: Terwijl H.265 bij lage SNR-waarden vaak faalt (minder dan 85% van de frames decodeerbaar), blijft Video TokenCom stabiel en decodeerbaar.
• Efficiëntie: Het systeem werkt effectief bij ultra-lage bits per pixel (BPP) waarden (bijv. 0.013 BPP), wat lager is dan de baselines (0.02 BPP).
• Flexibiliteit: Het systeem kan de bitrate dynamisch aanpassen (van 4608 kbps naar 590 kbps) door de tokenizer-kwaliteit of de bit-precisie te wijzigen, zonder de kwaliteit van de door de gebruiker bedoelde regio's te verliezen.

5. Betekenis en Impact

Dit paper markeert een verschuiving in de draadloze videocommunicatie van "bit-perfecte" transmissie naar doelgerichte semantische transmissie.

• AI-Native Netwerken: Het biedt een brug tussen de wereld van generatieve AI-modellen (tokens) en fysieke draadloze netwerken.
• Efficiëntie: Door alleen de voor de gebruiker relevante informatie met hoge kwaliteit te verzenden, wordt het spectrum efficiënter benut.
• Toekomstige Toepassingen: Het raamwerk is schaalbaar en kan worden toegepast in 6G-netwerken, waar het mogelijk maakt om video te streamen met extreme compressie, waarbij de kwaliteit automatisch wordt afgestemd op de intentie van de kijker en de conditie van het netwerk.

Kortom, Video TokenCom demonstreert dat het gebruik van tekstuele intentie om videotokens te sturen, leidt tot een aanzienlijk robuuster en semantisch rijker videostreaming-ervaring, zelfs onder zeer beperkte bandbreedte-omstandigheden.