TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

Ce papier présente TaiChi, un cadre de modèle vision-langage innovant doté d'un double tokenizer visuel, d'un réseau d'attention bilatérale et d'un projecteur basé sur les réseaux KAN, conçu pour optimiser les communications multimodales et multitâches en surmontant les limitations de granularité et d'alignement des modèles existants.

L'essentiel

Imaginez que vous essayez d'envoyer une photo complexe à un ami via un vieux réseau de téléphone qui a du mal à supporter les gros fichiers. Habituellement, vous devriez soit réduire la qualité de l'image (ce qui la rend floue), soit envoyer des milliers de petits morceaux de données (ce qui prend trop de temps).

Les chercheurs de ce papier ont inventé une nouvelle méthode appelée TaiChi. Voici comment cela fonctionne, expliqué simplement avec des images du quotidien :

1. Le Problème : La "Grosse" Caméra et le "Petit" Écran

Les intelligences artificielles actuelles qui comprennent les images (les modèles "Vision-Language") ont deux gros défauts :

• Elles sont trop "gros plan" ou trop "vue d'ensemble" : Soit elles voient tout le paysage mais manquent les détails (comme un oiseau), soit elles voient les détails mais perdent le contexte global.
• Elles parlent trop : Pour décrire une image, elles génèrent des listes interminables de mots-clés (des "jetons"), ce qui encombre la ligne de communication.
• Elles mal traduisent : Elles ont du mal à transformer une image en un langage que l'ordinateur comprend parfaitement, un peu comme un traducteur qui perd le sens des nuances.

2. La Solution TaiChi : Le Duo de Détectives

Pour résoudre cela, TaiChi utilise une équipe de deux détectives qui travaillent ensemble :

• Le Détective "Vue d'Ensemble" (Basse Résolution) : Il regarde l'image de loin pour comprendre le contexte. Qui est là ? Où sommes-nous ? C'est comme regarder une carte pour savoir si vous êtes en ville ou à la campagne.
• Le Détective "Microscope" (Haute Résolution) : Il zoome sur les détails fins. Quelle est la texture du manteau ? Quelle expression a le visage ? C'est comme examiner les empreintes digitales.

L'innovation clé : Au lieu de choisir l'un ou l'autre, TaiChi les combine.

3. Le Réseau d'Attention Bilatérale (BAN) : Le Chef d'Orchestre

Une fois que les deux détectives ont leurs notes, il faut les fusionner. C'est là qu'intervient le BAN.
Imaginez un chef d'orchestre très intelligent. Il ne se contente pas de mélanger les notes. Il dit au "Microscope" : "Regarde ici, il y a un détail important dans cette zone de la carte." Et il dit à la "Vue d'Ensemble" : "Ne t'inquiète pas de ce bruit de fond, concentre-toi sur le sujet principal."

Le résultat ? Au lieu d'envoyer 1000 petits morceaux de données, le système n'en envoie que 100, mais ces 100 sont parfaits et contiennent tout ce qui est important. C'est comme résumer un roman entier en une phrase qui capture toute l'émotion, sans perdre l'histoire.

4. Le Projecteur KAN : Le Traducteur Magique

Ensuite, il faut envoyer ces informations à l'ordinateur central (le "Grand Cerveau" ou LLM).
Les anciens systèmes utilisaient un traducteur rigide (comme un dictionnaire fixe) qui faisait des erreurs sur les nuances. TaiChi utilise un traducteur flexible (KAN).
Imaginez un traducteur qui peut changer de style de langue selon le contexte. Il sait exactement comment transformer une texture de peau ou un reflet dans l'eau en mots que l'ordinateur comprend parfaitement, sans rien perdre de la beauté de l'image originale.

5. Le Système de Communication : Le Train Blindé

Enfin, TaiChi n'est pas juste un cerveau, c'est tout un système de transport.

• Le Train (les données) : Il est chargé avec les informations compressées par le chef d'orchestre.
• La Voie (le canal de communication) : Souvent, la voie est abîmée (bruit, interférences, comme une tempête).
• L'Armure (Codage conjoint) : TaiChi apprend à construire le train en même temps qu'il apprend à connaître la voie. Si la voie est cahoteuse, le train s'adapte pour ne pas perdre de passagers. C'est comme si le conducteur et les mécaniciens travaillaient ensemble pour que le train arrive intact, même sous la pluie.

En Résumé

TaiChi est comme un système de communication ultra-efficace qui :

1. Regarde une image avec deux paires d'yeux (loin et près).
2. Fait le tri intelligent pour ne garder que l'essentiel.
3. Traduit l'image en langage machine avec une précision chirurgicale.
4. Envoie le tout de manière robuste, même dans des conditions difficiles.

C'est une étape majeure vers des communications de demain (la 6G) où l'on n'envoie plus des bits bruts, mais du sens pur, permettant de transmettre des idées complexes instantanément, même avec une connexion faible.

Résumé technique

1. Problématique et Contexte

L'article aborde la transition des paradigmes de communication traditionnels (basés sur la réplication précise des bits) vers la communication par jetons (Token Communication), où l'objectif est de transmettre des représentations sémantiques de haut niveau (jetons) permettant au récepteur de reconstruire l'intention de l'émetteur. Bien que les Modèles Vision-Langage (VLM) soient prometteurs pour cette tâche, leur application directe rencontre trois limitations majeures :

• Granularité limitée des jetons : Les VLMs existants utilisent souvent un seul tokenizer visuel à basse résolution, incapable de capturer simultanément les concepts globaux et les détails fins (textures, bords).
• Séquences de jetons visuels trop longues : Le codage des images haute résolution génère des séquences de jetons excessivement longues, ce qui augmente la surcharge de communication et dilue les informations critiques sous les contraintes de contexte des LLMs.
• Alignement intermodal insuffisant : Les projecteurs traditionnels (MLP) peinent à modéliser les relations non linéaires complexes entre les modalités visuelles et textuelles, souffrant d'un « biais spectral » qui privilégie les basses fréquences et perd des détails haute fréquence.

2. Méthodologie : Le Framework TaiChi

Pour surmonter ces défis, les auteurs proposent TaiChi, un cadre VLM innovant conçu spécifiquement pour la communication par jetons. L'architecture repose sur quatre piliers techniques :

A. Double Tokeniseur Visuel (Dual-Visual Tokenizer)

Au lieu d'un seul encodeur, TaiChi utilise deux voies parallèles :

• Voie Basse Résolution (LR) : Utilise un Vision Transformer (ViT) pour extraire les caractéristiques globales et conceptuelles de l'image.
• Voie Haute Résolution (HR) : Utilise un réseau de convolutions (CNN) pour capturer les détails locaux fins, les textures et les bords.
  Cette architecture découple la compréhension globale de la perception des détails, fournissant une représentation visuelle riche et complémentaire.

B. Réseau d'Attention Bilatérale (Bilateral Attention Network - BAN)

Le BAN fusionne intelligemment les flux de caractéristiques LR et HR :

• Il opère une attention localisée bidirectionnelle :
  • Top-down : Les caractéristiques de haut niveau interrogent les détails locaux pour affiner les concepts globaux.
  • Bottom-up : Les détails locaux interrogent les caractéristiques globales pour récupérer le contexte sémantique.
• Ce mécanisme permet de réduire le nombre total de jetons visuels tout en préservant les informations critiques, éliminant le bruit de fond et améliorant l'efficacité computationnelle.

C. Projecteur basé sur KAN (Kolmogorov-Arnold Network)

Pour aligner les jetons visuels avec l'espace sémantique textuel du LLM, TaiChi remplace les MLP classiques par un KAN.

• Contrairement aux MLP aux fonctions d'activation fixes, les KAN intègrent des fonctions d'activation apprenables (basées sur des splines B et SiLU).
• Cela permet une approximation non linéaire supérieure, réduisant la perte d'information lors de la projection des détails visuels complexes vers l'espace textuel et corrigeant le biais spectral des MLP.

D. Raffinement Diffusif par Instruction (Instructional Diffusion Refinement - IDR)

Pour les sorties multimodales (génération d'images), TaiChi utilise une stratégie d'optimisation de prompt interne. Le LLM réécrit et enrichit les instructions textuelles avant de les transmettre au modèle de diffusion, comblant le « fossé sémantique » entre la logique de génération du LLM et les exigences de précision du modèle de diffusion.

3. Système de Communication par Jetons

TaiChi est intégré dans un système de communication multimodal et multitâche :

• Codage Joint VLM-Canal : Le système optimise conjointement l'extraction de caractéristiques (VLM) et le codage de canal. Cela permet d'adapter les jetons transmis aux statistiques du canal (bruit, interférences).
• Robustesse : Le système utilise un schéma de codage conjoint pour maintenir la performance même en présence de bruit additif gaussien blanc (AWGN) ou de fading de Rayleigh.
• Multitâche : Grâce à un ajustement fin par instruction (Instruction Tuning), le même modèle peut gérer diverses tâches (VQA, légendage, classification) via des commandes naturelles unifiées.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks et configurations de canaux :

• Performance Zéro-shot : TaiChi surpasse les modèles de pointe (LLaVA-1.5, InstructBLIP, MobileVLM) sur des benchmarks comme VQAT, MMB et MME, même avec un LLM plus léger (Gemma-2B). Avec un LLM plus puissant (Qwen-2.5-14B), il atteint des scores supérieurs à LLaVA-1.5.
• Études d'ablation : Le retrait du projecteur KAN ou du réseau BAN entraîne une chute significative des performances, confirmant l'importance cruciale de ces deux composants pour l'alignement et la fusion des jetons.
• Robustesse du Canal : Dans des conditions de canal AWGN et Rayleigh, le système TaiChi avec codage joint dépasse nettement les systèmes basés sur d'autres VLMs (comme MobileVLM-3B) et les schémas de communication sémantique classiques (DeepSC), démontrant une meilleure résilience au bruit et une fidélité de reconstruction accrue.

5. Contributions Clés et Signification

• Architecture Innovante : Introduction d'un double tokeniseur et d'un mécanisme d'attention bilatérale pour une représentation visuelle hiérarchique et compacte.
• Alignement Non Linéaire : Application pionnière des réseaux KAN dans les projecteurs VLM pour un alignement intermodal de haute fidélité.
• Paradigme de Communication : Démonstration de la faisabilité d'un système de communication « Token-to-Token » end-to-end, où la communication et le raisonnement intelligent sont fusionnés.
• Impact pour la 6G : Ce travail pose les bases pour les communications intelligentes de la 6G, où la transmission de sémantique (jetons) plutôt que de bits permet une efficacité spectrale accrue et une robustesse supérieure face aux canaux dégradés.

En résumé, TaiChi représente une avancée majeure en transformant les VLMs en moteurs de communication robustes, capables de transmettre des informations multimodales complexes avec une haute efficacité et une grande résilience aux perturbations du canal.