TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

Il paper presenta TaiChi, un nuovo framework di modelli visione-linguaggio che utilizza un doppio tokenizzatore visivo, una rete di attenzione bilaterale e un proiettore basato su KAN per migliorare l'allineamento multimodale e abilitare un sistema di comunicazione a token efficiente per compiti multipli.

L'essenziale

Immagina che il mondo delle comunicazioni sia come un grande mercato affollato. Fino a poco tempo fa, per inviare un messaggio (una foto o un video), dovevi impacchettare ogni singolo granello di sabbia (i "bit") della tua immagine e spedirlo. Se il vento (il rumore della linea) soffiava forte, molti granelli andavano persi e l'immagine arrivava sgranata o incompleta.

Oggi, con l'avvento dell'Intelligenza Artificiale, vogliamo cambiare strategia: invece di spedire la sabbia, vogliamo spedire l'idea dell'immagine. È qui che entra in gioco TaiChi.

Cos'è TaiChi?

TaiChi non è un semplice trasmettitore, ma è un traduttore magico e un artista. Il suo compito è guardare un'immagine, capirne il significato profondo e trasformarlo in una breve lista di "parole chiave" (chiamate token) che un computer intelligente può capire e ricostruire perfettamente, anche se la linea di comunicazione è disturbata.

Ecco come funziona, passo dopo passo, usando delle metafore:

1. Gli Occhi che vedono tutto (Il "Dual-Visual Tokenizer")

Immagina di dover descrivere un quadro famoso a un amico al telefono.

• Il vecchio metodo: Usavi un solo occhio. Se guardavi da lontano, vedevi il soggetto (es. "è un paesaggio"), ma non i dettagli (es. "c'è un uccellino blu su un ramo"). Se guardavi da vicino, vedevi l'uccellino, ma non il cielo.
• Il metodo TaiChi: Usa due occhi speciali contemporaneamente.
  • Un occhio guarda l'immagine da lontano (bassa risoluzione) per capire la storia generale: "È un tramonto in montagna".
  • L'altro occhio guarda l'immagine da vicino (alta risoluzione) per catturare i dettagli: "C'è una foglia che trema e un sasso rosso".
  • Invece di scegliere uno dei due, TaiChi li usa insieme per avere una visione completa e perfetta.

2. Il Grande Filtro Intelligente (La "Bilateral Attention Network" o BAN)

Ora hai due liste di informazioni: una generale e una piena di dettagli. Se le inviassi entrambe così com'è, saresti sommerso da troppe parole e la comunicazione sarebbe lenta.

• L'analogia: Immagina di avere due assistenti. Uno ti dice "C'è un cane", l'altro ti dice "Il cane ha le orecchie lunghe e sta abbaiando".
• La magia di TaiChi: Usa una rete neurale speciale (BAN) che fa da moderatore. Fa in modo che l'assistente "generale" e quello "dettagliato" si parlino tra loro.
  • L'assistente generale dice: "Fammi vedere meglio quel punto lì".
  • L'assistente dettagliato risponde: "Ah, lì c'è un cane che corre".
  • Invece di inviare 1000 parole, TaiChi ne invia solo 50, ma che contengono tutto l'essenziale: "Un cane che corre". Ha compresso l'informazione senza perdere nulla di importante.

3. Il Traduttore Perfetto (Il "KAN-based Projector")

Ora TaiChi deve trasformare queste immagini in parole che un computer (un "Grande Linguista", o LLM) possa leggere.

• Il problema: I computer tradizionali usano regole rigide (come un traduttore che usa solo un dizionario vecchio). A volte, se un'immagine ha sfumature complesse, il traduttore le appiattisce e perde il significato.
• La soluzione TaiChi: Usa un nuovo tipo di traduttore chiamato KAN. Immagina un traduttore che non usa solo un dizionario, ma impara a inventare nuove parole al volo per descrivere esattamente cosa vede. È come se invece di dire "rosso", potesse dire "il rosso di un tramonto estivo su un muro di mattoni". Questo garantisce che il computer riceva l'immagine con la massima precisione, senza perdere i dettagli sottili.

4. Il Viaggio e la Ricostruzione (Comunicazione a Token)

Una volta che l'immagine è diventata una lista di parole intelligenti (i token):

• L'invio: Invece di spedire un pacco pesante di bit, spediamo un piccolo biglietto con le istruzioni. Anche se il vento (il rumore) soffia forte e strappa un pezzo del biglietto, il computer ricevente è così intelligente che può indovinare cosa mancava basandosi sul contesto.
• La ricezione: Il computer ricevente legge le parole, capisce l'intenzione e usa un "pittore digitale" (un modello di diffusione) per ridisegnare l'immagine o rispondere alla domanda, proprio come se avesse visto l'originale.

Perché è così importante?

In passato, se la linea era disturbata, l'immagine arrivava rotta. Con TaiChi:

1. È più veloce: Invi meno dati (solo l'essenziale).
2. È più resistente: Se perdi un pezzo del messaggio, l'IA lo ricostruisce perché capisce il "significato", non solo i numeri.
3. È versatile: Funziona bene sia per rispondere a domande su una foto, sia per descrivere scene, sia per classificare testi, tutto con lo stesso sistema.

In sintesi

TaiChi è come un corriere super-intelligente che non spedisce la merce (i dati grezzi), ma spedisce il progetto della merce. Se il progetto arriva anche solo parzialmente, il destinatario sa esattamente come ricostruire l'oggetto originale, rendendo le comunicazioni future (come quelle del 6G) molto più veloci, chiare e resistenti agli errori.

Sommario tecnico

1. Problema e Contesto

Il paradigma delle comunicazioni sta evolvendo dalla trasmissione accurata a livello di bit verso la trasmissione efficiente di token semantici (Token Communication), dove l'obiettivo è ricostruire l'intento del mittente piuttosto che i dati grezzi. Sebbene i Modelli Linguaggio-Visivo (VLM) offrano una base solida per questa transizione grazie alla loro capacità di comprendere immagini e testo, la loro applicazione diretta nelle comunicazioni intelligenti presenta tre limitazioni critiche:

1. Granularità limitata dei token: I VLM esistenti utilizzano spesso un unico tokenizzatore visivo a bassa risoluzione, incapace di catturare simultaneamente informazioni globali (concettuali) e dettagli locali (pixel-level). Questo impedisce un adattamento flessibile ai requisiti specifici del compito di comunicazione.
2. Sequenze di token visivi eccessivamente lunghe: La codifica delle immagini in sequenze lunghe di token consuma risorse computazionali, diluisce le informazioni critiche e genera un elevato sovraccarico di comunicazione, costringendo spesso a truncature che causano perdita di informazioni.
3. Allineamento cross-modale inadeguato: I proiettori tradizionali (spesso MLP con funzioni di attivazione fisse) faticano a modellare le complesse relazioni non lineari tra visione e linguaggio. Inoltre, soffrono di "bias spettrale", privilegiando le informazioni a bassa frequenza e trascurando i dettagli ad alta frequenza essenziali per la fedeltà visiva.

2. Metodologia: Il Framework TaiChi

Per superare queste sfide, gli autori propongono TaiChi, un nuovo framework VLM progettato specificamente per le comunicazioni a token. L'architettura si compone di quattro pilastri fondamentali:

A. Tokenizzatore Visivo Duale (Dual-Visual Tokenizer)

Invece di un singolo encoder, TaiChi utilizza due percorsi paralleli:

• Tokenizzatore a Bassa Risoluzione (LR): Basato su Vision Transformer (ViT), estrae caratteristiche globali e concettuali dall'immagine ridimensionata.
• Tokenizzatore ad Alta Risoluzione (HR): Basato su Reti Neurali Convoluzionali (CNN), cattura dettagli locali fini, texture e bordi dall'immagine originale ad alta risoluzione.
  Questa architettura garantisce una rappresentazione visiva completa che bilancia il "cosa" (concetto globale) e il "come/dove" (dettaglio locale).

B. Rete di Attenzione Bilaterale (Bilateral Attention Network - BAN)

Per fondere efficientemente le feature estratte dai due tokenizzatori, viene introdotto il BAN. A differenza delle attention globali dense, il BAN opera tramite un'attenzione spaziale localizzata bidirezionale:

• Branch Top-Down: Le feature di alto livello (LR) agiscono come query per estrarre dettagli pertinenti dalle feature a basso livello (HR).
• Branch Bottom-Up: Le feature dettagliate (HR) agiscono come query per catturare informazioni concettuali globali dalle feature di alto livello (LR).
  Il risultato è una fusione che migliora le regioni discriminative (bordi, texture) sopprimendo il rumore di fondo, producendo un set di token visivi compatti e ricchi di informazioni.

C. Proiettore basato su KAN (Kolmogorov-Arnold Network)

Per allineare le feature visive allo spazio semantico del testo (LLM), TaiChi sostituisce i tradizionali MLP con una rete KAN.

• I KAN incorporano funzioni di attivazione apprendibili (basate su B-spline e SiLU) direttamente nella struttura della rete.
• Questo permette di apprendere automaticamente mappature non lineari ottimali dai dati, superando il bias spettrale degli MLP e garantendo una proiezione più fedele delle informazioni visive complesse nello spazio semantico del linguaggio, minimizzando la perdita di informazioni.

D. Sistema di Comunicazione a Token Guidato da TaiChi

Il framework è integrato in un sistema di comunicazione multimodale e multitask che include:

• Instructional Diffusion Refinement (IDR): Un meccanismo per ottimizzare i prompt testuali prima di generare output multimodali (es. immagini) tramite modelli di diffusione.
• Codifica congiunta VLM-Canale: Un approccio end-to-end che ottimizza simultaneamente l'estrazione delle feature (VLM) e la codifica di canale, rendendo il sistema robusto al rumore e alle interferenze fisiche.

3. Contributi Chiave

1. Architettura Duale: Introduzione di un tokenizzatore visivo ibrido (ViT + CNN) per catturare feature a più scale senza compromessi.
2. BAN per Compressione Intelligente: Sviluppo di una rete di attenzione bilaterale che riduce drasticamente il numero di token visivi mantenendo alta la fedeltà semantica e dettagliata.
3. Proiezione KAN: Sostituzione degli MLP con KAN per un allineamento cross-modale superiore, capace di gestire relazioni non lineari complesse e dettagli ad alta frequenza.
4. Sistema di Comunicazione Integrato: Progettazione di un sistema di comunicazione token-driven che combina instruction tuning multitask e codifica congiunta canale-sorgente, dimostrando robustezza in condizioni di canale reali (AWGN e Rayleigh).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi benchmark e scenari di comunicazione:

• Valutazione Zero-Shot: TaiChi, anche con un LLM leggero (Gemma-2B), ha superato modelli VLM di stato dell'arte (come InstructBLIP e LLaVA-1.5) su benchmark multimodali (VQAT, MMB, MME). Con un LLM più potente (Qwen-2.5-14B), ha mostrato prestazioni superiori in tutte le metriche.
• Studio Ablativo: La rimozione del proiettore KAN o della rete BAN ha causato un calo significativo delle prestazioni, confermando il ruolo critico di entrambi i componenti nell'allineamento e nella fusione delle feature.
• Prestazioni di Comunicazione:
  • In compiti multimodali (VQA) e unimodali (classificazione testo), TaiChi ha superato sistemi precedenti come U-DeepSC e T-DeepSC.
  • Robustezza al Canale: In condizioni di canale AWGN e Rayleigh, il sistema basato su TaiChi ha mantenuto un'accuratezza significativamente più alta rispetto a sistemi basati su VLM più piccoli (es. MobileVLM-3B) e rispetto a configurazioni senza codifica congiunta.
  • La codifica congiunta ha dimostrato di migliorare la resilienza al rumore, permettendo una ricostruzione più accurata dei token rispetto all'ottimizzazione sequenziale dei moduli.

5. Significato e Impatto

Il lavoro di TaiChi rappresenta un passo avanti significativo verso le comunicazioni semantiche di prossima generazione (6G). Dimostra che:

• È possibile superare i limiti di granularità e lunghezza dei token nei VLM esistenti attraverso architetture ibride e meccanismi di attenzione mirati.
• L'uso di KAN per l'allineamento modale offre vantaggi pratici in termini di fedeltà rispetto alle architetture standard.
• L'integrazione profonda tra modelli di intelligenza artificiale (VLM) e codifica di canale (Joint Coding) è essenziale per garantire comunicazioni robuste, efficienti e resilienti in ambienti reali rumorosi, spostando il paradigma da una trasmissione di bit a una trasmissione di significato e intenti.