Zero-Shot Knowledge Base Resizing for Rate-Adaptive Digital Semantic Communication

Sintesi Tecnica: Ridimensionamento Zero-Shot della Base di Conoscenza per la Comunicazione Semantica Digitale Rate-Adaptive

Problematica
I sistemi di comunicazione semantica digitale, in particolare quelli basati sul framework Vector Quantized Variational Autoencoder (VQ-VAE), si affidano a una base di conoscenza (KB) discreta o codebook condiviso per trasmettere informazioni. In questi sistemi, il tasso di trasmissione è direttamente governato dalla dimensione della KB ($K$). Una $K$ più grande consente una rappresentazione semantica più fine e una maggiore qualità di ricostruzione, ma aumenta l'overhead di trasmissione (richiedendo $\lceil \log_2 K \rceil$ bit per indice) e il carico computazionale. Al contrario, una $K$ più piccola riduce la larghezza di banda e la latenza, ma degrada la qualità.

Il limite fondamentale degli attuali sistemi basati su VQ-VAE è che la dimensione della KB $K$ è un iperparametro fisso determinato prima dell'addestramento. Per adattare il tasso di trasmissione a condizioni di canale dinamiche, gli approcci esistenti richiedono l'addestramento e l'archiviazione di un modello separato e completo per ogni dimensione di KB desiderata. Questa pratica è computazionalmente e in termini di storage proibitiva, impedendo una vera adattabilità del tasso granulare e istantanea. Sebbene alcuni metodi tentino di approssimare la flessibilità selezionando tra configurazioni predefinite discrete o utilizzando sub-KB variabili, essi non riescono a supportare il ridimensionamento arbitrario o a ridurre efficacemente il tasso di trasmissione effettivo.

Metodologia
Gli autori propongono un metodo di ridimensionamento della KB zero-shot che consente l'adattamento dinamico di una KB a una dimensione target qualsiasi più piccola senza riaddestramento. Il presupposto fondamentale è che le relazioni semantiche all'interno di una KB ben addestrata siano intrinsecamente gerarchiche. Il metodo opera su una singola KB "genitore" di grandi dimensioni ($\hat{K}$) ed estrae una KB più piccola e di alta qualità (dimensione $K < \hat{K}$) attraverso un framework in tre fasi:

1. Embedding Iperbolico per la Granularità Semantica:
   I vettori della KB genitore pre-addestrata vengono incorporati dal loro spazio euclideo nativo in uno spazio iperbolico (specificamente il modello della palla di Poincaré). Questa trasformazione geometrica sfrutta la proprietà per cui lo spazio iperbolico rappresenta naturalmente le strutture gerarchiche con una distorsione minima. In questa mappatura, i vettori che rappresentano concetti grossolani e fondamentali sono posizionati vicino all'origine, mentre i vettori che rappresentano concetti fini e specifici sono spinti verso il bordo. La distanza dall'origine funge quindi da proxy per l'importanza semantica.

2. Potatura Gerarchica tramite Albero Ricoprente Minimo (MST):
   Utilizzando le distanze iperboliche tra i vettori, gli autori costruiscono un "albero semantico master" utilizzando un algoritmo di Albero Ricoprente Minimo (algoritmo di Prim). Il vettore più vicino all'origine (il concetto più generale) viene designato come radice. Questo albero definisce esplicitamente le relazioni genitore-figlio tra i vettori della KB. Per ridimensionare la KB alla dimensione target $K$, il metodo esegue una potatura deterministica: rimuove iterativamente i nodi foglia (che rappresentano i concetti più specifici) finché non rimangono esattamente $K$ nodi. Questo processo preserva lo "scheletro" fondamentale della base di conoscenza scartando i dettagli più granulari.

3. Proiezione Euclidea:
   L'insieme dei vettori potati, ora residenti nello spazio iperbolico, viene mappato nuovamente nello spazio euclideo originale utilizzando la mappa logaritmica (l'inversa della mappa esponenziale usata nella fase 1). L'insieme risultante di vettori forma la KB finale ridimensionata, che è pienamente compatibile con i sistemi di comunicazione semantica digitale esistenti che operano in spazio euclideo.

Contributi Chiave

• Un Framework Principato in Tre Fasi: Il documento introduce un metodo completo di ridimensionamento zero-shot della KB che utilizza embedding iperbolici per rivelare la gerarchia semantica, la costruzione di MST per formalizzare tale gerarchia e la potatura iterativa dei nodi foglia per ottenere un ridimensionamento istantaneo.
• Eliminazione dell'Overhead di Riaddestramento: Il metodo consente la creazione di KB di dimensioni arbitrarie da un singolo modello genitore addestrato, eliminando la necessità di addestrare modelli separati per diversi livelli di tasso.
• Robustezza a Bassi Tassi: L'approccio dimostra una stabilità superiore ai bassi tassi di trasmissione rispetto ai modelli addestrati da zero per piccole dimensioni di KB.

Risultati Sperimentali
Gli autori hanno valutato il metodo utilizzando un compito di trasmissione semantica di immagini end-to-end sul dataset ImageNet, confrontando il loro approccio di "Ridimensionamento zero-shot" con un modello baseline "Addestrato da zero" (dove un modello dedicato viene addestrato per ogni specifica dimensione di KB).

• Qualità di Ricostruzione: Attraverso un ampio intervallo di dimensioni della KB, l'indice di somiglianza strutturale (SSIM) delle KB ridimensionate zero-shot era quasi identico a quello dei modelli baseline dedicati, con una differenza media di solo lo 0,8%.
• Robustezza: A tassi molto bassi (ad esempio, $K=256$), i modelli baseline addestrati da zero hanno subito un fallimento catastrofico, producendo immagini con artefatti severi e colori innaturali. Al contrario, il metodo zero-shot ha mantenuto la coerenza semantica, producendo immagini riconoscibili (sebbene sfocate). Ciò indica che la potatura gerarchica preserva i concetti più essenziali, garantendo un degrado graduale anziché il collasso del sistema.
• Efficienza: Il metodo proposto ha ridotto il tempo totale di addestramento e i requisiti delle risorse GPU di circa 9 volte. Invece di addestrare nove modelli separati per nove diverse dimensioni di KB, è stato addestrato un unico modello genitore; tutte le altre dimensioni sono state generate tramite il processo di potatura computazionalmente economico.

Significatività
Il documento sostiene di risolvere un limite architettonico fondamentale dei sistemi di comunicazione semantica digitale basati su VQ-VAE. Abilitando la ristrutturazione istantanea di una KB a una dimensione arbitraria senza riaddestramento, il metodo offre una via pratica ed efficiente verso una comunicazione semantica rate-adaptive e flessibile. Questa capacità è critica per le future reti wireless dove le condizioni del canale e i vincoli di risorse sono dinamici, permettendo ai sistemi di bilanciare la qualità di ricostruzione e l'overhead di trasmissione on-the-fly senza i costi proibitivi associati al mantenimento di molteplici modelli specializzati.