Diffusion-Aided Bandwidth-Efficient Semantic Communication with Adaptive Requests

Sintesi Tecnica: Comunicazione Semantica con Supporto alla Diffusione, Efficienza di Banda e Richieste Adattive

Definizione del Problema
I sistemi di comunicazione tradizionali danno priorità al recupero esatto dei bit, mentre la comunicazione semantica mira a trasmettere un significato rilevante per il compito (task-relevant meaning). Nella trasmissione di immagini utilizzando ricevitori generativi (ad esempio, modelli di diffusione latente), fare affidamento esclusivamente su didascalie testuali spesso non riesce a preservare i dettagli visivi specifici dell'istanza, mentre la trasmissione di rappresentazioni latenti dense comporta un overhead di banda significativo. Una sfida critica sorge in contesti wireless: il ricevitore non ha accesso all'immagine sorgente originale, rendendo impossibile determinare a priori quanta evidenza visiva (blocchi latenti) sia sufficiente per la fedeltà semantica. Le strategie di trasmissione a budget fisso sono inefficienti perché o sprecano risorse su immagini semplici o non forniscono abbastanza evidenza per quelle complesse. Inoltre, i classici meccanismi di Hybrid Automatic Repeat Request (HARQ), che si basano sulla rilevazione degli errori a livello di bit, sono inapplicabili in questo caso poiché non esiste un'immagine sorgente al ricevitore per verificare la correttezza dei bit.

Metodologia
Il documento propone uno schema di comunicazione semantica a ciclo chiuso, guidato dal ricevitore, che regola dinamicamente il carico utile trasmesso in base alla coerenza semantica piuttosto che all'affidabilità dei bit.

1. Architettura del Sistema:

   • Trasmettitore: Codifica un'immagine di input $x$ in un embedding latente $\tilde{z}$ utilizzando un encoder VAE. Lo spazio latente è partizionato in blocchi quadrati. Il trasmettitore invia una breve didascalia testuale (generata tramite un convertitore da immagine a testo) e un sottoinsieme iniziale sparso di blocchi latenti, mascherando il resto. Entrambi i flussi vengono modulati e trasmessi su un canale AWGN.
   • Ricevitore: Dopo aver ricevuto la didascalia rumorosa $\hat{y}$ e i blocchi latenti sparsi $\hat{z}$, il ricevitore ricostruisce l'immagine utilizzando l'inpainting di diffusione latente condizionata dalla didascalia. Il modello di diffusione riempie le regioni mancanti (mascherate) mantenendo fissi i blocchi ricevuti.

2. Ciclo di Ritrasmissione Adattivo:

   • Regola di Arresto Semantico: Poiché l'immagine sorgente non è disponibile, il ricevitore valuta la qualità della ricostruzione $\hat{x}$ generando una nuova didascalia $\bar{y}$ da essa (utilizzando un captioner come BLIP-2) e calcolando un punteggio di somiglianza semantica (ROUGE-L, denotato come $\Phi$) tra $\bar{y}$ e la didascalia ricevuta $\hat{y}$.
   • Logica Decisionale: Se il punteggio $r_t = \Phi(\bar{y}_t, \hat{y})$ soddisfa una soglia prestabilita $\tau$, la trasmissione si interrompe. Se non lo fa, il ricevitore richiede un piccolo sottoinsieme casuale dei blocchi latenti precedentemente trattenuti.
   • Raffinamento: I nuovi blocchi ricevuti vengono fusi nella rappresentazione latente, e il processo di inpainting della diffusione viene rieseguito con parametri aggiornati.
   • Meccanismo di Robustezza: Per gestire il rumore, il ricevitore genera due candidati per round: uno con diffusione guidata (utilizzando una scala di guida $w$) e uno con diffusione non guidata ($\gamma=0$). Seleziona il candidato che produce il punteggio semantico più elevato.

3. Parametri: Il sistema utilizza una soglia $\tau$ regolabile per controllare il compromesso tra larghezza di banda (numero di round/blocchi) e qualità semantica. L'intensità dell'inpainting è aggiustata euristicamente in base al Rapporto Segnale-Rumore (SNR) e alla frazione attuale di blocchi trattenuti.

Contributi Chiave

• Controllo Semantico Lato Ricevitore: Gli autori propongono una nuova regola di attivazione e di arresto anticipato che consente una trasmissione a lunghezza variabile senza richiedere al ricevitore di accedere all'immagine sorgente. Il criterio di arresto è definito interamente nello spazio semantico (coerenza della didascalia).
• Raffinamento Incrementale del Latente: Il lavoro accoppia le richieste incrementali di blocchi latenti con l'inpainting di diffusione latente condizionata dalla didascalia, permettendo un raffinamento progressivo della ricostruzione dove l'evidenza visiva mancante viene integrata solo quando necessario.
• Robustezza al Rumore: Il sistema migliora l'affidabilità sotto collegamenti rumorosi selezionando dinamicamente tra ricostruzioni guidate e non guidate in base allo stesso punteggio di coerenza semantica, anziché fare affidamento su parametri di generazione fissi.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset Flickr30k su canali AWGN, confrontando lo schema proposto con diversi baseline:

• No-guidance: Trasmissione solo latente senza condizionamento testuale.
• Full-mask: Solo didascalia (nessun blocco latente).
• Fixed-budget: Trasmissione one-shot di un numero di blocchi latenti corrispondente al payload medio del sistema proposto.
• Fixed-round: Un riferimento ad alto overhead che esegue sempre il numero massimo di round senza arresto anticipato.

Risultati:

• Allineamento Semantico: Lo schema adattivo proposto ha ottenuto i punteggi ROUGE-L più elevati e la più bassa probabilità di fallimento semantico ($P_{fail}$) rispetto a tutti i baseline. Ha superato la trasmissione one-shot a budget fisso, dimostrando che adattare il payload alla difficoltà dell'immagine migliora l'allineamento semantico.
• Efficienza: Sebbene lo schema "fixed-round" abbia ottenuto una migliore fedeltà a livello di pixel (SSIM/LPIPS) grazie alla trasmissione di più dati, lo schema proposto ha raggiunto una qualità di pixel/percettiva comparabile al baseline a budget fisso, utilizzando in media meno blocchi latenti per le immagini più semplici.
• Controllo del Compromesso: La soglia $\tau$ controlla efficacementamente il rapporto tra velocità e qualità; valori di $\tau$ più elevati comportano più round e una maggiore coerenza semantica, ma un aumento dell'uso della larghezza di banda.
• Tassi di Fallimento: Lo schema adattivo ha mantenuto costantemente i tassi di fallimento più bassi, poiché inietta evidenza aggiuntiva specificamente quando il punteggio semantico è insufficiente, mentre gli schemi a round fissi non garantiscono un miglioramento monotono dei punteggi semantici a causa della natura stocastica della diffusione.

Significatività e Rivendicazioni
Il documento afferma che il controllo lato ricevitore può migliorare significativamente l'affidabilità per i ricevitori generativi operanti sotto un budget di evidenza media fisso. Spostando il meccanismo di feedback dalla correzione degli errori a livello di bit alla verifica della coerenza semantica, il sistema ottiene un compromesso controllabile tra velocità e qualità. I risultati suggeriscono che questo approccio supera la trasmissione one-shot a budget corrispondente in termini di allineamento semantico e tassi di fallimento, pur richiedendo tipicamente meno blocchi latenti rispetto ai sistemi di ritrasmissione continua. Gli autori osservano che il lavoro futuro affronterà la selezione dei blocchi basata sull'importanza, le didascalie/feedback inaffidabili e le estensioni a scenari video e multi-utente.