Sintesi Tecnica: Joint Source-Channel-Generation Coding (JSCGC)

1. Definizione del Problema

I sistemi di comunicazione wireless convenzionali, che includono sia la classica codifica basata sulla separazione sia la moderna codifica congiunta sorgente-canale (JSCC) basata sul deep learning, operano sotto la teoria della velocità-distorsione (rate-distortion, RD) di Shannon. Questi sistemi sono progettati per minimizzare metriche di distorsione esplicite (ad esempio, Mean Squared Error, LPIPS) per recuperare una stima puntuale del segnale sorgente. Gli autori sostengono tuttavia che l'ottimizzazione per specifiche metriche di distorsione introduca un "bias indotto dalla metrica", che spesso risulta in ricostruzioni sfocate, eccessivamente levigate o con artefatti strutturali che non si allineano con la complessa percezione visiva umana.

Sebbene approcci recenti di Rate-Distortion-Perception (RDP) e metodi di comunicazione generativa (ad esempio, DiffCom, DiffJSCC) abbiano tentato di migliorare la qualità percettiva incorporando perdite avversarie o modelli generativi pre-addestrati, essi rimangono comunque legati a rappresentazioni modellate sulla distorsione. In questi schemi esistenti, il processo di generazione è condizionato da un segnale ricostruito, il che significa che il sistema rimane fondamentalmente vincolato ai limiti del design basato sulla distorsione. Il problema centrale affrontato è la necessità di andare oltre la ricostruzione deterministica e l'ottimizzazione della metrica verso un paradigma in cui la comunicazione faciliti una generazione controllata basata su condizioni semantiche.

2. Metodologia: Il Framework JSCGC

Il paper propone la Joint Source-Channel-Generation Coding (JSCGC), un paradigma che sostituisce il decoder convenzionale con un modello generativo.

Concetto Core

In JSCGC, il processo di comunicazione viene riformulato dal minimo della distorsione alla generazione controllata.

• Trasmettitore: Codifica la sorgente $x$ in un segnale di canale $y$.
• Ricevitore: Invece di ricostruire direttamente $x$, il segnale ricevuto $\hat{y}$ è trattato come una condizione semantica che guida un modello generativo nel campionare da una distribuzione condizionale appresa $q_\theta(x|\hat{y})$.
• Obiettivo: Il sistema mira a massimizzare l'Informazione Mutua (MI) $I(X; \hat{Y})$ tra la sorgente e il segnale ricevuto, soggetto a un vincolo percettivo che assicuri che la distribuzione generata $q_\theta(x)$ rimanga vicina alla distribuzione dei dati naturali $p(x)$. Questo è formulato come:
  $$\max_{\theta, \phi} I(X; \hat{Y}) \quad \text{s.t.} \quad d_p(p(x), q_\theta(x)) \leq \zeta$$
  dove $d_p$ è una misura di divergenza (ad esempio, la divergenza KL) e $\zeta$ è una tolleranza.

Implementazione del Sistema

Il framework proposto è implementato per la trasmissione di immagini nello spazio latente utilizzando:

1. Encoder: Un encoder basato su Mamba (MambaJSCC) che estrae caratteristiche semantiche di alto livello e le mappa nell'input del canale.
2. Generatore: Un modello di latent flow matching (Z-Image) basato su S3-DiT, pre-addestrato su dataset su larga scala per modellare le distribuzioni dei dati naturali.
3. Communication-Aware Adapter (CA-Adapter): Una componente critica che colma il divario tra i segnali di comunicazione e gli spazi delle caratteristiche generative. Esso inietta il segnale ricevuto $\hat{y}$ nello spazio delle caratteristiche interne del generatore tramite stadi cascati, consentendo un controllo fine sulla traiettoria di generazione senza dover ri-addestrare l'intero generatore pre-addestrato.

Algoritmi di Training e Sampling

• Training: L'ottimizzazione vincolata viene convertita in una forma non vincolata tramite rilassamento Lagrangiano. Gli autori derivano una funzione di perdita trattabile basata sull'inferenza variazionale che minimizza un surrogato dell'entropia condizionale e della divergenza KL. Ciò consente un addestramento congiunto end-to-end di encoder, trasmissione del canale e generatore, dove i gradienti si propagano dal generatore attraverso il canale fino all'encoder.
• Sampling: Per affrontare il costo computazionale del campionamento stocastico da Equazioni Differenziali Stocastiche (SDE), il framework utilizza l'associata Probability Flow ODE. Ciò consente un campionamento efficiente con un numero significativamente inferiore di step (ad esempio, 20–50 step) mantenendo un'alta qualità percettiva.

3. Contributi Chiave

1. Framework JSCGC: Introduzione di un paradigma di comunicazione generativa che passa dalla ricostruzione deterministica alla generazione controllata, ottimizzando l'informazione mutua sotto vincoli percettivi senza funzioni di distorsione esplicite.
2. Training e Sampling Unificati: Sviluppo di un obiettivo di training variazionale che accoppia codifica della sorgente, trasmissione del canale e generazione. Il paper fornisce una strategia di campionamento condizionale efficiente basata su ODE per scenari con risorse limitate.
3. Garanzie Teoriche: Prove teoriche che dimostrano come l'obiettivo di training derivato si allinei con la formulazione informazionale originale. Gli autori mostrano che la minimizzazione della funzione di perdita riduce i limiti superiori sia della divergenza KL che della distanza di Wasserstein tra le distribuzioni generate e quelle reali.
4. Spostamento del Comportamento di Errore: Identificazione di uno spostamento fondamentale nelle caratteristiche di errore. A differenza dei sistemi tradizionali dove il degrado delle prestazioni si manifesta come distorsione visiva (sfocatura, artefatti), il degrado di JSCGC si manifesta come inconsistenza semantica (il contenuto diventa meno fedele alla sorgente) pur mantenendo un'alta realtà visiva e plausibilità percettiva.

4. Risultati Sperimentali

Sono stati condotti estesi esperimenti sui dataset Open Images (training) e Kodak (valutazione) su canali AWGN e Rayleigh fading.

• Performance: JSCGC supera costantemente i baseline allo stato dell'arte (MambaJSCC-PSNR, MambaJSCC-LPIPS, DiffCom, DiffJSCC) attraverso diverse metriche, inclusa la somiglianza a livello di feature (LPIPS, DISTS), la coerenza semantica (CLIP Score, DINO Score) e la fedeltà distributiva (rFID, DreamSim).
  • Esempio: Sotto AWGN a 5 dB SNR, JSCGC ha ridotto LPIPS e FID rispettivamente al 79,42% e al 53,68% dei valori del baseline DiffJSCC, migliorando contemporaneamente il punteggio CLIP dell'11%.
• Robustezza a Basso SNR: I guadagni di performance sono più pronunciati nei regimi di basso Rapporto Segnale-Rumore (SNR). A -5 dB, JSCGC supera significativamente tutti i baseline in coerenza semantica e qualità percettiva.
• Qualità Visiva vs. Metriche: Il paper nota che, sebbene alcuni baseline (ad esempio, MambaJSCC-LPIPS) possano ottenere metriche a livello di pixel (PSNR/LPIPS) competitive o superiori ad alto SNR, essi spesso soffrono di artefatti visivi (ad esempio, pattern a scacchiera). JSCGC mantiene una superiorità nella realtà visiva, illustrando il "fenomeno di Goodhart" per cui l'ottimizzazione di una metrica può degradare la reale qualità percettiva.
• Efficienza: Sebbene JSCGC utilizzi un generatore su larga scala (7,7 miliardi di parametri), il proposto sampling basato su ODE consente un'inferenza efficiente. Con 50 step di sampling, JSCGC raggiunge un equilibrio favorevole tra performance e latenza, superando DiffCom (che richiede 252 step) e DiffJSCC sia in velocità che in qualità.

5. Significato e Rivendicazioni

Il paper sostiene che JSCGC rappresenti un riprogettazione fondamentale dei sistemi di comunicazione. Trattando il segnale ricevuto come una condizione per la generazione piuttosto che come un progetto per la ricostruzione, il sistema scinde la fedeltà della comunicazione dalla distorsione pixel-wise.

Gli autori sottolineano che JSCGC non si limita a migliorare le metriche esistenti, ma cambia la natura degli errori di comunicazione. In condizioni di scarse risorse o di forte rumore, il sistema dà priorità alla realtà percettiva rispetto alla fedeltà semantica. Ciò produce immagini generate che appaiono naturali e plausibili anche quando il contenuto specifico devia dalla sorgente originale, un vantaggio distinto rispetto ai sistemi tradizionali che producono output visivamente degradati e irrealistici sotto vincoli simili. Il lavoro suggerisce che i futuri sistemi di comunicazione possano essere riprogettati per trasmettere condizioni semantiche per la generazione, sfruttando la potenza dei modelli di fondazione per sintetizzare contenuti di alta qualità coerenti con la sorgente.