Markov-Enforced Discrete Diffusion Model for Digital Semantic Symbol Error Correction

1. Il Problema

Il lavoro affronta le sfide poste dalla trasmissione di immagini in sistemi di comunicazione semantica digitale basati su codifica congiunta sorgente-canale (JSCC) e quantizzazione vettoriale (VQ).

• Contesto: Nelle comunicazioni semantiche, le caratteristiche semantiche vengono quantizzate in simboli digitali (indici) e trasmesse. In scenari a basso rapporto segnale-rumore (SNR), il rumore del canale distorce questi simboli, portando a errori di rilevamento e a un significativo degrado della qualità dell'immagine ricostruita.
• Limitazione degli approcci esistenti: I modelli di diffusione (Diffusion Models - DM) sono stati proposti per correggere questi errori, ma la loro applicazione ai simboli digitali presenta un ostacolo fondamentale:
  • I DM discreti tradizionali si basano sull'assunzione che il processo di transizione degli stati sia Markoviano.
  • Tuttavia, nelle comunicazioni digitali reali (es. modulazione QAM su canali AWGN), le dinamiche di transizione degli indici dei simboli violano la proprietà di Markov. Le probabilità di transizione reali non soddisfano l'equazione di Chapman-Kolmogorov quando modellate in modo discreto e approssimato.
  • Gli approcci precedenti (come CD3M e DCDDM) utilizzano matrici di transizione che non rispettano rigorosamente la struttura Markoviana, limitando le prestazioni teoriche e pratiche del modello di diffusione.
  • Inoltre, i metodi basati su DM continui (come SCDM) operano sui simboli grezzi senza considerare la struttura semantica latente appresa dal codice VQ, perdendo informazioni cruciali per la ricostruzione.

2. Metodologia Proposta: SSCDM

Gli autori propongono SSCDM (Semantic Symbol Correcting Diffusion Model), un nuovo framework che risolve il problema della violazione Markoviana e integra la conoscenza semantica.

A. Dinamiche di Transizione Enforzate Markovianamente

Per garantire la validità teorica del processo di diffusione discreto, gli autori costruiscono le matrici di transizione utilizzando la teoria delle Catene di Markov a Tempo Continuo (CTMC):

1. Analisi del problema: Viene dimostrato teoricamente che le matrici di transizione reali indotte dal rumore gaussiano non formano una catena di Markov discreta.
2. Soluzione CTMC: Invece di approssimare direttamente le matrici discrete, il modello impone che le transizioni discrete siano campioni di una soluzione CTMC valida.
3. Ottimizzazione: Viene formulato un problema di ottimizzazione per trovare una decomposizione agli autovalori ($V, D(t)$) tale che le matrici di transizione approssimate $\bar{Q}_{t_k|t_0} = V D(t_k) V^{-1}$ minimizzino l'errore rispetto alle matrici reali, rispettando al contempo i vincoli di non negatività e stocasticità.
4. Interpolazione: Le matrici per tutti i passi temporali sono ottenute interpolando cubicamente i parametri ottimizzati su un sottoinsieme di punti temporali, garantendo che l'intero processo rispetti l'equazione di Chapman-Kolmogorov.

B. Architettura Semantica Consapevole (Codebook Embedding)

A differenza dei DM standard che trattano gli indici come semplici categorie, SSCDM integra la struttura semantica:

• Input Embedding: Invece di inserire direttamente gli indici dei simboli nel modello U-Net, ogni indice viene mappato al suo corrispondente codeword (vettore) del codicebook VQ appreso.
• Vantaggio: Questo permette al modello di diffusione di operare nello spazio delle caratteristiche latenti semantiche, comprendendo le relazioni geometriche e semantiche tra i simboli, migliorando la coerenza della correzione.

C. Apprendimento del Codebook con Regularizzazione SOM

Per massimizzare l'efficacia della correzione, la struttura del codicebook VQ deve preservare la topologia (simili indici devono corrispondere a codeword vicine nello spazio delle caratteristiche, analogamente alla mappatura Gray):

• Viene introdotta una funzione di perdita basata sulle Mappe Auto-Organizzanti (SOM).
• Questa perdita regolarizza l'addestramento del codicebook, spingendo i codeword di simboli adiacenti nella mappa a essere semanticamente vicini nello spazio latente.
• Questo garantisce che una correzione imperfetta (spostare un indice verso un vicino) porti a un miglioramento reale della ricostruzione dell'immagine.

3. Contributi Chiave

1. Analisi Teorica: Dimostrazione della violazione della proprietà di Markov nelle transizioni di simboli digitali su canali reali e proposta di un metodo per correggerla.
2. Metodo SSCDM: Un nuovo framework di correzione che enforza dinamiche Markoviane valide tramite soluzioni CTMC, permettendo un addestramento e un'inferenza teoricamente fondati.
3. Integrazione JSCC-DM: Progettazione di un'architettura neurale che utilizza il codicebook VQ appreso per incorporare i simboli discreti in uno spazio latente continuo, migliorando la coerenza semantica.
4. Regularizzazione Topologica: Integrazione di una perdita SOM per garantire che il codicebook VQ preservi la vicinanza geometrica, migliorando la robustezza della correzione.
5. Risultati Sperimentali: Validazione estensiva che dimostra la superiorità del metodo rispetto agli stati dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset FFHQ (256x256) e CelebA (128x128) con modulazione 16-QAM su canali AWGN.

• Metriche: MS-SSIM (similitudine strutturale) e LPIPS (similarità percettiva).
• Prestazioni:
  • SSCDM supera costantemente tutti i metodi di base (VQ-JSCC, CD3M, DCDDM, SCDM) in tutto l'intervallo di SNR, con guadagni particolarmente significativi nelle regioni a basso SNR.
  • Mentre altri metodi DM (come DCDDM) mostrano errori nelle matrici di transizione e artefatti nelle immagini ricostruite, SSCDM mantiene una fedeltà semantica superiore.
  • L'uso dell'embedding del codicebook e della regolarizzazione SOM porta a miglioramenti tangibili: senza SOM, la correzione degli errori non si traduce efficacemente in una migliore qualità dell'immagine.
• Robustezza: Il metodo dimostra stabilità su diversi dataset e condizioni di canale, mantenendo prestazioni elevate anche quando il rumore è severo.

5. Significato e Impatto

Questo lavoro è significativo perché colma il divario teorico tra i modelli di diffusione generativi e le comunicazioni digitali reali.

• Risoluzione di un problema fondamentale: Risolve il conflitto tra l'assunzione Markoviana necessaria per l'efficienza dei DM e la natura non-Markoviana delle transizioni di simboli nei canali digitali.
• Sinergia JSCC-DM: Dimostra come i modelli di diffusione possano essere integrati profondamente con i sistemi di comunicazione semantica (JSCC), non come semplici "patch" di denoising, ma come componenti che comprendono la struttura semantica latente.
• Implicazioni per il 6G: Offre una soluzione promettente per le comunicazioni orientate al compito (task-oriented) nelle reti di prossima generazione, dove l'efficienza spettrale e la robustezza in condizioni di canale avverse sono critiche.

In sintesi, SSCDM trasforma un processo di correzione errori intrinsecamente complesso e non-Markoviano in un processo di diffusione discreto gestibile e teoricamente solido, ottenendo risultati superiori nella ricostruzione di immagini semantiche.