🔢 mathematics

Knowledge Distillation Driven Semantic NOMA for Image Transmission with Diffusion Model

Questo articolo propone KDD-SemNOMA, un nuovo framework di NOMA semantica per la trasmissione di immagini multi-utente wireless che integra un'architettura di codifica adattiva basata su ConvNeXt, una strategia di distillazione della conoscenza in due stadi per mitigare l'interferenza senza overhead di inferenza e uno stadio di raffinamento basato su un modello di diffusione per ottenere una ricostruzione dell'immagine ad alta fedeltà in condizioni di canale diverse e sfidanti.

Autori originali: Qifei Wang, Zhen Gao, Shuo Sun, Zhijin Qin, Xiaodong Xu, Meixia Tao

Pubblicato 2026-01-27

📖 4 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qifei Wang, Zhen Gao, Shuo Sun, Zhijin Qin, Xiaodong Xu, Meixia Tao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover inviare una foto di alta qualità a un amico, ma la connessione internet è terribile. È come urlare un messaggio attraverso una stanza affollata e rumorosa dove molte persone parlano contemporaneamente. Nella comunicazione tradizionale, dovresti scomporre la foto in minuscoli bit digitali (come 1 e 0) e inviarli uno alla volta. Se il rumore diventa troppo forte, i bit si perdono e la foto arriva come un ammasso confuso.

Questo articolo propone un modo più intelligente per farlo, specificamente per un futuro mondo "6G" dove molti utenti cercano di inviare foto a una torre centrale (la stazione base) contemporaneamente. Gli autori chiamano questo nuovo sistema KDD-SemNOMA.

Ecco come funziona, suddiviso in tre semplici fasi utilizzando analogie quotidiane:

1. Il Parlante Intelligente (Comunicazione Semantica e Adattamento del Canale)

Invece di inviare bit grezzi, questo sistema invia il "significato" o l' "essenza" dell'immagine (caratteristiche semantiche). Pensa a questo come all'invio di una descrizione dettagliata di un dipinto piuttosto che dei suoi pixel stessi.

Tuttavia, inviare queste descrizioni è difficile quando la "stanza" è rumorosa (maltempo o interferenze). Per risolvere questo problema, il sistema utilizza un traduttore specializzato (una rete neurale basata su qualcosa chiamato ConvNexT).

L'Analogia: Immagina un traduttore che non si limita a parlare la lingua, ma ascolta anche il rumore di fondo. Se la stanza diventa ventosa (fading di Rayleigh) o rumorosa (rumore), questo traduttore cambia istantaneamente il modo in cui parla per assicurarsi che il messaggio passi chiaramente. Adatta il suo volume e il suo tono dinamicamente per combattere il rumore.

2. Il Mentore e l'Apprendista (Distillazione della Conoscenza)

Il problema principale in questo scenario è che tutti stanno gridando contemporaneamente. Questo crea "interferenza", rendendo difficile per il ricevente capire chi ha detto cosa.

Il Problema: Addestrare un sistema per decodificare questi grida mescolate è difficile perché il rumore degli altri utenti confonde il processo di apprendimento.
La Soluzione: Gli autori utilizzano un approccio Insegnante-Studente (Teacher-Student).
- L'Insegnante: Per prima cosa, addestrano un modello "Insegnante" in una stanza perfetta e silenziosa dove tutti parlano uno alla volta (trasmissione ortogonale). L'Insegnante impara perfettamente come descrivere le immagini senza alcuna interferenza.
- Lo Studente: Successivamente, addestrano un modello "Studente" per lavorare in una stanza rumorosa e affollata. Invece di imparare da zero, lo Studente osserva l'Insegnante. Lo Studente cerca di imitare i "pensieri" interni (caratteristiche) e le predizioni dell'Insegnante.
- Il Risultato: Anche se lo Studente lavora in una stanza rumorosa, apprende i "trucchi" che l'Insegnante ha usato nella stanza silenziosa. Ciò permette allo Studente di filtrare il rumore e l'interferenza molto meglio di quanto farebbe se avesse imparato da solo. Fondamentalmente, una volta terminato l'addestramento, l'Insegnante viene scartato, quindi il sistema finale è veloce e non richiede potenza di calcolo extra.

3. Il Restauratore d'Arte (Raffinamento tramite Modello di Diffusione)

Anche con il traduttore intelligente e il mentore, la foto potrebbe ancora apparire un po' sfocata o avere qualche "disturbo" perché il canale era molto scarso.

L'Analogia: Immagina che la foto arrivi simile a uno schizzo con alcune macchie. Il sistema utilizza quindi un Artista di IA Generativa (un Modello di Diffusione) per sistemarla.
Come funziona: Questo artista non si limita a indovinare; sa come dovrebbe apparire un "volto perfetto" o un "paesaggio perfetto" perché ha visto milioni di immagini di alta qualità in precedenza. Prende lo schizzo sfocato, aggiunge un po' di "rumore" ad esso (per resettare le macchie) e poi "denoisa" (riduce il rumore) lentamente per riportarlo a un'immagine nitida e ad alta definizione.
La Magia: Questo passaggio non corregge solo i pixel; ripristina la sensazione e i dettagli dell'immagine (come la texture della pelle o la nitidezza di un occhio) che sono andati perduti durante la trasmissione.

Perché è importante?

L'articolo sostiene che, combinando questi tre passaggi, il loro sistema può inviare immagini a più utenti simultaneamente su un canale affollato e riceverle quasi perfette.

Migliore del vecchio metodo: I metodi tradizionali (come l'invio di bit separati) falliscono completamente quando la connessione è scarsa (l'effetto "scogliera"). Questo sistema degrada in modo graduale.
Migliore di altri metodi di IA: Supera altri metodi di IA che cercano di fare la stessa cosa perché utilizza l' "Insegnante" per imparare più velocemente e l' "Artista" per correggere meglio i dettagli.
Efficienza: Ottiene un'alta qualità senza che il lato ricevente debba utilizzare un supercomputer per svolgere il lavoro pesante durante la chiamata effettiva.

In breve, l'articolo presenta un sistema che agisce come un traduttore intelligente e adattivo che impara da un mentore perfetto e poi assume un maestro restauratore d'arte per garantire che le tue foto arrivino nitide, anche quando la connessione internet è terribile.

Riassunto Tecnico: KDD-SemNOMA - Trasmissione di Immagini con Modello di Diffusione guidata dalla Distillazione della Conoscenza per la NOMA Semantica

Definizione del Problema

Il documento affronta le sfide della trasmissione di immagini wireless multi-utente in uplink nei contesti delle reti 6G, specificamente nell'ambito della Comunicazione Semantica Non-Orthogonal Multiple Access (NOMA). Sebbene la comunicazione semantica offra un'efficienza di banda superiore trasmettendo caratteristiche semantiche anziché bit grezzi, gli scenari multi-utente NOMA introducono ostacoli significativi:

Condizioni di Canale Dinamiche: Le prestazioni degradano in presenza di condizioni variabili come il rumore bianco gaussiano additivo (AWGN) e il fading di Rayleigh.
Interferenza Semantica: Nella NOMA, i segnali di più utenti sono sovrapposti, portando a un'interferenza non ortogonale che distorce le caratteristiche semantiche e riduce la fedeltà a livello di pixel.
Qualità Percepita: I sistemi tradizionali di Deep Joint Source-Channel Coding (DeepJSCC) spesso ottimizzano la distorsione a livello di pixel (es. MSE), ma non riescono a mantenere un'alta qualità percepita, specialmente in condizioni di canale sfavorevoli o con alti rapporti di compressione.
Vincoli di Risorse: Le soluzioni multi-utente esistenti spesso si affidano all'allocazione ortogonale delle risorse, il che aumenta l'overhead all'aumentare del numero di utenti, oppure mancano di strategie robuste di mitigazione dell'interferenza in contesti non ortogonali.

Metodologia

Gli autori propongono KDD-SemNoma, un framework a due stadi progettato per migliorare sia l'accuratezza a livello di pixel che la qualità percepita nella trasmissione di immagini multi-utente.

1. Architettura Core: DeepJSCC basata su ConvNeXt con modulo AF potenziato

La base è una rete DeepJSCC basata sull'architettura ConvNeXt, modificata per la trasmissione semantica.

Modulo Adaptive Feature (AF) Potenziato: Per garantire la robustezza contro i canali dinamici, gli autori introducono un modulo AF-Module. Questo modulo riceve come input le informazioni lato canale (Rapporto Segnale-Rumore $\gamma$ , e parametri di fading di Rayleigh ampiezza $a$ e fase $\phi$ ), modulando dinamicamente le caratteristiche semantiche tramite una maschera adattiva generata da una rete di fusione, permettendo al sistema di sopprimere le componenti corrotte dal rumore ed enfatizzare le caratteristiche robuste.
Differenziazione Utente: Al trasmettitore, gli embedding specifici dell'utente vengono concatenati con le immagini di input per consentire al modello di distinguere tra gli utenti nonostante la sovrapposizione non ortogonale.

2. Stadio Uno: Distillazione della Conoscenza (KD-SemNOMA)

Per mitigare il divario di prestazioni causato dall'interferenza non ortogonale, gli autori impiegano una strategia di Knowledge Distillation (KD):

Modello Teacher (Insegnante): Un modello addestrato sulla trasmissione ortogonale (dove gli utenti non interferiscono tra loro, esiste solo il rumore di canale). Questo modello apprende rappresentazioni semantiche "libere da interferenze".
Modello Student (Studente): L'effettivo modello SemNOMA addestrato sulla trasmissione non ortogonale.
Meccanismo di Distillazione: Lo studente è guidato dal teacher attraverso due perdite specifiche:
- Distillazione della Feature Affinity (FA): Allinea le matrici di affinità spaziale delle mappe di caratteristiche intermedie tra il teacher e lo studente, assicurando che lo studente apprenda le relazioni strutturali delle caratteristiche libere da interferenze.
- Distillazione Cross-Head Prediction (CrossKD): Trasferisce le caratteristiche intermedie dal decoder dello studente al decoder del teacher per generare predizioni "cross-head", colmando il divario tra gli obiettivi di supervisione e di distillazione.
Efficienza: Durante l'inferenza, viene utilizzato solo il modello studente, che è leggero, senza incorrere in ulteriori costi computazionali rispetto alla standard SemNOMA.

3. Stadio Due: Raffinamento basato su Modello di Diffusione (KDD-SemNOMA)

Per migliorare ulteriormente la qualità percepita e recuperare i dettagli fini persi durante la trasmissione, un secondo stadio utilizza un Modello di Diffusione pre-addestrato:

Contrazione dell'Errore: La ricostruzione iniziale ( $x_{init}$ ) proveniente dallo stadio KD-SemNOMA viene trattata come una stima grossolana. Il framework applica un processo di diffusione in avanti a $x_{init}$ , sfruttando la proprietà matematica per cui il processo di diffusione contrae l'errore di predizione associato alla stima iniziale.
Diffusione Inversa: Un processo di diffusione inversa (utilizzando il campionamento DDIM) denoisa iterativamente lo stato contratto, guidato dai prior generativi del modello di diffusione pre-addestrato. Questo trasforma l'output iniziale in un'immagine ad alta fedeltà ( $x_0$ ) con texture e coerenza semantica potenziate.

Contributi Chiave

Framework di Trasmissione Semantica Non-Ortogonale: La proposta di un'architettura DeepJSCC basata su ConvNeXt con un modulo AF potenziato che si adatta dinamicamente ai canali AWGN e di fading di Rayleigh, garantendo una trasmissione robusta delle caratteristiche.
Distillazione della Conoscenza per la Mitigazione dell'Interferenza: L'integrazione innovativa di uno schema di distillazione teacher-student nel framework SemNOMA. Utilizzando un teacher ortogonale per guidare lo studente non ortogonale tramite feature affinity e cross-head prediction, il metodo ottiene guadagni significativi di PSNR (0.2–0.8 dB) senza aumentare la complessità dell'inferenza.
Raffinamento dell'Immagine Potenziato dalla Diffusione: Lo sviluppo di un approccio di ricostruzione a due stadi (KDD-SemNOMA) che combina l'accuratezza a livello di pixel di KD-SemNOMA con i prior generativi dei modelli di diffusione. Questo stadio mira specificamente al miglioramento della qualità percepita, recuperando efficacemente i dettagli e mitigando gli artefatti in ambienti a basso SNR.

Risultati Sperimentali

Sono stati condotti estesi esperimenti sui dataset CIFAR-10 (bassa risoluzione) e FFHQ-256 (immagini facciali ad alta risoluzione) sotto canali AWGN e di fading di Rayleigh.

Fedeltà a Livello di Pixel (PSNR/SSIM):
- Il proposto KD-SemNOMA supera le baseline DeepJSCC-NOMA (basate su ResNet) e gli schemi tradizionali BPG+LDPC+QAM+SIC.
- Sotto fading di Rayleigh, l'AF-Module potenziato fornisce miglioramenti di PSNR di 1–3 dB rispetto alle baseline.
- La distillazione della conoscenza genera un ulteriore guadagno di PSNR di circa 0.2–0.8 dB rispetto alla SemNOMA non distillata.
- Il metodo dimostra una "degradazione aggraziata" a bassi livelli di SNR, evitando l'effetto "cliff" tipico dei sistemi di codifica separata tradizionale.
Qualità Percepita (LPIPS/FID):
- Il sistema completo KDD-SemNOMA (inclusa la raffinazione tramite diffusione) supera significativamente i metodi a stadio singolo e il raffinamento basato su GAN (SemNOMA-CGAN) in termini di punteggi LPIPS e FID.
- In regimi di basso SNR (es. 0 dB), KDD-SemNOMA riduce i valori LPIPS e FID di circa il 23% e il 36% rispetto ai metodi basati su GAN, dimostrando una capacità superiore di recuperare i dettagli semantici ed evitare il mode collapse.
- I confronti visivi confermano che KDD-SemNOMA preserva meglio i contorni facciali e i dettagli della texture rispetto ai metodi concorrenti in condizioni di canale severe.

Significato e Rivendicazioni

Il documento afferma che KDD-SemNOMA rappresenta un avanzamento significativo nella comunicazione semantica multi-utente, affrontando efficacementmente le doppie sfide della mitigazione dell'interferenza e del miglioramento della qualità percepita.

Scalabilità ed Efficienza: Il framework raggiunge alte prestazioni senza aumentare l'overhead di inferenza (grazie alla strategia di distillazione) e riduce l'overhead di trasmissione rispetto agli schemi ortogonali (NOMA vs. OMA).
Robustezza: Il sistema si dimostra altamente robusto attraverso diversi scenari di canale (AWGN e Rayleigh) e rapporti di compressione, rendendolo adatto per scenari 6G con banda limitata.
Superiorità Percepita: Integrando i modelli di diffusione, il lavoro va oltre le metriche di distorsione tradizionali, fornendo un recupero d'immagine ad alta fedeltà che si allinea meglio alla percezione visiva umana, anche in condizioni di canale estremamente critiche.

Gli autori concludono che il loro approccio colma efficacemente il divario tra accuratezza a livello di pixel e qualità percepita, offrendo una soluzione valida per la trasmissione di immagini multi-utente ad alta qualità e scalabile nelle future reti 6G.