Resumo Técnico: Destilação de Conhecimento para SemNOMA de KDD para Transmissão de Imagens com Modelo de Difusão

Declaração do Problema

O artigo aborda os desafios da transmissão de imagens sem fio multiusuário no uplink em redes 6G, especificamente no contexto de Acesso Múltiplo Não Ortogonal (NOMA) Semântico. Embora a comunicação semântica ofereça eficiência de largura de banda ao transmitir características semânticas em vez de bits brutos, os cenários NOMA multiusuário introduzem obstáculos significativos:

1. Condições Dinâmicas de Canal: O desempenho degrada-se sob condições variáveis, como Ruído Branco Gaussiano Aditivo (AWGN) e desvanecimento de Rayleigh.
2. Interferência Semântica: No NOMA, os sinais de múltiplos usuários são sobrepostos, levando à interferência não ortogonal que distorce as características semânticas e reduz a fidelidade ao nível de pixel.
3. Qualidade Perceptual: O DeepJSCC (Codificação Conjunta Fonte-Canal Profunda) tradicional frequentemente otimiza para a distorção ao nível de pixel (ex: MSE), mas falha em manter uma alta qualidade perceptual, especialmente sob condições de canal ruins ou altas taxas de compressão.
4. Restrições de Recursos: As soluções multiusuário existentes frequentemente dependem de alocação de recursos ortogonais, o que aumenta o overhead conforme o número de usuários cresce, ou carecem de estratégias robustas de mitigação de interferência em configurações não ortogonais.

Metodologia

Os autores propõem o KDD-SemNOMA, um framework de dois estágios projetado para melhorar tanto a precisão ao nível de pixel quanto a qualidade perceptual para a transmissão de imagens multiusuário.

1. Arquitetura Central: DeepJSCC baseado em ConvNeXt com Módulo AF Aprimorado

A base é uma rede DeepJSCC baseada na arquitetica ConvNeXt, modificada para transmissão semântica.

• Módulo de Característica Adaptativa (AF) Aprimorado: Para garantir a robustez contra canais dinâmicos, os autores introduzem um Módulo AF. Este módulo recebe informações do lado do canal (Relação Sinal-Ruído $\gamma$, e parâmetros de desvanecimento de Rayleigh amplitude $a$ e fase $\phi$) como entrada. Ele modula dinamicamente as características semânticas usando uma máscara adaptativa gerada via uma rede de fusão, permitindo que o sistema suprima componentes corrompidos pelo ruído e enfatize características robustas.
• Diferenciação de Usuário: No transmissor, embeddings específicos do usuário são concatenados com as imagens de entrada para permitir que o modelo distingua entre usuários, apesar da superposição não ortogonal.

2. Estágio Um: Destilação de Conhecimento (KD-SemNOMA)

Para mitigar a lacuna de desempenho causada pela interferência não ortogonal, os autores empregam uma estratégia de Destilação de Conhecimento (KD):

• Modelo Professor: Um modelo treinado em transmissão ortogonal (onde os usuários não interferem entre si, existindo apenas ruído de canal). Este modelo aprende representações semânticas "livres de interferência".
• Modelo Aluno: O modelo SemNOMA real, treinado em transmissão não ortogonal.
• Mecanismo de Destilação: O modelo aluno é guiado pelo professor através de duas perdas específicas:
  • Destilação de Afinidade de Característica (FA): Alinha as matrizes de afinidade espacial dos mapas de características intermediários entre o professor e o aluno, garantindo que o aluno aprenda as relações estruturais das características livres de interferência.
  • Destilação de Predição de Cabeça Cruzada (CrossKD): Transfere características intermediárias do decodificador do aluno para o decodificador do professor para gerar predições de "cabeça cruzada", preenchendo a lacuna entre os objetivos de supervisão e destilação.
• Eficiência: Durante a inferência, apenas o modelo aluno, que é leve, é utilizado, não incorrendo em overhead computacional adicional em comparação ao SemNOMA padrão.

3. Estágio Dois: Refinamento Baseado em Modelo de Difusão (KDD-SemNOMA)

Para aumentar ainda mais a qualidade perceptual e recuperar detalhes finos perdidos durante a transmissão, um segundo estágio utiliza um Modelo de Difusão pré-treinado:

• Contração de Erro: A reconstrução inicial ($x_{init}$) do estágio KD-SemNOMA é tratada como uma estimativa grosseira. O framework aplica um processo de difusão direta a $x_{init}$, aproveitando a propriedade matemática de que o processo de difusão contrai o erro de predição associado à estimativa inicial.
• Difusão Reversa: Um processo de difusão reversa (usando amostragem DDIM) realiza a denoiseção iterativa do estado contraído, guiado pelos priors generativos do modelo de difusão pré-treinado. Isso transforma a saída inicial em uma imagem de alta fidelidade ($x_0$) com textura e coerência semântica aprimoradas.

Principais Contribuições

1. Framework de Transmissão Semântica Não Ortogonal: A proposta de uma arquitetura DeepJSCC baseada em ConvNeXt com um Módulo AF aprimorado que se adapta dinamicamente a canais AWGN e de desvanecimento de Rayleigh, garantindo a transmissão robusta de características.
2. Destilação de Conhecimento para Mitigação de Interferência: A integração inovadora de um esquema de destilação professor-aluno no framework SemNOMA. Ao usar um professor ortogonal para guiar o aluno não ortogonal via afinidade de característica e predição de cabeça cruzada, o método alcança ganhos significativos de PSNR (0,2–0,8 dB) sem aumentar a complexidade de inferência.
3. Refinamento de Imagem Aprimorado por Difusão: O desenvolvimento de uma abordagem de reconstrução de dois estágios (KDD-SemNOMA) que combina a precisão ao nível de pixel do KD-SemNOMA com os priors generativos de modelos de difusão. Este estágio visa especificamente melhorias na qualidade perceptual, recuperando efetivamente detalhes e mitigando artefatos em ambientes de baixo SNR.

Resultados Experimentais

Experimentos extensivos foram conduzidos nos conjuntos de dados CIFAR-10 (baixa resolução) e FFHQ-256 (imagens de rostos de alta resolução) sob canais AWGN e de desvanecimento de Rayleigh.

• Fidelidade ao Nível de Pixel (PSNR/SSIM):
  • O KD-SemNOMA proposto supera os baselines de DeepJSCC-NOMA (baseados em ResNet) e os esquemas tradicionais BPG+LDPC+QAM+SIC.
  • Sob desvanecimento de Rayleigh, o Módulo AF aprimorado fornece melhorias de PSNR de 1–3 dB sobre os baselines.
  • A destilação de conhecimento gera um ganho adicional de PSNR de aproximadamente 0,2–0,8 dB sobre o SemNoma não destilado.
  • O método demonstra uma "degradação graciosa" em baixo SNR, evitando o "efeito de penhasco" observado em esquemas de codificação separados tradicionais.
• Qualidade Perceptual (LPIPS/FID):
  • O KDD-SemNOMA completo (incluindo o refinamento por difusão) supera significativamente os métodos de um estágio e o refinamento baseado em GAN (SemNOMA-CGAN) em termos de pontuações LPIPS e FID.
  • Em regimes de baixo SNR (ex: 0 dB), o KDD-SemNOMA reduz os valores de LPIPS e FID em aproximadamente 23% e 36%, respectivamente, em comparação com métodos baseados em GAN, demonstrando uma capacidade superior de recuperar detalhes semânticos e evitar o colapso de modo (mode collapse).
  • Comparações visuais confirmam que o KDD-SemNOMA preserva contornos faciais e detalhes de textura melhor do que os métodos concorrentes sob condições severas de canal.

Significância e Alegações

O artigo afirma que o KDD-SemNOMA representa um avanço significativo na comunicação semântica multiusuário, abordando efetivamente os desafios duplos de mitigação de interferência e melhoria da qualidade perceptual.

• Escalabilidade e Eficiência: O framework alcança alto desempenho sem aumentar o overhead de inferência (devido à estratégia de destilação) e reduz o overhead de transmissão em comparação com esquemas ortogonais (NOMA vs. OMA).
• Robustez: O sistema mostra-se altamente robusto através de diversas condições de canal (AWGN e desvanecimento de Rayleigh) e taxas de compressão, tornando-o adequado para cenários 6G com largura de banda restrita.
• Superioridade Perceptual: Ao integrar modelos de difusão, o trabalho vai além das métricas de distorção tradicionais, entregando uma recuperação de imagem de alta fidelidade que se alinha melhor com a percepção visual humana, mesmo em condições de canal extremamente ruins.

Os autores concluem que sua abordagem efetivamente preenche a lacuna entre a precisão ao nível de pixel e a qualidade perceptual, oferecendo uma solução viável para a transmissão de imagens multiusuário de alta qualidade e escalável para as futuras redes 6G.