Lightweight Diffusion Models for Resource-Constrained Semantic Communication

Resumo Técnico: Q-GESCO – Modelos de Difusão Leves para Comunicação Semântica com Recursos Limitados

Declaração do Problema
Os frameworks de Comunicação Semântica Generativa (GSC) revolucionaram o campo ao permitir a transmissão de informações semânticas comprimidas (por exemplo, mapas semânticos, vetores latentes) e a regeneração de conteúdo multimídia de alta qualidade no receptor. Embora os modelos de difusão representem o estado da arte em modelagem generativa, sua implantação em ambientes com recursos limitados — como dispositivos móveis e plataformas de computação de borda — é impedida por demandas computacionais significativas. A natureza iterativa dos modelos de difusão exige numerosas passagens forward, levando a tempos de inferência elevados, grandes ocupações de memória e cargas computacionais pesadas. Esses fatores tornam a implantação de modelos de difusão em precisão total impraticável para cenários de comunicação em tempo real ou de baixo consumo de energia, apesar de suas capacidades generativas superiores.

Metodologia
O artigo propõe o Q-GESCO (Comunicação Semântica Generativa Quantizada), um framework projetado para reduzir as cargas computacionais e de memória dos modelos de difusão semântica, preservando o desempenho generativo. O núcleo do Q-GESCO é uma técnica de Quantização Pós-Treinamento (PTQ) aplicada ao modelo de difusão semântica no receptor. A metodologia segue um pipeline de quatro etapas:

1. Treinamento Consciente de Ruído: Um modelo de difusão semântica em precisão total (baseado no framework GESCO) é treinado ou ajustado finamente em um conjunto de dados alvo. Durante esta fase, mapas semânticos são corrompidos com níveis variados de ruído para emular ruído de canal, garantindo que o modelo aprenda a regenerar conteúdo de forma robusta sob condições adversas.
2. Quantização: O modelo treinado em precisão total é quantizado usando PTQ. Os pesos são arredondados para um conjunto discreto de valores, reduzindo significativamente o tamanho do modelo e a complexidade computacional.
3. Calibração Consciente de Ruído e de Passo de Tempo: Para mitigar erros de quantização que se acumulam durante o processo iterativo de remoção de ruído, é introduzida uma etapa de calibração especializada.
   • Consciência de Passo de Tempo: O conjunto de dados de calibração é construído amostrando entradas intermediárias uniformemente em todos os passos de tempo de difusão, capturando a evolução gradual das distribuições de ativação.
   • Consciência de Ruído: As entradas de calibração consistem em mapas semânticos corrompidos por Ruído Gaussiano Branco Aditivo (AWGN) em níveis variados de Relação Sinal-Ruído de Pico (PSNR) (variando de 1 a 100). Isso garante que os parâmetros de quantização sejam otimizados para robustez contra perturbações de canal.
   • Quantização Dividida: O U-Net de remoção de ruído é dividido em blocos, e a quantização é aplicada antes das operações de concatenação em camadas de atalho para gerenciar distribuições de ativação anormais.
4. Inferência: O modelo quantizado é implantado no receptor para regenerar imagens de alta qualidade a partir de mapas semânticos comprimidos e ruidosos transmitidos pelo canal.

Principais Contribuições

• Framework Q-GESCO: A introdução de um novo framework de comunicação semântica quantizada especificamente adaptado para dispositivos com recursos limitados.
• Estratégia Avançada de PTQ: O desenvolvimento de um mecanismo de calibração "consciente de ruído e de passo de tempo". Diferentemente da PTQ padrão, esta abordagem considera explicitamente a natureza iterativa dos modelos de difusão e a variabilidade do ruído de canal, prevenindo a acumulação de erros de quantização.
• Compressão Livre de Dados: O processo de quantização é realizado de forma completamente livre de dados em relação à regeneração de novos dados de treinamento, dependendo, em vez disso, de um pequeno conjunto de calibração construído de forma eficiente.

Resultados Experimentais
Os experimentos foram conduzidos utilizando o conjunto de dados Cityscapes (resolução 256 × 512) sob um cenário de canal com Ruído Gaussiano Branco Aditivo (AWGN). O modelo quantizado (Q-GESCO) foi comparado com sua contraparte em precisão total (GESCO).

• Eficiência: O Q-GESCO alcançou uma redução de 75% na ocupação de memória (de 2699 MB para 674 MB) e uma redução de 79% na carga computacional (FLOPs, de 13,82 TFLOPs para 2,87 TFLOPs) ao reduzir a precisão dos pesos de 32 bits para 8 bits.
• Desempenho: Apesar da quantização, o modelo manteve desempenho generativo comparável. Em um PSNR de canal de 10, o Q-GESCO alcançou um LPIPS de 0,63 e um FID de 15,82, que são comparáveis ou ligeiramente melhores que o modelo em precisão total (LPIPS 0,65, FID 16,43).
• Robustez: O modelo demonstrou robustez em diferentes níveis de ruído (PSNR 0–100), regenerando com sucesso imagens ricas em semântica mesmo sob condições de canal pobres.
• Estudos de Ablação: Comparações entre métodos de calibração confirmaram que a calibração "consciente de ruído e de passo de tempo" proposta produziu resultados superiores tanto nas métricas LPIPS quanto FID, em comparação com a calibração usando apenas dados conscientes de passo de tempo.

Significado e Alegações
Os autores afirmam que o Q-GESCO efetivamente preenche a lacuna entre o alto desempenho da comunicação semântica generativa e as limitações rigorosas de recursos dos dispositivos de borda. Ao reduzir significativamente os requisitos de memória e computação sem sacrificar a qualidade da imagem ou a robustez, o framework permite a implantação prática de comunicação semântica baseada em difusão em hardware com recursos limitados. O artigo postula que essa abordagem amplia o leque de aplicações para comunicação semântica generativa, tornando-a viável para sistemas do mundo real onde latência, consumo de energia e memória são restrições críticas. O código é disponibilizado para facilitar pesquisas adicionais neste domínio.