Diffusion-Aided Bandwidth-Efficient Semantic Communication with Adaptive Requests

Resumo Técnico: Comunicação Semântica Auxiliada por Difusão com Eficiência de Largura de Banda e Solicitações Adaptativas

Definição do Problema
Os sistemas de comunicação tradicionais priorizam a recuperação exata de bits, enquanto a comunicação semântica visa transmitir o significado relevante para a tarefa. Na transmissão de imagens usando receptores generativos (ex: modelos de difusão latente), confiar apenas em legendas de texto frequentemente falha em preservar detalhes visuais específicos da instância, enquanto a transmissão de representações latentes densas incorre em um overhead significativo de largura de banda. Um desafio crítico surge em ambientes sem fio: o receptor não tem acesso à imagem de origem real (ground-truth), tornando impossível determinar a priori quanto evidência visual (blocos latentes) é suficiente para a fidelidade semântica. Estratégias de transmissão de orçamento fixo são ineficientes porque ou desperdiçam recursos em imagens simples ou não fornecem evidência suficiente para as complexas. Além disso, os mecanismos clássicos de Solicitação Automática de Repetição Híbrida (HARQ), que dependem da detecção de erros ao nível de bit, são inaplicáveis aqui, pois não há uma imagem de origem no receptor para verificar a correção dos bits.

Metodologia
O artigo propõe um esquema de comunicação semântica de malha fechada (closed-loop), orientado pelo receptor, que ajusta dinamicamente a carga útil transmitida com base na consistência semântica, em vez da confiabilidade de bits.

1. Arquitetura do Sistema:

   • Transmissor: Codifica uma imagem de entrada $x$ em uma incorporação latente $\tilde{z}$ usando um codificador VAE. O espaço latente é particionado em blocos quadrados. O transmissor envia uma legenda de texto curta (gerada via conversor de imagem-para-texto) e um subconjunto inicial esparso de blocos latentes, mascarando o restante. Ambos os fluxos são modulados e transmitidos através de um canal AWGN.
   • Receptor: Ao receber a legenda ruidosa $\hat{y}$ e os blocos latentes esparsos $\hat{z}$, o receptor reconstrói a imagem usando inpainting de difusão latente condicionada por legenda. O modelo de difusão preenche as regiões ausentes (mascaradas) enquanto mantém os blocos recebidos fixos.

2. Loop de Retransmissão Adaptativa:

   • Regra de Parada Semântica: Como a imagem de origem não está disponível, o receptor avalia a qualidade da reconstrução $\hat{x}$ gerando uma nova legenda $\bar{y}$ a partir dela (usando um gerador de legendas como o BLIP-2) e computando uma pontuação de similaridade semântica (ROUGE-L, denotada como $\Phi$) entre $\bar{y}$ e a legenda recebida $\hat{y}$.
   • Lógica de Decisão: Se a pontuação $r_t = \Phi(\bar{y}_t, \hat{y})$ atingir um limiar pré-definido $\tau$, a transmissão para. Caso contrário, o receptor solicita um pequeno subconjunto aleatório dos blocos latentes retidos.
   • Refinamento: Os novos blocos recebidos são mesclados à representação latente, e o processo de inpainting de difusão é executado novamente com parâmetros atualizados.
   • Mecanismo de Robustez: Para lidar com o ruído, o receptor gera dois candidatos por rodada: um com difusão guiada (usando uma escala de orientação $w$) e outro com difusão não guiada ($\gamma=0$). Ele seleciona o candidato que produz a maior pontuação semântica.

3. Parâmetros: O sistema utiliza um limiar ajustável $\tau$ para controlar o compromisso (trade-off) entre largura de banda (número de rodadas/blocos) e qualidade semântica. A força do inpainting é ajustada heuristicamente com base na Relação Sinal-Ruído (SNR) e na fração atual de blocos retidos.

Principais Contribuições

• Controle Semântico do Lado do Receptor: Os autores propõem uma nova regra de gatilho e de parada antecipada que permite a transmissão de comprimento variável sem exigir que o receptor acesse a imagem de origem. O critério de parada é definido inteiramente no espaço semântico (consistência da legenda).
• Refinamento Latente Incremental: O trabalho acopla solicitações incrementais de blocos latentes com inpainting de difusão latente condicionada por legenda, permitindo o refinamento progressivo da reconstrução onde a evidência visual ausente é preenchida apenas quando necessário.
• Robustez ao Ruído: O sistema melhora a confiabilidade sob links ruidosos ao selecionar dinamicamente entre reconstruções guiadas e não guiadas com base na mesma pontuação de consistência semântica, em vez de depender de parâmetros de geração fixos.

Resultados Experimentais
Experimentos foram conduzidos no conjunto de dados Flickr30k sobre canais AWGN, comparando o esquema proposto com várias linhas de base:

• Sem orientação (No-guidance): Transmissão apenas latente sem condicionamento de texto.
• Máscara total (Full-mask): Apenas a legenda (sem blocos latentes).
• Orçamento fixo (Fixed-budget): Transmissão de uma única vez de um número de blocos latentes que corresponde à carga útil média do esquema proposto.
• Rodadas fixas (Fixed-round): Uma referência de alto overhead que sempre executa o número máximo de rodadas sem parada antecipada.

Descobertas:

• Alinhamento Semântico: O esquema adaptativo proposto alcançou as maiores pontuações ROUGE-L e a menor probabilidade de falha semântica ($P_{fail}$) em comparação com todas as linhas de base. Superou a transmissão de uma única vez de orçamento fixo, demonstrando que adaptar a carga útil à dificuldade da imagem melhora o alinhamento semântico.
• Eficiência: Embora o esquema de "rodadas fixas" tenha alcançado melhor fidelidade ao nível de pixel (SSIM/LPIPS) devido à transmissão de mais dados, o esquema proposto alcançou qualidade de pixel/perceptual comparável à linha de base de orçamento fixo, utilizando menos blocos latentes em média para imagens mais fáceis.
• Controle de Compromisso: O limiar $\tau$ controla efetivamente o compromisso entre taxa e qualidade; valores de $\tau$ mais altos resultam em mais rodadas e maior consistência semântica, mas aumentam o uso de largura de banda.
• Taxas de Falha: O esquema adaptativo manteve consistentemente as menores taxas de falha, pois injeta evidência adicional especificamente quando a pontuação semântica é insuficiente, enquanto esquemas de rodadas fixas não garantem a melhoria monotônica nas pontuações semânticas devido à natureza estocástica da difusão.

Significância e Alegações
O artigo afirma que o controle do lado do receptor pode melhorar significativamente a confiabilidade para receptores generativos operando sob um orçamento de evidência média fixo. Ao deslocar o mecanismo de feedback da correção de erro ao nível de bit para a verificação de consistência semântica, o sistema alcança um compromisso controlável entre taxa e qualidade. Os resultados sugerem que esta abordagem supera a transmissão de uma única vez com orçamento correspondente em alinhamento semântico e taxas de falha, enquanto tipicamente requer menos blocos latentes do que esquemas de retransmissão contínua. Os autores observam que trabalhos futuros abordarão a seleção de blocos baseada em importância, legendas/feedback não confiáveis e extensões para cenários de vídeo e múltiplos usuários.