Discrete-Space Generative AI Pipeline for Semantic Transmission of Signals

Resumo Técnico: Discernment – Transmissão Semântica via IA Generativa em Espaço Discreto

1. O Problema

A comunicação semântica visa transmitir o significado de uma mensagem em vez de apenas bits brutos, utilizando modelos generativos idênticos no transmissor e no receptor. No entanto, as abordagens atuais enfrentam três limitações principais:

• Domínios Restritos: A maioria das soluções é limitada a domínios específicos (texto, visão ou fala), faltando generalização para uma variedade ampla de sinais físicos (como rádio e áudio).
• Complexidade Computacional: Modelos generativos tradicionais são pesados e consomem muita energia, o que é inadequado para dispositivos de Internet das Coisas (IoT).
• Fragilidade a Erros de Canal: Sistemas clássicos falham quando há perda de pacotes ou truncamento, e as abordagens semânticas existentes muitas vezes não lidam bem com padrões de erro variados sem degradar severamente a qualidade da tarefa final.

O artigo propõe resolver esses problemas através de um sistema que opera em espaços latentes discretos, permitindo maior eficiência e robustez.

2. Metodologia: O Sistema "Discernment"

O sistema proposto, chamado Discernment, é um pipeline de comunicação semântica que utiliza modelos de IA generativa (GenAI) operando em representações discretas. A arquitetura segue quatro etapas principais:

A. Aprendizado de Representações Discretas (VQVAE)

• O primeiro estágio utiliza um Autoencoder Variacional Quantizado Vetorialmente (VQVAE).
• Sinais de alta dimensão (ondas de rádio baseband e espectrogramas de áudio) são mapeados para uma sequência de tokens discretos (índices de um códigobook).
• Isso simplifica o problema de modelagem generativa, reduzindo a complexidade computacional e o uso de memória, essencial para sinais de RF e áudio.

B. Modelagem Generativa (DoT vs. SEDD)
O sistema emprega duas famílias de modelos para aprender a distribuição conjunta dos tokens e recuperar informações perdidas, adaptando-se ao tipo de dano no canal:

1. Transformers Decodificadores (DoT - Decoder-only Transformers):
   • Modelos autoregressivos (como NanoGPT e MONAI).
   • Ideais para recuperar truncamentos (quando os tokens finais são perdidos devido a restrições de latência). O modelo gera tokens subsequentes baseando-se nos anteriores.
2. Difusão Discreta (SEDD - Score Entropy Discrete Diffusion):
   • Um modelo de difusão não-autoregressivo adaptado para sinais não linguísticos.
   • Ideal para recuperar puncionamentos (perda aleatória de pacotes). O modelo infere tokens faltantes em paralelo, tratando-os como "máscaras" a serem preenchidas.

C. Canal Técnico Modelado como Canal de Erasure

• O canal de comunicação é modelado como um canal de apagamento (erasure channel), onde tokens podem ser truncados (fim da sequência cortado) ou puncionados (elementos aleatórios faltando).
• O sistema é um esquema de codificação conjunta fonte-canal: o transmissor envia apenas um subconjunto de tokens, e o receptor usa o modelo GenAI treinado para inferir o restante, completando a sequência para a tarefa final.

D. Dados e Avaliação

• Datasets: Torchsig (sinais de rádio modulados: ASK, FSK, PSK, QAM, OFDM) e AudioMNIST (números falados).
• Tarefa: A eficácia é medida pela capacidade de um classificador pré-treinado de identificar o sinal reconstruído (ex: tipo de modulação ou número falado) com alta precisão, mesmo com poucos tokens recebidos.

3. Contribuições Chave

• Generalização de Domínio: Primeira análise comparativa de modelos generativos (Transformers e Difusão) operando em espaços latentes discretos para múltiplos tipos de sinais (RF e Áudio), não apenas texto.
• Adaptabilidade Dinâmica: O sistema "Discernment" alterna automaticamente entre algoritmos autoregressivos (DoT) e de difusão (SEDD) dependendo do padrão de erro do canal (truncamento vs. perda aleatória).
• Eficiência para IoT: Demonstra que é possível realizar comunicação semântica robusta com modelos leves, viabilizando a transmissão de sinais locais para plataformas mais capazes.
• Uso Pioneiro de SEDD em Sinais Físicos: Adaptação do modelo SEDD (originalmente para linguagem) para a geração e recuperação de sinais de rádio e áudio, mostrando superioridade em cenários de perda aleatória.

4. Resultados Experimentais

Os resultados demonstram uma degradação graciosa (graceful degradation) da performance à medida que a capacidade do canal diminui:

• Robustez Extrema: O sistema mantém a integridade semântica mesmo com perdas severas de tokens.
  • No caso do SEDD, com apenas 3% dos tokens recebidos (erasure rate $\epsilon = 0.97$), a precisão de classificação cai apenas 1,07% (mantendo 98,93% de acurácia).
  • Para o DoT, a precisão é mantida mesmo com truncamentos severos ($\epsilon = 0.875$).
• Fidelidade e Diversidade: O sistema não apenas classifica corretamente, mas também preserva a fidelidade estatística e a diversidade dos sinais sintetizados.
• Comparação de Arquiteturas:
  • O SEDD mostrou-se mais robusto a padrões de perda aleatória (puncionamento) do que os Transformers autoregressivos.
  • O DoT foi ligeiramente superior na geração de dados sem contexto (apenas token de classe), mas ambos performaram excepcionalmente na reconstrução semântica condicional.
• Configurações: A performance foi testada em várias configurações de tamanho de códigobook (128 a 1024) e parâmetros de modelo, confirmando que a abordagem é escalável e eficiente.

5. Significado e Impacto

O trabalho "Discernment" representa um avanço significativo na comunicação semântica ao:

1. Desacoplar a Tarefa da Transmissão: Permite que a rede se concentre apenas no envio de informações essenciais para a tarefa, economizando largura de banda.
2. Viabilizar IoT Avançado: Ao usar representações discretas e modelos leves, torna possível que dispositivos com recursos limitados transmitam sinais complexos de forma eficiente.
3. Resiliência a Canais Hostis: Oferece uma solução prática para ambientes com alta taxa de perda de pacotes ou latência variável, onde a comunicação tradicional falharia.
4. Futuro da Pesquisa: O artigo motiva o uso de espaços latentes discretos e modelos de difusão para generalizar a comunicação semântica para qualquer tipo de sinal físico, abrindo caminho para redes de comunicação mais inteligentes e adaptativas.

Em suma, o Discernment prova que a IA generativa em espaço discreto pode ser a chave para uma nova geração de sistemas de comunicação que priorizam o significado sobre os bits, garantindo eficiência espectral e robustez operacional.