Dualformer: Efficient Feature Extractor for Complex-valued Blind Communication Signal Analysis

Resumo Técnico: Dualformer: Extrator de Características Eficiente para Análise de Sinais de Comunicação de Valor Complexo

Definição do Problema
A análise de sinais de comunicação cega, abrangendo o Reconhecimento de Modulação Automática (AMR), o Reconhecimento de Esquema de Sinal (SSR) e a Decomposição de Estrutura de Sinal (SSP), depende fortemente da extração de características eficazes de sequências de fase e quadratura (IQ) de valor complexo. As abordagens atuais de Aprendizado Profundo (DL) geralmente se dividem em dois paradigmas: Redes Neurais de Valor Real (RVNNs), que processam os componentes I e Q separadamente ou concatenados, e Redes Neurais de Valor Complexo (CVNNs), que processam números complexos nativamente.

As RVNNs frequentemente carecem de uma fundamentação teórica rigorosa para explorar a estrutura complexa intrínseca e podem falhar em capturar relações de fase de forma eficaz. Por outro lado, embora as CVNNs ofereçam uma capacidade de representação aumentada, elas sofrem com o aumento da complexidade computacional, instabilidade de otimização devido a superfícies de erro complexas e uma maior demanda de dados de treinamento para evitar o sobreajuste (overfitting). O desafio central reside em equilibrar o erro de aproximação (capacidade do modelo) e o erro de estimação (generalização) enquanto se aproveita eficientemente a simetria estatística dos canais IQ sem incorrer nos custos de otimização das CVNNs completas.

Metodologia
Os autores propõem a DualNN, um framework de rede neural de canal duplo que processa as partes real e imaginária de sinais de valor complexo usando parâmetros de rede compartilhados. Diferente das CVNNs que utilizam pesos complexos, a DualNN emprega uma espinha dorsal de Rede Neural de Valor Real (RVNN) onde os mesmos pesos são aplicados tanto às entradas $x_{real}$ quanto às $x_{imag}$.

• Base Teórica: Os autores argumentam que muitos sinais de comunicação (ex: QAM, PSK) possuem simetria circular, implicando que os canais I e Q compartilham estatísticas de segunda ordem idênticas. Ao compartilhar parâmetros, a DualNN aproveita explicitamente essa simetria física. A análise teórica baseada em limites de erro de generalização demonstra que a DualNN alcança um erro de generalização mais estreito do que tanto as RVNNs quanto as CVNNs. Especificamente, ela reduz o erro de estimação (ao estabilizar o cenário de otimização e restringir a norma espectral das matrizes de pesos) enquanto mantém capacidades de aproximação comparáveis às das CVNNs, particularmente em cenários de escassez de dados.
• Arquitetura (Dualformer): Para instanciar a DualNN, os autores propõem o Dualformer, uma arquitetura baseada em Transformer.
  • Tokenização: Os sinais de entrada são segmentados em patches para reduzir a complexidade computacional e capturar dependências de longo alcance.
  • Processamento de Canal Duplo: As sequências de patches real e imaginária são alimentadas em um codificador Transformer compartilhado.
  • Cabeçalhos de Projeção (Projection Headers): A arquitetura inclui cabeçalhos específicos para cada tarefa:
    • Cabeçalho V1: Um cabeçalho de granularidade grossa (CNN de 2 camadas + pooling) para tarefas de AMR e SSR para extrair características semânticas globais.
    • Cabeçalho V2: Um cabeçalho de granularidade fina (CNN de camada única, sem pooling) para tarefas de SSP para preservar a resolução temporal para segmentação ponto a ponto.

Principais Contribuições

1. Framework DualNN: Introdução de uma arquitetura de compartilhamento de parâmetros para sinais de valor complexo que estabiliza o treinamento e reduz a complexidade do modelo em comparação com as CVNNs.
2. Garantias Teóricas: Provas matemáticas fundamentadas na teoria da generalização mostrando que a DualNN alcança um limite de erro de generalização mais estreito do que as RVNNs universalmente e supera as CVNNs sob dados de treinamento limitados ao equilibrar erros de aproximação e de estimação.
3. Implementação Dualformer: Um novo módulo baseado em Transformer com cabeçalhos de projeção especializados (V1 e V2) projetados para lidar tanto com tarefas de análise de sinal cega de granularidade grossa (AMR/SSR) quanto de granularidade fina (SSP).
4. Validação Empírica: Experimentos extensos demonstrando melhorias consistentes de desempenho sobre variantes de Transformer de última geração e modelos convencionais de DL em tarefas de AMR, SSR e SSP.

Resultados Experimentais
O artigo avalia o Dualformer contra três baselines baseados em Transformer (Transformer, Informer, Autoformer) e quatro abordagens convencionais de DL (CNN, LSTM, ResNet, etc.) através de três conjuntos de dados: um dataset sintético de AMR, o benchmark RML 2018.01A e um dataset customizado de SSR/SSP.

• Desempenho: O Dualformer supera consistentemente todos os baselines em acurácia e F1-score em várias Razões Sinal-Ruído (SNR) de -4 dB a 12 dB. Notavelmente, ele mostra robustez superior em baixas SNR (-4 dB) comparado às CVNNs, atribuída à capacidade do mecanismo de auto-atenção de agregar dependências de fase de longo alcance.
• Eficiência e Escassez de Dados: Em testes de eficiência de amostra, a DualNN demonstrou acurácia estável com significativamente menos amostras de treinamento em comparação com as CVNNs, que enfrentaram dificuldades em regimes de baixos dados.
• Robustez: Sob condições de desequilíbrio I/Q (simulando imperfeições de hardware), a DualNN manteve o desempenho próximo ao das CVNNs (dentamente de uma lacuna de 0,10%) enquanto superou significativamente as RVNNs, confirmando que o design de compartilhamento de parâmetros não acarreta um custo de robustez relevante.
• Complexidade: Apesar de possuir aproximadamente metade dos parâmetros e FLOPs de uma CVNN comparável, a DualNN alcançou acurácia competitiva ou superior, validando a eficiência da abordagem de compartilhamento de parâmetros.

Significância
O artigo postula que a DualNN fornece um novo paradigma para o processamento de sinais de valor complexo em análise cega, unindo efetivamente a lacuna entre o poder de representação das CVNNs e a estabilidade de otimização das RVNNs. Ao demonstrar teórica e empiricamente que o compartilhamento de parâmetros reduz o erro de generalização, o trabalho sugere que operações explícitas de valor complexo não são estritamente necessárias para alto desempenho se as simetrias estatísticas subjacentes forem devidamente exploradas. Os autores afirmam que esta abordagem abre caminho para aplicações mais amplas em cenários não supervisionados e fracamente supervisionados, como separação cega de fontes e detecção de espectro de baixa SNR, onde a escassez de dados e a estabilidade do modelo são restrições críticas.