Dualformer: Efficient Feature Extractor for Complex-valued Blind Communication Signal Analysis

Technische Samenvatting: Dualformer: Efficiënte feature extractor voor complexe blindering van communicatiesignalen

Probleemstelling
Blinde analyse van communicatiesignalen, omvattende Automatische Modulatie Herkenning (AMR), Signaalregimeschema Herkenning (SSR) en Signaalstructuur Parsing (SSP), leunt zwaar op het extraheren van effectieve kenmerken uit complexe In-phase en Quadrature (IQ) sequenties. Huidige Deep Learning (DL) benaderingen vallen over het algemeen uiteen in twee paradigma's: Real-Valued Neural Networks (RVNNs), die I- en Q-componenten afzonderlijk of geconcateneerd verwerken, en Complex-Valued Neural Networks (CVNNs), die complexe getallen natief verwerken.

RVNNs missen vaak een rigoureuze theoretische basis voor het exploiteren van de intrinsieke complexe structuur en kunnen er mogelijk niet in slagen fase-relaties effectief te vangen. Daarentegen bieden CVNNs een verbeterde representatiecapaciteit, maar lijden ze onder verhoogde computationele complexiteit, optimalisatie-instabiliteit door complexe foutoppervlakken, en een hogere vraag naar trainingsdata om overfitting te voorkomen. De kernuitdaging ligt in het balanceren van de benaderingsfout (modelcapaciteit) en de schattingsfout (generalisatie) terwijl de statistische symmetrie van IQ-kanalen efficiënt wordt benut zonder de optimalisatiekosten van volledige CVNNs te dragen.

Methodologie
De auteurs stellen DualNN voor, een dual-channel neuraal netwerkframework dat de reële en imaginaire delen van complexe signalen verwerkt met behulp van gedeelde netwerkparameters. In tegenstelling tot CVNNs die complexe gewichten gebruiken, hanteert DualNN een Real-Valued Neural Network (RVNN) backbone waarbij dezelfde gewichten worden toegepast op zowel de $x_{real}$ als de $x_{imag}$ inputs.

• Theoretische Basis: De auteurs beargumenteren dat veel communicatiesignalen (bijv. QAM, PSK) circulaire symmetrie bezitten, wat impliceert dat I- en Q-kanalen identieke tweede-orde statistieken delen. Door parameters te delen, benut DualNN expliciet deze fysieke symmetrie. Theoretische analyse gebaseerd op generalisatiefout-grenzen toont aan dat DualNN een striktere generalisatiefout bereikt dan zowel RVNNs als CVNNs. Specifiek vermindert het de schattingsfout (door het optimalisatielandschap te stabiliseren en de spectrale norm van gewichtsmatrices te beperken) terwijl het de benaderingsmogelijkheden behoudt die vergelijkbaar zijn met CVNNs, met name in scenario's met beperkte data.
• Architectuur (Dualformer): Om DualNN te instantiëren, stellen de auteurs Dualformer voor, een Transformer-gebaseerde architectuur.
  • Tokenisatie: Ingangssignalen worden gesegmenteerd in patches om de computationele complexiteit te verminderen en langetermijn-afhankelijkheden te vangen.
  • Dual-Channel Verwerking: De reële en imaginaire patch-sequenties worden ingevoerd in een gedeelde Transformer encoder.
  • Projectie Headers: De architectuur bevat taakspecifieke heads:
    • Header V1: Een grofmazige header (2-laagse CNN + pooling) voor AMR- en SSR-taken om globale semantische kenmerken te extraheren.
    • Header V2: Een fijnmazige header (enkelvoudige CNN-laag, geen pooling) voor SSP-taken om de temporele resolutie te behouden voor punt-voor-punt segmentatie.

Belangrijkste Bijdragen

1. DualNN Framework: Introductie van een parameter-sharing architectuur voor complexe signalen die de training stabiliseert en de modelcomplexiteit vermindert vergeleken met CVNNs.
2. Theoretische Garanties: Wiskundige bewijzen geworteld in generalisatietheorie tonen aan dat DualNN een striktere generalisatiefout-grens bereikt dan RVNNs universeel, en CVNNs overtreft onder beperkte trainingsdata door een balans te vinden tussen benaderings- en schattingsfouten.
3. Dualformer Implementatie: Een nieuw Transformer-gebaseerd module met gespecialiseerde projectie headers (V1 en V2) ontworpen voor zowel grofmazige (AMR/SSR) als fijnmazige (SSP) blinde signaalanalyse taken.
4. Empirische Validatie: Uitgebreide experimenten die consistente prestatieverbeteringen aantonen ten opzichte van state-of-the-art Transformer varianten en conventionele DL-modellen over AMR, SSR en SSP taken.

Experimentele Resultaten
Het paper evalueert Dualformer tegen drie Transformer-gebaseerde baselines (Transformer, Informer, Autoformer) en vier conventionele DL-benaderingen (CNN, LSTM, ResNet, etc.) over drie datasets: een synthetische AMR-dataset, de RML 2018.01A benchmark, en een aangepaste SSR/SSP dataset.

• Prestaties: Dualformer presteert consequent beter dan alle baselines in nauwkeurigheid en F1-score over variërende Signal-to-Noise Ratios (SNR) van -4 dB tot 12 dB. Merkwaardig genoeg vertoont het een superieure robuustheid bij lage SNR (-4 dB) vergeleken met CVNNs, toe te schrijven aan het vermogen van het self-attention mechanisme om langetermijn fase-afhankelijkheden te aggregeren.
• Efficiëntie en Data-schaarste: In tests naar steekproef-efficiëntie demonstreerde DualNN een stabiele nauwkeurigheid met aanzienlijk minder trainingssamples vergeleken met CVNNs, die moeite hadden in scenario's met weinig data.
• Robuustheid: Onder I/Q-imbalans condities (simulatie van hardware-imperfecties), behield DualNN een prestatie die dicht bij die van CVNNs lag (binnen een gat van 0,10%) terwijl het de RVNNs aanzienlijk overtrof, wat bevestigt dat het parameter-sharing ontwerp geen betekenisvol robuustheidskost met zich meebrengt.
• Complexiteit: Ondanks dat het ongeveer de helft van de parameters en FLOPs heeft van een vergelijkbare CVNN, bereikte DualNN competitieve of superieure nauwkeurigheid, wat de efficiëntie van de shared-parameter aanpak valideert.

Betekenis
Het paper stelt dat DualNN een nieuw paradigma biedt voor het verwerken van complexe signalen in blinde analyse, waarbij de kloof tussen de representatiekracht van CVNNs en de optimalisatiestabiliteit van RVNNs effectief wordt overbrugd. Door theoretisch en empirisch aan te tonen dat parameter sharing de generalisatiefout vermindert, suggereert dit werk dat expliciete complexe operaties niet strikt noodzakelijk zijn voor hoge prestaties als de onderliggende statistische symmetrieën correct worden benut. De auteurs beweren dat deze aanpak de weg vrijmaakt voor bredere toepassingen in unsupervised en weakly supervised scenario's, zoals blind source separation en low-SNR spectrum sensing, waar data-schaarste en modelstabiliteit kritieke beperkingen zijn.