Technische Samenvatting: Geometrie-bewust Contrastief Leren voor Few-Shot Automatische Modulatiedetectie

Probleemstelling

Automatische Modulatiedetectie (AMR) is een hoeksteen van cognitieve radio en opkomende 6G-netwerken. Hoewel Deep Learning (DL) traditionele methoden heeft overtroffen in representatieve kracht, hangt de effectiviteit ervan sterk af van enorme gelabelde datasets, die vaak niet beschikbaar zijn in niet-coöperatieve omgevingen. Bijgevolg is Zelftoezichtend Leren (SSL) het dominante paradigma geworden om datatekorten aan te pakken.

De auteurs identificeren echter drie kritieke geometrische beperkingen in bestaande SSL-frameworks voor AMR:

1. Het Geometrische Dilemma van Augmentatie: In hoogdimensionale ruimten maakt het fenomeen van "concentratie van maat" standaard isotrope ruis (bijv. additief witte Gaussische ruis) ineffectief. Perturbaties hebben de neiging orthogonaal te zijn op de gradiënten van de beslissingsgrens, waardoor ze het model niet uitdagen langs gevoelige richtingen. Bovendien kruisen onbeperkte transformaties vaak klassenmarges, wat leidt tot "semantische drift" waarbij de fysieke label verandert maar het contrastief verlies toch uitlijning afdwingt.
2. Spectrale Instabiliteit van Zelf-attention: Standaard Transformer-architecturen maken gebruik van zelf-attention-mechanismen met onbegrensde Lipschitz-constanten. Dit resulteert in scherpe beslissingsgrenzen die breekbaar zijn voor anisotrope perturbaties, een kwetsbaarheid die vaak wordt genegeerd door hybride architecturen die prioriteit geven aan efficiëntie.
3. Ineffectiviteit van Statische Fusie: Heersende methoden behandelen fysieke priors als statische aanvullende invoer via ondiepe concatenatie. Dit faalt om priors te benutten als onveranderlijke semantische ankers, waardoor correctie van semantische drift tijdens agressieve variëteitverkenning wordt verhinderd, met name in extreme few-shot (bijv. 1-shot) situaties.

Methodologie: DyCo-CL

Om deze uitdagingen aan te pakken, stellen de auteurs DyCo-CL (Dynamic-Consistency Contrastive Learning) voor, een semi-toezichtend framework dat optimalisatie, architectuur en fysieke priors synergetisch combineert. Het framework bestaat uit drie onderling afhankelijke componenten:

1. Dynamic-Consistency Framework

Gebaseerd op MoCov3, vervangt deze component standaard isotrope ruis door Virtual Adversarial Augmentation (VAA).

• Asymmetrische Augmentatie: Eén tak past standaard fysieke transformaties toe (bijv. rotatie, tijdsverschuiving) om kanaalstoornissen te simuleren. De andere tak gebruikt VAA om "harde positives" te genereren door actief perturbaties te zoeken die de Kullback-Leibler (KL) divergentie maximaliseren tussen de uitvoerverdelingen van de schone en de verstoerde invoer.
• Semantische Consistentie Verlies ($L_{SC}$): Om het risico op semantische drift inherent aan VAA te counteren, introduceren de auteurs een semantische consistentie-beperking. Dit verlies beperkt de adversariële representatie expliciet tot de lokale omgeving van de ankerrepresentatie. Theoretisch fungeert dit als een impliciete spectrale regularisator, die de lokale Lipschitz-constante van de encoder minimaliseert en geometrische stabiliteit bevordert.

2. Signaal-Adaptieve Swin Backbone

Om de spectrale instabiliteit van standaard Transformers aan te pakken, ontwerpen de auteurs een gespecialiseerde 1D Swin Transformer backbone:

• Diep Convolutioneel Stengel: Een hiërarchische stapel 1D-convoluties fungeert als een leerbare laagdoorlaatfilter om hoogfrequente artefacten te onderdrukken en zachte tokenisatie mogelijk te maken, waarbij fasecontinuïteit behouden blijft.
• Vaste-venster Attention: In tegenstelling tot standaard globale attention, hanteert deze module niet-overlappende vaste vensters zonder verschuiving. Deze structurele beperking dwingt een blok-diagonale Jacobiaan af, wat theoretisch de Lipschitz-constante begrenst en spectrale stabiliteit ontkoppelt van sequentielengte.

3. Hiërarchische Hybride Kennisfusie

Deze module overbrugt de semantische kloof tussen datagedreven kenmerken en expertfysieke priors om de variëteit te ankeren:

• Fase 1 (Spatio-temporele Prior Encoding): Extrahert invariante fysieke beschrijvers, specifiek het Vierde-orde Cyclus Spectrum ($P_4$) voor cyclostationaire handtekeningen en de PSD-geregulariseerde Omhullende ($E_{reg}$) voor amplitude-stabiliteit. Deze worden verwerkt via een dubbelstroom-encoder (Spatiale CNN en Temporaal Bi-LSTM) en gefuseerd via een lebaar gating-netwerk.
• Fase 2 (Fysiek-bewuste Transformer Fusie): Een Transformer modelleert de niet-lineaire interactie tussen de diepe contrastieve kenmerken en de fysieke priors. Een "Physics Token" fungeert als een stabiele query om de "Data Token" dynamisch te kalibreren en potentiële semantische drift te corrigeren.
• Vertrouwens-gescherpte Stemming: Om variantie in few-shot situaties te mitigeren, maakt de uiteindelijke voorspelling gebruik van een kwadratisch gewogen ensemble van meerdere koppen, waardoor onzekere voorspellingen worden onderdrukt.

Belangrijkste Bijdragen

1. Dynamic-Consistency Framework: Een geometrische optimalisatiestrategie die VAA koppelt aan semantische consistentiebeperkingen. De auteurs bieden theoretische analyse die dit karakteriseert als een impliciete spectrale regularisator die de concentratie van maat overwint en encoderstabiliteit garandeert.
2. Signaal-Adaptieve Swin Backbone: Een nieuwe architectuur met een Diep Convolutioneel Stengel en Vaste-venster attention. Dit ontwerp begrenst structureel de Lipschitz-constante, waardoor robuuste opname van transient signaalprimitieven onder adversariële perturbaties mogelijk wordt.
3. Hiërarchische Hybride Kennisfusie: Een twee-fasenmechanisme dat diepe representaties dynamisch kalibreert met expertfysieke priors. Dit zorgt ervoor dat variëteitverkenning fysiek onderbouwd blijft, wat cruciaal is voor extreme 1-shot herkenning.

Experimentele Resultaten

Het framework werd geëvalueerd op de RML2016.10a en RML2018.01a benchmarks tegen zes state-of-the-art semi-toezichtende methoden (waaronder CMSSAN, SSCL-AMC en ResNet50-MoCo).

• Few-Shot Prestaties: In de extreme 1-shot setting ($N=1$) op RML2016.10a bereikte DyCo-CL 43,84% nauwkeurigheid, wat de vorige state-of-the-art met 6,27% overtrof.
• Robuustheid: Het model vertoonde superieure prestaties over variërende Signal-to-Noise Ratio's (SNR's), met een marge van 7,7% boven de beste baseline bij 10 dB SNR. Het vertoonde een eerdere prestatie-inflexie bij lage SNR's, toegeschreven aan de ruisonderdrukkende capaciteiten van de Diepe Convolutionele Stengel.
• Efficiëntie: Ondanks zijn robuustheid is DyCo-CL uiterst efficiënt. Met slechts 1,44M parameters (ongeveer 5,8 MB) is het meer dan 16 keer kleiner dan ResNet50-MoCo. Het reduceert FLOPs met 2,5× ten opzichte van SSCL-AMC terwijl het de inferentie-doorvoer verdrievoudigt (1672 samples/s versus 498 samples/s), met een latentie van 0,60 ms.

Betekenis en Claims

Het artikel beweert dat DyCo-CL een nieuwe state-of-the-art vestigt voor few-shot AMR door fundamenteel de geometrische en spectrale instabiliteiten aan te pakken die huidige SSL-benaderingen teisteren. Door theoretisch aan te tonen dat hun strategie fungeert als een impliciete spectrale regularisator en structureel de Lipschitz-constante begrenst via de backbone-architectuur, demonstreren de auteurs dat robuuste transfer haalbaar is zelfs met minimaal toezicht.

Het werk benadrukt dat het simpelweg aanpassen van generieke SSL-frameworks aan RF-signalen onvoldoende is; in plaats daarvan zijn expliciete geometrische beperkingen en de dynamische integratie van fysieke priors noodzakelijk om semantische drift te voorkomen en stabiliteit te garanderen in hoogdimensionale, datatekorte regimes. De auteurs positioneren hun methode als een praktische oplossing voor edge-deployments in 5G/6G cognitieve radiosystemen, waarbij hoge robuustheid wordt gebalanceerd met de strikte latentie- en opslagbeperkingen van real-time toepassingen. Toekomstig werk zal open-set herkenning verkennen.