Hamiltonian-Inspired Attention Mechanism for Scalable RF Transmitter Fingerprinting

Technische Samenvatting: Hamiltonian-geïnspireerd Aandachtsmechanisme voor Schaalbare RF-zenderfingerprinting

Probleemstelling
Radiofrequentie (RF) fingerprinting beoogt wireless zenders te identificeren door gebruik te maken van unieke hardware-imperfecties (bijv. carrier frequentie-offset, faseruis, I/Q-onbalans) die aanwezig zijn in baseband I/Q-signalen. Hoewel deep learning-modellen, met name Convolutionele Neurale Netwerken (CNN's), hoge nauwkeurigheid hebben bereikt in gecontroleerde omgevingen, lijden ze onder significante prestatieverslechtering onder distributieverschuivingen. Specifiek falen modellen die getraind zijn op data van één enkele ontvanger of één specifieke opnamedag vaak bij het testen op verschillende ontvangers of verschillende dagen. Dit falen komt doordat ongecontroleerde architecturen de neiging hebben om kanaalafhankelijke amplitudevariaties te leren in plaats van de stabiele, hardware-specifieke zender-fingerprints. Bovendien missen bestaande architecturen structurele priors die de fysieke aard van oscillator-gestuurde signaalevolutie reflecteren, wat inherent energie-conserverend en roterend is in het complexe vlak.

Methodologie
De auteurs stellen de Hamiltonian Transformer voor, een natuurkunde-geïnformeerde aandachtsarchitectuur die ontworpen is om energie-conserverende dynamiek af te dwingen binnen het aandachtsmechanisme. De methodologie is gebaseerd op de observatie dat WiFi-preamble I/Q-trajecten de eenheidscirkels in het complexe vlak benaderen, wat wijst op een bijna constante signaalenergie en roterende dynamiek aangedreven door de oscillator van de zender.

Kerncomponenten van de voorgestelde architectuur zijn:

1. Hamiltoniaanse Multi-Head Attention:

   • Waarde-dynamiek: In tegenstelling tot standaard Transformers waar waarde-vectoren willekeurig worden bijgewerkt, partitioneert de Hamiltonian Transformer waarde-vectoren in "positie"- en "impuls"-componenten.
   • Symplectische Integratie: Deze componenten worden geëvolueerd met een Störmer–Verlet leapfrog integratie stap.
   • Scheef-symmetrische Generator: De integratie wordt beheerst door een geleerde scheef-symmetrische matrix ($C_h = A_h - A_h^\top$). Omdat scheef-symmetrische matrices orthogonale stromen genereren, zijn de resulterende waarde-updates bij constructie norm-behoudend. Deze beperking stemt de interne dynamiek van het model af op de fysieke realiteit van oscillator-fase-evolutie, waardoor het model voorkomt dat het niet-generaliseerbare, kanaal-geïnduceerde amplitudevariaties codeert.

2. I/Q Fase-increment Embedding:

   • Om oscillator-dynamiek op inputniveau bloot te leggen, vergroot het model de standaard I/Q-input met een instantane fase-increment ($\delta\phi_t$). Deze scalaire feature codeert de rotatiesnelheid per sample, die direct gekoppeld is aan de carrier frequentie-offset van de zender en stabiel blijft over kanaalrealisaties heen.

3. Trainingsdoel:

   • Het volledige model maakt gebruik van een samengestelde verliesfunctie bestaande uit cross-entropy, batch contrastieve loss en sfeer-regularisatie. Echter, ablatie-studies geven aan dat de contrastieve loss geen consistente voordelen biedt bij schaalvergroting en mogelijk instabiliteit introduceert.

Experimentele Opstelling
Het model werd geëvalueerd op de WiSig dataset, een grootschalige benchmark die ongeveer 10 miljoen WiFi-preamble captures bevat van 174 zenders over 41 ontvangers en vier opnamedagen. Cruciaal is dat alle experimenten gebruik maakten van niet-geëgaliseerde ruwe I/Q-signalen, zonder dat er kanaal-preprocessing werd toegepast. De evaluatie omvatte vier protocollen:

• Same-day classification: Trainen en testen op dezelfde dag.
• Cross-receiver generalization: Trainen op een subset van ontvangers, testen op disjuncte ontvangers.
• Cross-day generalization: Trainen op drie dagen, testen op een vierde dag.
• Transmitter scaling: Evaluatie van de prestaties naarmate het aantal zenderklassen toeneemt van 10 naar 150.

Belangrijkste Resultaten
De Hamiltonian Transformer presteerde consequent beter dan zowel de CNN als de standaard Transformer baselines over alle experimentele protocollen, met name in scenario's met distributieverschuivingen en grote zenderpopulaties.

• Same-Day Classification: Behaalde 99,12% nauwkeurigheid, waarmee het de CNN (98,07%) en de standaard Transformer (98,19%) overtrof.
• Cross-Receiver Generalization: Behaalde 52,94% nauwkeurigheid, wat aanzienlijk beter is dan de CNN (35,06%) en de standaard Transformer (47,90%).
• Transmitter Scaling (150 Transmitters): De Hamiltonian Transformer behaalde 61,64% nauwkeurigheid. In contrast hiermee degradeerde de CNN naar 41,77%, en de standaard Transformer vertoonde instabiliteit, waarbij de nauwkeurigheid daalde naar 30,34% bij 100 zenders voordat deze herstelde naar 59,63%.
• Ablatie-inzichten:
  • Norm-behoud: De primaire drijfveer voor schaalprestaties werd geïdentificeerd als de norm-behoudende waarde-update. Een variant die Cayley-parameterisatie gebruikte (die wel norm-behoudend is maar geen symplectische integratie heeft) behaalde 79,72% bij 150 zenders, wat beter is dan het volledige Hamiltonian model. Dit suggereert dat de beperking van norm-behoud zelf de kritieke inductieve bias is, eerder dan de specifieke methode van symplectische integratie.
  • Fase Embedding: De fase-increment embedding leverde de grootste verbetering per component op, waarbij de nauwkeurigheid bij 150 zenders steeg van 67,01% (alleen Ham) naar 78,61% (Ham + fase).
  • Contrastieve Loss: Het toevoegen van contrastieve loss verbeterde de prestaties niet bij schaalvergroting en bleek minder effectief dan architecturale beperkingen.

Betekenis en Claims
Het artikel claimt het eerste werk te zijn dat norm-behoudende waarde-dynamiek direct in een Transformer aandachtsmechanisme voor RF-fingerprinting heeft ingebed. Het is ook de eerste die dergelijke beperkingen systematisch heeft geëvalueerd op de WiSig ManyTx subset met behulp van niet-geëgaliseerde signalen.

De auteurs stellen dat het inbedden van natuurkunde-geïnformeerde structurele priors—specifiek energiebehoud en roterende dynamiek—in neurale architecturen een effectieve strategie is voor grootschalige zenderidentificatie. De resultaten laten zien dat het dwingen van het model om de natuurkundige wetten te respecteren die de signaalgeneratie beheersen (d.w.z. dat oscillator-gestuurde signalen energie behouden), het leren van spurieuze, kanaalafhankelijke kenmerken voorkomt. Deze aanpak biedt een robuust alternatief voor data-augmentatie of complexe preprocessing, wat identificatie van zenders zelfs wanneer de hardware van de ontvanger en de kanaalcondities sterk variëren, schaalbaar maakt. Het werk suggereert dat domeinkennis uit de signaal-fysica als een krachtige inductieve bias kan dienen voor beveiligingsgerichte wireless machine learning-systemen.