Hamiltonian-Inspired Attention Mechanism for Scalable RF Transmitter Fingerprinting

Sintesi Tecnica: Meccanismo di Attenzione Ispirato alla Hamiltoniana per il Fingerprinting Scalabile di Trasmettitori RF

Problematica
Il fingerprinting delle radiofrequenze (RF) mira a identificare i trasmettitori wireless sfruttando le uniche imperfezioni hardware (ad esempio, l'offset della frequenza portante, il rumore di fase, lo squilibrio I/Q) presenti nei segnali I/Q a banda base. Sebbene i modelli di deep learning, in particolare le Reti Neurali Convoluzionali (CNN), abbiano raggiunto un'elevata accuratezza in ambienti controllati, essi soffrono di un significativo degrado delle prestazioni sotto spostamenti di distribuzione (distribution shifts). Nello specifico, i modelli addestrati su dati provenienti da un singolo ricevitore o da un singolo giorno di acquisizione tendono a fallire quando testati su ricevitori o giorni differenti. Questo fallimento avviene perché le architetture non vincolate tendono a apprendere variazioni di ampiezza dipendenti dal canale piuttosto che i fingerprint stabili e specifici dell'hardware del trasmettitore. Inoltre, le architetture esistenti mancano di prior strutturali che riflettano la natura fisica dell'evoluzione del segnale guidata dall'oscillatore, che è intrinsecamente conservativa dell'energia e rotazionale nel piano complesso.

Metodologia
Gli autori propongono il Hamiltonian Transformer, un'architettura di attenzione informata dalla fisica progettata per imporre dinamiche di conservazione dell'energia all'interno del meccanismo di attenzione. La metodologia si basa sull'osservazione che le traiettorie I/Q del preambolo WiFi approssimano cerchi unitari nel piano complesso, indicando una dinamica di rotazione e un'energia del segnale quasi costante.

Componenti chiave dell'architettura proposta:

1. Hamiltonian Multi-Head Attention:

   • Dinamica dei Valori (Value Dynamics): A differenza dei Transformer standard dove i vettori di valore vengono aggiornati arbitrariamente, l'Hamiltonian Transformer partiziona i vettori di valore in componenti di "posizione" e "momento".
   • Integrazione Simpletica: Queste componenti vengono evolute utilizzando un passaggio di integrazione leapfrog Störmer–Verlet.
   • Generatore Antisimmetrico: L'integrazione è governata da una matrice antisimmetrica appresa ($C_h = A_h - A_h^\top$). Poiché le matrici antisimmetriche generano flussi ortogonali, gli aggiornamenti dei valori risultanti sono norm-preserving (conservativi della norma) per costruzione. Questo vincolo allinea le dinamiche interne del modello con la realtà fisica dell'evoluzione della fase dell'oscillatore, impedendo al modello di codificare variazioni di ampiezza non generalizzabili indotte dal canale.

2. Embedding dell'Incremento di Fase I/Q:

   • Per esporre le dinamiche dell'oscillatore a livello di input, il modello aumenta il tipico input I/Q con un incremento di fase istantaneo ($\delta\phi_t$). Questa caratteristica scalare codifica il tasso di rotazione per campione, che è direttamente legato all'offset della frequenza portante del trasmettitore e rimane stabile attraverso le realizzazioni del canale.

3. Obiettivo di Addestramento:

   • Il modello completo utilizza una funzione di perdita composita che comprende cross-entropy, batch contrastive loss e regolarizzazione sferica. Tuttavia, gli studi di ablazione indicano che la contrastive loss non fornisce benefici consistenti su larga scala e può introdurre instabilità.

Configurazione Sperimentale
Il modello è stato valutato sul dataset WiSig, un benchmark su larga scala contenente circa 10 milioni di acquisizioni di preamboli WiFi da 174 trasmettitori, 41 ricevitori e quattro giorni di registrazione. Fondamentalmente, tutti gli esperimenti hanno utilizzato segnali I/Q grezzi non equalizzati, senza alcuna preelaborazione del canale. La valutazione ha coperto quattro protocolli:

• Classificazione nello stesso giorno: Addestramento e test nello stesso giorno.
• Generalizzazione cross-receiver: Addestramento su un sottoinsieme di ricevitori, test su ricevitori disgiunti.
• Generalizzazione cross-day: Addestramento su tre giorni, test su un quarto giorno.
• Scaling del trasmettitore: Valutazione delle prestazioni all'aumentare del numero di classi di trasmettitori da 10 a 150.

Risultati Chiave
L'Hamiltonian Transformer ha superato costantemente i baseline CNN e i Transformer standard in tutti i protocolli sperimentali, particolarmente negli scenari di spostamento di distribuzione e popolazioni di trasmettitori numerose.

• Classificazione nello stesso giorno: Ha raggiunto il 99,12% di accuratezza, superando la CNN (98,07%) e il Transformer standard (98,19%).
• Generalizzazione Cross-Receiver: Ha raggiunto il 52,94% di accuratezza, superando significativamente la CNN (35,06%) e il Transformer standard (47,90%).
• Scaling del Trasmettitore (150 Trasmettitori): L'Hamiltonian Transformer ha raggiunto il 61,64% di accuratezza. Al contrario, la CNN è degradata al 41,77% e il Transformer standard ha mostrato instabilità, scendendo al 30,34% a 100 trasmettitori prima di recuperare al 59,63%.
• Approfondimenti dall'Ablazione:
  • Conservazione della Norma (Norm-Preservation): Il principale driver delle prestazioni di scaling è stato identificato come l'aggiornamento dei valori norm-preserving. Una variante che utilizza la parametrizzazione di Cayley (che è norm-preserving ma priva di integrazione simpatica) ha raggiunto il 79,72% con 150 trasmettitori, superando il modello Hamiltoniano completo. Ciò suggerisce che il vincolo della conservazione della norma stessa sia il critico bias induttivo, piuttosto che il metodo specifico di integrazione simpatica.
  • Embedding di Fase: L'embedding dell'incremento di fase ha fornito il singolo miglioramento per componente più rilevante, aumentando l'accuratezza dei 150 trasmettitori dal 67,01% (solo Ham) al 78,61% (Ham + fase).
  • Contrastive Loss: L'inclusione della contrastive loss non ha migliorato le prestazioni su larga scala ed è stata ritenuta meno efficace dei vincoli architettonici.

Significatività e Rivendicazioni
Il paper sostiene di essere il primo lavoro a integrare dinamiche di valore norm-preserving direttamente in un meccanismo di attenzione Transformer per il fingerprinting RF. È anche il primo a valutare sistematicamente tali vincoli sul subset ManyTx di WiSig utilizzando segnali non equalizzati.

Gli autori sostengono che l'inserimento di prior strutturali informati dalla fisica — specificamente la conservazione dell'energia e le dinamiche rotazionali — nelle architetture neurali sia una strategia efficace per l'identificazione su larga scala dei trasmettitori. I risultati dimostrano che vincolare il modello a rispettare le leggi fisiche che governano la generazione del segnale (ovvero, che i segnali guidati dall'oscillatore conservano l'energia) impedisce l'apprendimento di caratteristiche spurie dipendenti dal canale. Questo approccio offre un'alternativa robusta all'augmentation dei dati o alla complessa preelaborazione, consentendo l'identificazione scalabile dei trasmettitori anche quando l'hardware del ricevitore e le condizioni del canale variano significativamente. Il lavoro suggerisce che la conoscenza del dominio derivante dalla fisica del segnale possa fungere da potente bias induttivo per i sistemi di machine learning wireless orientati alla sicurezza.