Generalizable and Interpretable RF Fingerprinting with Shapelet-Enhanced Large Language Models

Sintesi Tecnica: Fingerprinting RF Generalizzabile e Interpretabile con Large Language Models potenziati da Shapelet

Problematica
Le reti neurali profonde (DNN) hanno raggiunto un'elevata accuratezza nel fingerprinting delle Radiofrequenze (RF) per l'autenticazione di dispositivi wireless. Tuttavia, la loro implementazione pratica è ostacolata da due criticità fondamentali:

1. Spostamento di Dominio (Domain Shift): I modelli addestrati in ambienti specifici (luoghi, tempi o condizioni) spesso non riescono a generalizzare verso domini non visti a causa delle variazioni nella propagazione del segnale e nel comportamento dell'hardware. Le soluzioni esistenti, come l'adattamento del dominio avversariale o l'apprendimento few-shot (FSL), richiedono spesso strategie di addestramento complesse, enormi quantità di dati etichettati o informazioni specifiche del dominio che sono difficili da ottenere.
2. Mancanza di Interpretabilità: Le DNN operano come "black box", il che è problematico per le applicazioni critiche per la sicurezza. Sebbene esistano tecniche di interpretabilità post-hoc, esse mancano di trasparenza end-to-end. Inoltre, i metodi esistenti che integrano spiegazioni le utilizzano spesso solo come aumento dei dati piuttosto che per fornire intuizioni intrinseche sul ragionamento del modello.

Metodologia
Gli autori propongono un nuovo framework che integra un Large Language Model (LLM) pre-addestrato con un modulo apprendibile di shapelet bidimensionali (2D) a lunghezza variabile. L'architettura è composta da tre componenti principali:

1. Adattamento di un LLM Pre-addestrato per il Contesto Globale:

   • Embedding di Input: I dati I/Q (In-phase/Quadrature) grezzi (serie temporali 2D) sono incompatibili con gli input di token standard degli LLM. Un encoder a Rete Neurale Convoluzionale (CNN) leggero proietta i dati I/Q grezzi in una sequenza di embedding compatibili con lo spazio di input dell'LLM.
   • Fine-tuning Congelato (Frozen Fine-tuning): Per sfruttare le capacità di generalizzazione dell'LLM senza il costo computazionale di un intero riaddestramento, la maggior parte dei parametri dell'LLM (specificamente l'auto-attenzione e le reti feed-forward) viene congelata. Vengono perfezionati solo gli embedding posizionali e i parametri di normalizzazione del livello (layer normalization). Ciò consente al modello di catturare dipendenze a lungo raggio e informazioni contestuali globali dai segnali RF.

2. Shapelet 2D Apprendibili per Pattern Locali e Interpretabilità:

   • Per affrontare i limiti delle tradizionali shapelet 1D a lunghezza fissa, gli autori introducono un modulo di shapelet 2D a lunghezza variabile. Queste shapelet coprono simultaneamente le componenti I e Q, catturando pattern discriminativi congiunti (ad esempio, spostamenti sincronizzati di ampiezza e fase).
   • Le shapelet sono parametri apprendibili all'interno di una rete neurale superficiale. Operano tramite una finestra scorrevole per estrarre sottosequenze dall'input.
   • Meccanismo di Attivazione: La somiglianza tra l'input e ogni shapelet è misurata utilizzando la distanza Euclidea. Un punteggio di attivazione "soft" viene calcolato tramite pooling softmax, consentendo al modello di identificare quali specifiche sottosequenze locali siano più rilevanti per la classificazione.

3. Rappresentazione Congiunta e Funzione di Perdita:

   • Concatenazione: Il vettore di caratteristiche globali dell'LLM e il vettore di rappresentazione locale della rete delle shapelet vengono concatenati per formare una rappresentazione congiunta.
   • Funzione di Perdita: Il modello è ottimizzato utilizzando una funzione di perdita composita:
     • Perdita Cross-Entropy: Per l'accuratezza standard della classificazione.
     • Regolarizzazione della Sparsità ($L_{spr}$): Incoraggia solo un piccolo sottoinsieme di shapelet ad attivarsi per ogni input, garantendo l'interpretabilità.
     • Regolarizzazione della Diversità ($L_{div}$): Penalizza l'alta similarità del coseno tra diverse shapelet per prevenire la ridondanza e garantire che ogni shapelet catturi caratteristiche distinte.

4. Meccanismi di Inferenza:

   • Inferenza Standard: La rappresentazione congiunta viene proiettata direttamente sulle etichette dei dispositivi.
   • Inferenza Few-Shot: Il framework supporta l'apprendimento few-shot senza riaddestramento. Utilizza una strategia basata su prototipi in cui i prototipi di classe sono calcolati da un piccolo set di supporto (ad esempio, 1-shot o 5-shot). I campioni di query vengono classificati confrontando le loro rappresentazioni congiunte con questi prototipi tramite metriche di similarità.

Contributi Chiave

• Prima Integrazione di LLM nel Fingerprinting RF: Questo lavoro è il primo a esplorare l'adattamento di LLM pre-addestrati per il fingerprinting RF cross-domain, sfruttando le loro capacità di transfer learning per gestire gli spostamenti di dominio.
• Framework di Fine-tuning Interpretabile: Gli autori propongono un metodo che combina un LLM congelato con shapelet 2D a lunghezza variabile. Ciò fornisce un'interpretabilità intrinseca e integrata (tramite l'attivazione delle shapelet) senza richiedere un riaddestramento computazionalmente intensivo o sacrificare il potere di generalizzazione del modello pre-addestrato.
• Valutazione Completa: Il metodo è validato attraverso sei dataset che coprono i protocolli Wi-Fi, LoRa e Bluetooth Low Energy (BLE), dimostrando efficacia sia in scenari standard che in scenari cross-domain few-shot.

Risultati Sperimentali

• Generalizzazione: Il metodo proposto supera costantemente i baseline (inclusi ResNet-18, RadioNet, LIMU-BERT e PatchLLM) su domini target non visti. In particolare, sul dataset WiSig, ha migliorato le prestazioni nel dominio sorgente di circa il 9% rispetto al baseline più forte, ottenendo al contempo l'accuratezza più alta nel dominio target.
• Prestazioni Few-Shot: Negli scenari 1-shot, il metodo ha ottenuto un miglioramento del 56% rispetto alle prestazioni 0-shot sul dataset ORACLE e ha superato il baseline specializzato RF-PTN di circa l'8%. Ha mantenuto prestazioni competitive anche in trasferimenti cross-protocolle impegnativi (ad esempio, da LoRa a BLE).
• Interpretabilità: La visualizzazione delle shapelet ha confermato che diversi dispositivi attivano combinazioni distinte di shapelet. Gli studi di ablazione hanno mostrato che mascherare le sottosequenze allineate con le shapelet ad alta attivazione causava cali di accuratezza significativamente maggiori rispetto al mascheramento casuale, confermando che le shapelet catturano evidenze critiche per la decisione.
• Efficienza: Nonostante l'uso di un backbone ampio (base GPT-2, ~86M di parametri), il metodo aggiorna solo ~0,7M di parametri (0,81% del totale). Il costo computazionale (FLOPs) è paragonabile ad altri metodi SOTA, dimostrando che il modulo delle shapelet aggiunge un overhead trascurabile.

Significatività e Rivendicazioni
Il paper sostiene che questo framework riesce a bilanciare tre obiettivi spesso in conflitto: generalizzazione, efficienza e interpretabilità. Sfruttando la conoscenza pre-addestrata degli LLM, il metodo mitiga lo spostamento di dominio senza la necessità di complessi addestramenti avversariali o massicci dataset etichettati. Allo stesso tempo, l'integrazione di shapelet 2D fornisce spiegazioni intrinseche per le decisioni di classificazione, affrontando la natura "black-box" del deep learning nelle applicazioni di sicurezza. Gli autori posizionano questo lavoro come un passo verso sistemi di fingerprinting RF robusti, trasparenti e adattabili, adatti a diverse implementazioni IoT nel mondo reale.

Limitazioni e Lavoro Futuro
Gli autori riconoscono che, sebbene il metodo sia efficiente in termini di parametri addestrabili, la latenza di inferenza e l'impronta di memoria del backbone LLM congelato potrebbero porre sfide per i dispositivi edge con risorse limitate. Il lavoro futuro suggerito riguarda la compressione del modello, la distillazione e lo sviluppo di design di shapelet adattivi che possano regolare automaticamente le dimensioni delle finestre in base alle caratteristiche dei dati. Inoltre, colmare il divario tra i pattern delle shapelet apprese e le specifiche imperfezioni del livello fisico (ad esempio, la non linearità dell'hardware) rimane una sfida aperta per una maggiore interpretabilità fisica.