Anticipating the Optimism Gap: Predicting Distribution-Shift Degradation of RF-Impairment Detectors from In-Distribution Statistics

Sintesi Tecnica: Anticipare il Gap di Ottimismo nei Rilevatori di Compromissioni RF

Problematica
Nella sicurezza dei sistemi GNSS (Global Navigation Satellite System), i rilevatori di compromissioni a radiofrequenza (jamming, spoofing, multipath) vengono tipicamente valutati utilizzando un singolo metrica AUC (Area Under the ROC Curve) derivata da dati in-distribuzione (ID). Gli esperti comprendono che questa prestazione ID spesso sovrastima l'efficacia nel mondo reale quando le condizioni operative cambiano (ad esempio, cambiamenti nella severità del segnale o nell'ambiente). Tuttavia, l'entità di questo "gap di ottimismo" — la differenza tra l'AUC ID e l'AUC fuori-distribuzione (OOD) — è raramente prevedibile in anticipo a causa della scarsità di dati etichettati sul campo. La letteratura esistente sul machine learning per la previsione dell'accuratezza OOD si concentra su compiti e modelli con distribuzioni di input fisse, spesso prevedendo l'accuratezza della classificazione piuttosto che l'AUC, e affronta raramente il trasferimento tra diverse architetture di rilevatori o classi di compromissione.

Metodologia
Gli autori affrontano questo gap utilizzando un banco di prova sintetico controllato e parametrizzato, costruito sulla piattaforma open-source Kshana PNT-resilience simulator.

• Costruzione del Testbed: Il corpus consiste in 13 rilevatori valutati attraverso quattro classi di compromissione (jamming, time spoofing, position spoofing, multipath) e una classe nominale. La severità della compromissione è controllata da una scala scalare $(0, 1]$, dove $1.0$ rappresenta lo stato in-distribuzione e valori inferiori rappresentano compromissioni via via più sottili.
• Panel dei Rilevatori: Lo studio valuta cinque baseline basate sulla fisica (rilevatori a singola osservabile e un combinatore), cinque rilevatori appresi a caratteristiche complete (regressione logistica e multilayer perceptrons di varie ampiezze) e tre controlli appresi a singola caratteristica.
• Definizione della Metrica: L' "ottimismo gap" ($\Delta$) è definito come la differenza tra l'AUC ID e l'AUC a un livello di severità traslato: $\Delta(d, c, s) = \text{AUC}_c(d, 1.0) - \text{AUC}_c(d, s)$.
• Framework di Previsione: L'ipotesi centrale è che il gap possa essere predetto utilizzando solo le statistiche ID. Gli autori estraggono sei caratteristiche basate solo su ID (tra cui AUC ID, separazione del punteggio $d'$, sovrapposizione della distribuzione, rapporto di varianza, margine della coda e tasso di rilevamento a un tasso di falso allarme fisso) e una settima caratteristica ablativa (pendenza di auto-perturbazione). Un modello di regressione ridge viene addestrato per prevedere il gap realizzato per rilevatori e classi di compromissione tenuti fuori dal training (held-out).
• Validazione: Lo studio impiega la validazione incrociata leave-one-detector-out e leave-one-class-out, test di significatività contro un nullo di permutazione delle etichette di 2000 volte e studi di ablazione per garantire che la previsione non sia un artefatto definitorio della caratteristica AUC ID.

Risultati Chiave

1. Crescita Monotona del Gap: Il gap di ottimismo cresce monotonicamente man mano che la traslazione della distribuzione si approfondisce (diminuendo la scala di severità). La correlazione media di Spearman tra l'entità della traslazione e il gap è 0 $\text{0.50}$ attraverso le coppie rilevatore-classe.
2. Ampiezza dell'Evidenza vs Apprendimento: Il gap è guidato dall'ampiezza dell'evidenza che un rilevatore integra, non dal fatto che il rilevatore sia appreso. I rilevatori appresi a singola caratteristica degradano della stessa entità delle loro baseline fisiche corrispondenti. Al contrario, i rilevatori che combinano tutte e cinque le osservabili degradano significativamente meno. Ciò suggerisce che i rilevatori stretti sono intrinsecamente fragili alla traslazione, indipendentemente dal metodo di addestramento.
3. Eterogeneità delle Classi: Il gap varia sistematicamente per classe di compromissione. Il caso di "time spoofing" a potenza corrispondente (il più difficile da separare anche in ID) presenta il gap più piccolo, mentre le classi con alta prestazione ID (come il position spoofing) mostrano i cali maggiori.
4. Prevedibilità del Gap: Un semplice modello ridge costruito esclusivamente su statistiche ID predice con successo il gap per rilevatori e classi di compromissione mai visti prima.
   • Previsione Cross-Detector: $R^2 = 0.47$ (RMSE = 0.028).
   • Previsione Cross-Class: $R^2 = 0.46$ (RMSE = 0.029).
   • Entrambi i risultati sono statisticamente significativi ($p < 0.001$) rispetto alla permutazione delle etichette e sopravvivono alla rimozione della caratteristica AUC ID, confermando che la forma della distribuzione del punteggio (specificamente la sovrapposizione e il margine della coda) possiede potere predittivo.

Validazione su Dati Reali
Gli autori hanno pre-registrato un protocollo per testare questi risultati su tre corpora di campo aperti: le catture di Yunnan University, la campagna Jammertest 2024 e SatGrid.

• Jammertest 2024: La previsione cross-detector ha retto sui dati reali ($R^2 = 0.11, p = 0.009$), sebbene la previsione cross-class sia fallita ($R^2 = -0.25$), probabilmente a causa del numero limitato di classi e delle differenze meccanicistiche.
• SatGrid: Questo dataset ha fornito un asse di severità calibrato (sweep della potenza dello spoofer). Ha confermato che l'AUC ID sovrastima la prestazione ad alte severità, con gap che raggiungono lo 0.22. La direzione del gap era perfettamente correlata in rango con l'AUC ID ($\rho = 1.0$), sebbene il predittore quantitativo fosse sotto-potenziato a causa del numero limitato di rilevatori e classi.
• Conclusione sui Dati Reali: Il meccanismo sopravvive al contatto con i dati reali, ma con un'entità minore rispetto alla simulazione, coerentemente con le condizioni di campo non controllate.

Significatività e Rivendicazioni
Il documento afferma di fornire la prima dimostrazione che il gap di ottimismo della valutazione nel rilevamento di compromissioni RF può essere predetto per rilevatori non visti e classi di compromissione non viste utilizzando solo statistiche in-distribuzione.

• Meccanismo sopra l'Entità: Gli autori dichiarano esplicitamente che il loro testbed sintetico isola il meccanismo di degradazione piuttosto che prevedere le esatte entità sul campo.
• Avvertimento Pratico: Il principale insegnamento pratico è che un alto AUC ID ottenuto su un "margine di punteggio sottile e pesantemente sovrapposto" è la firma di un rilevatore che si degraderà significativamente sotto traslazione. Questo avvertimento può essere letto prima del deployment senza richiedere etichette OOD.
• Riproducibilità: Lo studio rilascia l'intero testbed, i front-end dei ricevitori software per convertire l'IQ grezzo in caratteristiche di correlatore, gli adapter di ingest per i dati reali e un protocollo pre-registrato, garantendo che tutte le affermazenze siano falsificabili su dati reali.

Il lavoro non pretende di risolvere interamente il problema della scarsità di dati sul campo, ma offre un metodo per quantificare e anticipare il rischio di ottimismo nella selezione dei rilevatori, spostando il focus da "qual è il miglior punteggio ID?" a "quanto è probabile che questo punteggio sia robusto?".