How Much Do RF Drone Benchmarks Overstate? A Controlled Study and Theory of Data Leakage in UAV Signal Identification

Sintesi Tecnica: Di quanto vengono sopravvalutati i benchmark dei droni RF?

Enunciato del Problema
Il rilevamento tramite radiofrequenza (RF) è una modalità primaria per la difesa contro i sistemi aerei non pilotati (counter-UAS), basata sullo sfruttamento dei collegamenti di controllo, telemetria e video tra i droni e gli operatori. Sebbene le accuratezze riportate per il rilevamento e l'identificazione di droni tramite RF siano spesso elevate (frequentemente superiori al 95%), il documento sostiene che questi risultati siano spesso artefatti derivanti da una perdita di dati (data leakage).

La patologia centrale identificata è l'uso della validazione incrociata a livello di segmento su dataset composti da un numero esiguo di registrazioni continue. Quando una registrazione continua viene suddivisa in brevi segmenti e questi segmenti vengono partizionati casualmente in set di addestramento e di test, i segmenti appartenenti alla stessa registrazione (che condividono lo stesso canale, sfondo ambientale e punto operativo del dispositivo) appaiono in entrambe le partizioni. Di conseguenza, un classificatore può avere successo memorizzando l'identità specifica della registrazione piuttosto che apprendendo le caratteristiche generalizzabili del tipo di drone. Ciò conduce a un "ottimismo" in cui i punteggi riportati riflettono la memorizzazione piuttosto che la generalizzazione a nuovi ambienti.

Metodologia
Il documento impiega un approccio multifasettico che combina l'analisi teorica, esperimenti sintetici controllati e casi studio del mondo reale:

1. Framework Teorico:

   • Gli autori formalizzano l'ottimismo della validazione incrociata a livello di segmento, scomponendolo in un termine governato dalla recuperabilità dell'identità della registrazione.
   • Applicano il teorema del conteggio delle funzioni di Cover a un modello di segnale generativo. Il modello assume uno spazio di caratteristiche in cui un piccolo numero di assi di "disturbo" (rappresentanti gli effetti del canale e delle interferenze specifici della registrazione) domina il segnale.
   • La teoria postula che quando il numero di registrazioni indipendenti ($R$) è piccolo rispetto alla dimensione delle caratteristiche ($d$), specificamente quando $2R \lesssim d$, un classificatore lineare può separare perfettamente i centroidi delle registrazioni per etichetta. In questo regime, un classificatore ingenuo può memorizzare esattamente la mappa registrazione-etichetta, portando l'accuratezza ingenua verso 1.0 mentre l'accuratezza di generalizzazione reale (accuratezza Bayesiana, $ACC^\star$) rimane bassa.

2. Esperimento Sintetico Controllato:

   • È stato generato un dataset sintetico con $d=20$ caratteristiche, variando la forza del disturbo specifico della registrazione ($\lambda$) e il numero di registrazioni per classe ($R$).
   • Lo studio ha confrontato la partizione ingenua (shuffling casuale dei segmenti) rispetto alla partizione raggruppata onesta (leave-one-recording-out).
   • Sono stati valutati sia un Random Forest (non lineare) che un modello di Regressione Logistica (lineare).

3. Caso Studio Reale (DroneRF):

   • Il dataset pubblico DroneRF è stato analizzato. Dopo aver unito le metà di banda simultanee, il dataset conteneva pochissime registrazioni indipendenti: quattro per l'AR drone, quattro per il Bebop e una per il Phantom.
   • Gli autori hanno eseguito una validazione incrociata pooled leave-one-recording-out (raggruppata per registrazione) e l'hanno confrontata con la valutazione ingenua a livello di segmento.
   • È stata condotta un'ablazione del percorso di perdita (leakage-pathway ablation) per isolare se l'inflazione derivasse dal livello di segmento o da altri fattori (ad esempio, la divisione delle metà di banda).

Risultati Chiave

• Previsione Teorica: La teoria prevede che l'accuratezza ingenua si avvicini a 1.0 mentre il gap di inflazione si avvicina a $1 - ACC^\star$ quando $2R \lesssim d$. Man mano che $R$ cresce oltre questa soglia di separabilità, la capacità di memorizzare le registrazioni diminuisce e l'accuratezza ingenua declina.
• Conferma Sintetica:
  • All'aumentare della forza del disturbo ($\lambda$), l'accuratezza bilanciata ingenua è aumentata monotonicamente verso 1.0, mentre l'accuratezza onesta raggruppata è diminuita verso i livelli del caso (circa 0.5). Il gap ha raggiunto circa lo 0.5.
  • Variando $R$, l'accuratezza ingenua è stata massima a bassi valori di $R$ (dove $2R < d$) e è diminuita all'aumentare di $R$. L'accuratezza onesta è rimasta vicina al caso ma si è stabilizzata (la varianza è diminuita) all'aumentare di $R$.
  • Il Random Forest non lineare ha mantenuto un'elevata accuratezza ingenua anche oltre la soglia di separabilità lineare, confermando che i modelli non lineari possono memorizzare le registrazioni più facilmente di quelli lineari.
• Risultati DroneRF:
  • Identificazione: Sul dataset DroneRF (AR vs. Bebop), la valutazione ingenua ha prodotto un macro-F1 di 0.74. Valutato con la validazione incrociata onesta leave-one-recording-out, le prestazioni sono crollate a 0.46, che è il livello del caso per un problema a due classi.
  • Ablazione: L'ablazione del percorso di perdita ha confermato che quasi tutta l'inflazione (il calo da 0.739 a ~0.524) era dovuta alla perdita a livello di segmento all'interno delle registrazioni. L'unione delle metà di banda ha avuto un effetto aggiuntivo trascurabile sulla metrica.
  • Rilevamento: L'AUC di rilevamento è rimasto elevato (0.985 ingenuo vs 0.978 onesto) perché il dataset conteneva una sola registrazione di sfondo, impedendo una divisione del rilevamento completamente priva di perdite. Tuttavia, il tasso di rilevamento a un tasso di falso allarme fisso era altamente variabile.

Significato e Rivendicazioni
Il documento sostiene di fornire una spiegazione rigorosa della discrepanza tra le alte accuratezze riportate nella letteratura RF sui droni e le probabili scarse prestazioni reali di tali sistemi.

• Quantificazione dell'Inflazione: Gli autori dimostrano che il "gap di inflazione" non è rumore casuale, ma una funzione prevedibile del rapporto tra registrazioni indipendenti e dimensione delle caratteristiche. Nel "regime di poche registrazioni" tipico dei dataset pubblici, i benchmark ingenui possono essere errati fino a 0.5 (5 tra i punti percentuali).
• Rischio Operativo: Il documento sottolinea che un sistema pubblicizzato con un'accuratezza del 99% basata su dati con perdita di informazioni può operare a livelli del caso in un nuovo ambiente, rappresentando un critico fallimento della sicurezza operativa.
• Raccomandazioni sui Protocolli: Gli autori propongono un protocollo di valutazione specifico:
  1. Identificare e raggruppare tutti i segmenti appartenenti a una singola registrazione continua (incluse le catture simultanee).
  2. Utilizzare la validazione incrociata raggruppata per registrazione (ad esempio, leave-one-recording-out) invece dello shuffling a livello di segmento.
  3. Riportare sia i punteggi ingenui che quelli raggruppati fianco a fianco per visualizzare la perdita (leakage).
  4. Garantire che i dataset contengano un numero sufficiente di registrazioni indipendenti ($2R > d$) per supportare affermazioni di identificazione affidabili.

Il documento conclude che, senza una valutazione raggruppata per registrazione e un numero sufficiente di catture indipendenti, le affermazioni di alta accuratezza nei sistemi di identificazione di droni RF non sono supportate e riflettono probabilmente la memorizzazione specifica del dataset. Tutto il codice, i generatori sintetici e gli script sono rilasciati per garantire la riproducibilità.