Development of Vision-Language Model-based GNSS Spoofing Detection for Autonomous Vehicle Navigation

Sintesi Tecnica: Sviluppo di un modello Vision-Language per la rilevazione dello spoofing GNSS nella navigazione di veicoli autonomi

Definizione del problema
I veicoli autonomi (AV) si affidano pesantemente ai sistemi di navigazione satellitare globale (GNSS) per la localizzazione e la navigazione, il che li rende vulnerabili ad attacchi di spoofing. A differenza del jamming, che nega il servizio, gli attacchi di spoofing manipolano furtivamente la posizione e la traiettoria percepita di un veicolo. Sebbene le difese esistenti includano controlli di integrità a livello di ricevitore (es. RAIM), difese del segnale a livello RF e fusione multi-sensore (combinando GNSS con IMU, LiDAR o odometria), questi approcci presentano limiti fondamentali. I metodi tradizionali basati su metriche possono essere aggirati da attacchi sofisticati che mantengono la coerenza geometrica con le reti stradali o con altri sensori (ad esempio, l'attacco "FusionRipper"). Inoltre, l'odometria visuale-inerziale (VIO) e l'allineamento camera-mappa sono soggetti a deriva cumulativa e degradano in condizioni visive avverse (scarsa illuminazione, meteo). Di conseguenza, è necessario un meccanismo di rilevazione che validi il GNSS non solo a livello di traiettoria metrica, ma a livello di comportamento semantico — verificando se la manovra implicata dal GNSS sia coerente con l'effettivo comportamento di guida osservato dal veicolo.

Metodologia
Il documento propone un nuovo framework che fonde i dati visivi della telecamera frontale con le letture dei sensori di bordo (velocità, accelerazione longitudinale e velocità angolare/yaw rate) utilizzando un Modello Vision-Language (VLM) per rilevare discrepanze tra le manovre previste e quelle derivate dal GNSS.

1. Costruzione del Dataset:

   • Addestramento: Il modello è stato addestrato sul dataset CoVLA (Tokyo, Giappone), un corpus reale contenente video sincronizzati, dati GNSS, IMU e bus CAN.
   • Validazione: Un dataset indipendente, reale, è stato raccolto a Tuscaloosa, Alabama, utilizzando un veicolo e un hardware per la telecamera differenti per testare la generalizzazione cross-regionale. Questo dataset è stato utilizzato esclusivamente per la valutazione.
   • Generazione degli attacchi: Tre scenari di spoofing sono stati simulati sul dataset di validazione manipolando le coordinate GNSS mantenendo autentici i dati visivi e dei sensori:
     • Attacco di svolta errata (Wrong-Turn Attack): Specchiatura della posizione del veicolo lungo l'asse della longitudine e aggancio alla rete stradale per forzare una direzione di svolta errata.
     • Attacco di superamento (Overshoot Attack): Congelamento della posizione GNSS riportata mentre il veicolo continua a muoversi.
     • Attacco di arresto (Stop Attack): Iniezione di una lenta deriva sintetica nelle coordinate GNSS mentre il veicolo è fermo.

2. Architettura VLM e Fine-Tuning:

   • Rappresentazione dell'input: I dati dei sensori (velocità, accelerazione, yaw) vengono serializzati in prompt di linguaggio naturale che descrivono la variazione netta ($\Delta$) su una finestra di 4 secondi (12 frame a 3 fps). Ciò crea uno spazio semantico condiviso tra i token visivi e la telemetria dei sensori.
   • Fine-Tuning in tre fasi: Per affrontare la mancanza di comprensione dei sensori automobilistici nei VLM pre-addestrati e garantire una robusta allineamento cross-modale, è stato impiegato un processo in tre fasi:
     • Fase 1 (Grounding Visivo): Addestramento dell'encoder visivo su clip video per mappare le caratteristiche visive nello spazio semantico dell'LLM.
     • Fase 2 (Calibrazione dei Sensori): Congelamento dell'encoder visivo; addestramento dell'adapter e dell'LLM per interpretare i delta dei sensori codificati in testo.
     • Fase 3 (Fusione Multimodale Congiunta): Scongelamento di tutti i componenti e fine-tuning congiunto su embedding di immagini concatenate e frasi di delta-sensore.
   • Logica di rilevazione: Il VLM sottoposto a fine-tuning predice la manovra del veicolo (andata dritta, svolta a sinistra, svolta a destra, fermo). Questa predizione viene confrontata con la manovra derivata dal GNSS (tramite transizioni di link stradali e angoli di imbardata). Le discrepanze attivano gli avvisi di spoofing.

3. Politica di Inferenza Adattiva:
   Per mitigare il costo computazionale dell'esecuzione di grandi VLM in tempo reale, è stato introdotto un meccanismo di gating adattivo. Il sistema monitora la velocità e le variazioni di yaw rate su una finestra scorrevole. Se queste metriche rimangono stabili (al di sotto di soglie definite), il sistema riutilizza la predizione precedente, saltando l'inferenza del VLM. L'invocazione del VLM è attivata solo quando vengono rilevate variazioni significative nelle manovre o quando lo stato di moto derivato dai sensori contraddice i dati del GNSS.

Contributi Chiave

• Primo Framework basato su VLM: Sviluppo del primo framework per la rilevazione dello spoofing GNSS nei veicoli autonomi che opera in uno spazio di comportamento semantico, fondendo dati visivi e dei sensori per rilevare inconsistenze comportamentali.
• Validazione Cross-Regionale: Generazione di un dataset indipendente e reale a Tuscaloosa, Alabama, dimostrando che il modello apprende indizi di comportamento di guida invarianti rispetto al dominio (pattern di movimento basati sulla fisica) piuttosto che caratteristiche visive specifiche della regione, ottenendo un'alta generalizzazione dai dati di addestramento di Tokyo.
• Ottimizzazione Adattiva: Introduzione di una politica di inferenza che riduce le invocazioni del VLM di circa l'86% (a circa il 14% delle finestre totali) mantenendo l'accuratezza della rilevazione, affrontando i colli di bottiglia della latenza e della computazione dei grandi modelli.

Risultati
Valutati sul dataset di validazione di Tuscaloosa:

• Prestazioni Baseline: I VLM pre-addestrati zero-shot (LLaVA-Next-video-7B, NVILA-8B-Video) hanno ottenuto F1-score compresi tra il 23% e il 32%.
• Prestazioni del Fine-Tuning: I modelli sottoposti a fine-tuning in tre fasi hanno raggiunto F1-score compresi tra il 94% e il 95%.
• Accuratezza della Rilevazione Attacchi:
  • Attacchi di Svolta Errata: Accuratezza del 100% per entrambi i modelli.
  • Attacchi di Arresto: Accuratezza del 100% per entrambi i modelli.
  • Attacchi di Superamento: Accuratezza dell'88%–93%.
• Efficienza Computazionale: La politica adattiva ha ridotto il tempo totale di predizione a 65ms–73ms per finestra di 4 secondi (inclusi il 14% delle finestre che richiedono l'inferenza del VLM). L'uso di picco della memoria GPU è stato di 14GB–16GB.

Significatività e Rivendicazioni
Il documento sostiene di fornire uno strato di difesa pratico su strada che integra gli esistenti controlli di integità a livello di segnale. Spostando la validazione dalla coerenza metrica alla coerenza del comportamento semantico, l'approccio affronta una lacuna in cui attacchi di spoofing sofisticati possono superare i controlli geometrici ma implicano comportamenti di guida insicuri o errati (ad esempio, svoltare nella direzione sbagliata o muoversi mentre si è fermi). Gli autori sottolineano che la dipendenza del metodo dai cue di movimento basati sulla fisica (delta dei sensori) e dagli shift temporali visivi permette di generalizzare attraverso diversi ambienti stradali e configurazioni hardware.

Tuttamente, il documento mantiene la modestia riguardo all'immediata implementazione. Riconosce che l'attuale implementazione richiede hardware server di fascia alta (NVIDIA A100) e una memoria significativa, rendendolo più una prova di concetto che una soluzione pronta per la produzione per le unità edge automobilistiche standard. Gli autori notano che il lavoro futuro richiede la compressione del modello (quantizzazione, distillazione) e la validazione contro attacchi di spoofing effettivi a livello RF utilizzando generatori di segnale hardware. Inoltre, il framework non è progettato per rilevare attacchi di "deriva di localizzazione" che preservano il comportamento semantico di alto livello pur alterando lentamente la posizione.