💻 computer science

Development of Vision-Language Model-based GNSS Spoofing Detection for Autonomous Vehicle Navigation

Este artículo presenta el primer marco basado en Modelos de Visión-Lenguaje para detectar ataques de suplantación de GNSS en vehículos autónomos mediante la fusión de datos visuales y de sensores a través de un proceso de ajuste fino de tres etapas, logrando puntuaciones F1 del 94–95 % en un conjunto de datos del mundo real recién generado, al tiempo que reduce significativamente la carga computacional mediante una política de inferencia adaptativa.

Autores originales: Mohammed Aldeen, Muhammad Sami Irfan, Sagar Dasgupta, Long Cheng, Mizanur Rahman, Mashrur Chowdhury

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mohammed Aldeen, Muhammad Sami Irfan, Sagar Dasgupta, Long Cheng, Mizanur Rahman, Mashrur Chowdhury

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás conduciendo un coche autónomo, un robot de alta tecnología con ruedas que depende de una brújula digital llamada GNSS (Sistema Global de Navegación por Satélite) para saber exactamente dónde está. Esta brújula es el sentido principal de dirección del coche, diciéndole cuándo girar, cuándo detenerse y con qué velocidad ir. Pero, ¿qué pasaría si un hacker astuto pudiera engañar a esa brújula? Podría enviar una señal falsa que haga que el coche crea que está girando a la izquierda cuando en realidad va recto, o que crea que está detenido ante un semáforo en rojo cuando en realidad está acelerando por la autopista. Esto se llama "spoofing" (suplantación), y es como un mago haciendo un truco de magia al cerebro del coche.

Para detectar estos trucos, los científicos han intentado tradicionalmente verificar la brújula contra otros sensores, como un velocímetro o una cámara, pero a menudo de una manera muy matemática: comparando números con números. El problema es que un hacker hábil a veces puede hacer que los números falsos parezcan perfectos en el papel, incluso si el coche está realizando una maniobra peligrosa. Aquí es donde entra un nuevo tipo de IA: los Modelos de Visión-Lenguaje (VLM). Piensa en ellos como robots superinteligentes que pueden "ver" un vídeo y "leer" una historia al mismo tiempo. En lugar de solo comprobar si los números coinciden, un VLM puede entender la historia de lo que el coche está haciendo. Puede mirar la carretera a través de la cámara, sentir el movimiento del coche a través de sus sensores y decir: "¡Oye, la brújula dice que estamos girando a la derecha, pero el vídeo y la sensación del coche dicen que estamos girando a la izquierda!". Este artículo explora cómo utilizar estos inteligentes narradores de IA para detectar cuándo un coche autónomo está siendo engañado por una señal de GPS falsa.

La Gran Idea del Artículo: Enseñar a la IA a Detectar la Mentira

En este estudio, los investigadores construyeron el primer sistema que utiliza un Modelo de Visión-Lenguaje (VLM) para detectar ataques de spoofing de GPS en coches autónomos. Se dieron cuenta de que, mientras los métodos antiguos comprobaban si los números del GPS coincidían con las matemáticas de la carretera, una IA inteligente podía comprobar si la historia del GPS coincidía con la historia real del trayecto.

La Configuración: Una Historia de Dos Ciudades
Para entrenar a su IA, el equipo utilizó un conjunto de datos de vídeos de conducción y datos de sensores recopilados en Tokio, Japón. Esta fue su "escuela de entrenamiento". Enseñaron a la IA a mirar un clip corto de una carretera (de unos 4 segundos de duración) y leer los datos de velocidad y giro del coche, para luego adivinar qué estaba haciendo el coche: ir recto, detenerse, girar a la izquierda o girar a la derecha.

Pero aquí está la parte truculenta: no solo probaron la IA en Tokio. Para demostrar que la IA realmente estaba aprendiendo la física de la conducción y no solo memorizando señales de tráfico japonesas, condujeron un coche real por Tuscaloosa, Alabama. Esta fue su "prueba final". Las carreteras, las señales y los hábitos de conducción eran totalmente diferentes, pero las leyes de la física (cómo un coche gira o se detiene) permanecen iguales.

El Entrenamiento de Tres Etapas
Los investigadores no simplemente lanzaron todos los datos a la IA a la vez. Utilizaron un proceso de entrenamiento de tres pasos muy ingenioso, como enseñar a un estudiante por etapas:

Anclaje Visual (Visual Grounding): Primero, enseñaron a la IA a mirar el vídeo y comprender el movimiento (como ver cómo el mundo se desplaza cuando giras).
Calibración de Sensores: Después, enseñaron a la IA a leer los números de los sensores del coche (velocidad, aceleración y tasa de giro) y a comprender qué significan esos números en lenguaje sencillo.
La Gran Fusión: Finalmente, dejaron que la IA mirara el vídeo y los números juntos. Ahora, la IA podía decir: "El vídeo muestra que el coche gira a la derecha, y los números muestran un giro brusco a la derecha, por lo tanto, el coche definitivamente está girando a la derecha".

Los Escenarios de Ataque
Para probar si su sistema funcionaba, los investigadores crearon tres tipos de ataques "falsos" utilizando los datos de Tuscaloosa:

El Truco del Giro Equivocado: El GPS falso le decía al coche que giraba a la izquierda, pero el coche en realidad estaba girando a la derecha.
El Truco del Sobrepaso (Congelamiento): El coche se movía hacia adelante, pero el GPS falso decía: "Sigues aquí", congelando la posición del coche en el mapa.
El Truco de la Parada: El coche estaba quieto ante una señal de alto, pero el GPS falso decía: "Te estás moviendo lentamente", haciendo que el coche creyera que estaba conduciendo.

Los Resultados: Una Gran Victoria
Cuando probaron el sistema con los datos de Tuscaloosa, los resultados fueron impactantes.

La Línea Base (Baseline): Si utilizaban una IA estándar preentrenada sin ningún entrenamiento especial, solo acertaban entre el 23% y el 32% de los ataques. Básicamente, estaban adivinando.
La IA Entrenada: Después de su entrenamiento de tres etapas, la IA acertó entre el 94% y el 95% de las maniobras correctamente.
La Detección de Ataques:
- Para los ataques de Giro Equivocado y de Parada, la IA detectó el 100%.
- Para los ataques de Sobrepaso (congelamiento), la IA detectó entre el 88% y el 93%.

El Truco de la "Puerta Inteligente" (Smart Gating)
Había un gran problema: estas IAs inteligentes son pesadas. Ejecutarlas en cada segundo de la conducción agotaría la batería del coche y lo ralentizaría. Para solucionar esto, el equipo inventó una "política de inferencia adaptativa".

Piensa en ello como un guardia de seguridad que no revisa cada uno de los coches que pasan, sino que solo revisa los que parecen sospechosos. El sistema observa la velocidad y la tasa de giro del coche. Si el coche simplemente avanza recto a una velocidad constante, el sistema dice: "No hay necesidad de llamar a la gran IA; el coche probablemente esté bien". Solo despierta a la pesada IA cuando el coche acelera, frena o gira.

Este truco redujo el número de veces que se tenía que llamar a la IA en un 86% (bajando al solo 14% de las veces). Cuando la IA sí se ejecutaba, tardaba unos 65 a 73 milisegundos por cada ventana de 4 segundos. Esto significa que el sistema es lo suficientemente rápido como para ser práctico, ahorrando una enorme cantidad de potencia de cómputo mientras sigue atrapando a los malos.

Lo que el Artículo Dice que NO Es
Los autores son muy claros sobre lo que su sistema no hace. No intentan arreglar la señal de GPS en sí ni detener al hacker de transmitir ondas de radio falsas. Tampoco intentan detectar ataques de "deriva" (drift) donde el GPS mueve la posición del coche unos pocos centímetros sin cambiar el comportamiento de la conducción. Su sistema está diseñado específicamente para detectar ataques que cambian la historia del trayecto, como hacer que el coche crea que está girando hacia el lado equivocado o que se mueve cuando está detenido.

La Conclusión
Este artículo demuestra que, al enseñar a una IA inteligente a entender la historia de un trayecto —combinando lo que ve la cámara con lo que sienten los sensores— podemos detectar a los hackers de GPS mucho mejor que antes. Aunque el sistema todavía necesita ordenadores potentes para funcionar (aún no es lo suficientemente pequeño para un chip diminuto de un coche), el truco de la "puerta inteligente" demuestra que podemos hacer que esta defensa sea práctica. Es una nueva capa de seguridad que no solo comprueba los números, sino que comprueba la lógica de la conducción.

Resumen Técnico: Desarrollo de un Modelo de Visión-Lenguaje para la Detección de Spoofing de GNSS en la Navegación de Vehículos Autónomos

Planteamiento del Problema
Los vehículos autónomos (AV) dependen en gran medida de los Sistemas Globales de Navegación por Satélite (GNSS) para la localización y navegación, lo que los hace vulnerables a ataques de spoofing. A diferencia del jamming, que niega el servicio, los ataques de spoofing manipulan de forma encubierta la posición percibida y la trayectoria de un vehículo. Si bien las defensas existentes incluyen verificaciones de integridad a nivel de receptor (por ejemplo, RAIM), defensas de señal a nivel de RF y fusión de múltiples sensores (combinando GNSS con IMU, LiDAR o odometría), estos enfoques enfrentan limitaciones fundamentales. Los métodos tradicionales basados en métricas pueden ser eludidos por ataques sofisticados que mantienen la consistencia geométrica con las redes viales u otras lecturas de sensores (por ejemplo, el ataque "FusionRipper"). Además, la odometría visual-inercial (VIO) y la alineación de cámara a mapa son propensas a la deriva acumulativa y se degradan bajo condiciones visuales adversas (poca luz, clima). En consecuencia, existe la necesidad de un mecanismo de detección que valide el GNSS no meramente al nivel de la trayectoria métrica, sino al nivel del comportamiento semántico—verificando si la maniobra implicada por el GNSS se alinea con el comportamiento de conducción real observado por el vehículo.

Metodología
El artículo propone un nuevo marco que fusiona datos visuales de la cámara frontal con lecturas de sensores del vehículo (velocidad, aceleración longitudinal y velocidad de giro/yaw) utilizando un Modelo de Visión-Lenguaje (VLM) para detectar discrepancias entre las maniobras predichas y las maniobras derivadas del GNSS.

Construcción del Conjunto de Datos:
- Entrenamiento: El modelo fue entrenado con el conjunto de datos CoVLA (Tokio, Japón), un corpus del mundo real que contiene video sincronizado, GNSS, IMU y datos de CAN-bus.
- Validación: Se recolectó un conjunto de datos independiente del mundo real en Tuscaloosa, Alabama, utilizando un vehículo y un hardware de cámara diferentes para probar la generalización transregional. Este conjunto de datos se utilizó exclusivamente para la evaluación.
- Generación de Ataques: Se simularon tres escenarios de spoofing en el conjunto de datos de validación manipulando las coordenadas GNSS mientras se mantenían auténticos los datos visuales y de sensores:
  - Ataque de Giro Incorrecto (Wrong-Turn Attack): Reflejando la posición del vehículo a lo largo del eje de la longitud y ajustándola a la red vial para forzar una dirección de giro incorrecta.
  - Ataque de Sobrepaso (Overshoot Attack): Congelando la posición reportada por el GNSS mientras el vehículo continúa moviéndose.
  - Ataque de Parada (Stop Attack): Inyectando una deriva sintética lenta en las coordenadas del GNSS mientras el vehículo está estacionado.
Arquitectura y Ajuste Fino (Fine-Tuning) del VLM:
- Representación de Entrada: Los datos de los sensores (velocidad, aceleración, yaw) se serializan en prompts de lenguaje natural que describen el cambio neto ( $\Delta$ ) sobre una ventana de 4 segundos (12 fotogramas a 3 fps). Esto crea un espacio semántico compartido entre los tokens visuales y la telemetría de los sensores.
- Ajuste Fino en Tres Etapas: Para abordar la falta de comprensión de sensores automotrices en los VLMs pre-entrenados y asegurar una alineación robusta entre modalidades, se empleó un proceso de tres etapas:
  - Etapa 1 (Anclaje Visual/Visual Grounding): Entrenar el codificador de visión con clips de video para mapear las características visuales al espacio semántico del LLM.
  - Etapa 2 (Calibración de Sensores): Congelar el codificador de visión; entrenar el adaptador y el LLM para interpretar los deltas de texto codificados de los sensores.
  - Etapa 3 (Fusión Multimodal Conjunta): Descongelar todos los componentes y realizar un ajuste fino conjunto sobre las incrustaciones (embeddings) de imagen concatenadas y las oraciones de delta de sensores.
- Lógica de Detección: El VLM ajustado predice la maniobra del vehículo (recto, giro a la izquierda, giro a la derecha, detenido). Esta predicción se compara con la maniobra derivada de los datos del GNSS (mediante transiciones de enlace vial y ángulos de rumbo). Las discrepancias activan alertas de spoofing.
Política de Inferencia Adaptativa:
Para mitigar el costo computacional de ejecutar grandes VLMs en tiempo real, se introdujo un mecanismo de compuerta (gating) adaptativo. El sistema monitorea los cambios de velocidad y de velocidad de giro (yaw rate) sobre una ventana deslizante. Si estas métricas permanecen estables (por debajo de umbrales definidos), el sistema reutiliza la predicción anterior, saltándose la inferencia del VLM. La invocación del VLM se activa solo cuando se detectan cambios significativos en la maniobra o cuando el estado de movimiento derivado del GNSS contradice los datos de los sensores internos.

Contribuciones Clave

Primer Marco Basado en VLM: Desarrollo del primer marco para la detección de spoofing de GNSS en AVs que opera en un espacio de comportamiento semántico, fusionando datos visuales y de sensores para detectar inconsistencias de comportamiento.
Validación Transregional: Generación de un conjunto de datos independiente del mundo real en Tuscaloosa, Alabama, demostrando que el modelo aprende claves de comportamiento de conducción invariantes al dominio (patrones de movimiento basados en la física) en lugar de características visuales específicas de una región, logrando una alta generalización desde los datos de entrenamiento de Tokio.
Optimización Adaptativa: Introducción de una política de inferencia que reduce las invocaciones del VLM en aproximadamente un 86% (a ~14% de las ventanas totales) manteniendo la precisión de detección, abordando los cuellos de botella de latencia y computación de los modelos grandes.

Resultos
Evaluado en el conjunto de datos de validación de Tuscaloosa:

Rendimiento de Referencia (Baseline): Los VLMs pre-entrenados zero-shot (LLaVA-Next-video-7B, NVILA-8B-Video) lograron puntuaciones F1 entre 23% y 32%.
Rendimiento con Ajuste Fino: Los modelos con ajuste fino de tres etapas lograron puntuaciones F1 entre 94% y 95%.
Precisión de Detección de Ataques:
- Ataques de Giro Incorrecto: 100% de precisión para ambos modelos.
- Ataques de Parada: 100% de precisión para ambos modelos.
- Ataques de Sobrepaso: 88%–93% de precisión.
Eficiencia Computacional: La política adaptativa redujo el tiempo total de predicción a 65ms–73ms por ventana de 4 segundos (incluyendo el 14% de las ventanas que requieren inferencia del VLM). El uso máximo de memoria GPU fue de 14GB–16GB.

Significancia y Reivindicaciones
El artículo afirma proporcionar una capa de defensa práctica en carretera que complementa las verificaciones de integridad de nivel de señal existentes. Al cambiar la validación de la consistencia métrica a la consistencia de comportamiento semántico, el enfoque aborda un vacío donde los ataques de spoofing sofisticados pueden pasar las comprobaciones geométricas pero implican comportamientos de conducción inseguros o incorrectos (por ejemplo, girar en la dirección equivocada o moverse cuando se está detenido). Los autores enfatizan que su dependencia de las claves de movimiento basadas en la física (deltas de sensores) y los cambios temporales visuales le permite generalizar a través de diferentes entornos viales y configuraciones de hardware.

Sin embargo, el artículo mantiene la modestia respecto a su implementación inmediata. Reconoce que la implementación actual requiere hardware de servidor de alto nivel (NVIDIA A100) y una memoria significativa, lo que lo convierte en una prueba de concepto más que en una solución lista para la producción en unidades de borde (edge) automotrices estándar. Los autores señalan que el trabajo futuro requiere compresión de modelos (cuantización, destilación) y validación contra ataques de spoofing reales de nivel de RF utilizando generadores de señales de hardware. Además, el marco no está diseñado para detectar ataques de "deriva de localización" que preservan el comportamiento semántico de alto nivel mientras sesgan lentamente la posición.

La Gran Idea del Artículo: Enseñar a la IA a Detectar la Mentira

Resumen Técnico: Desarrollo de un Modelo de Visión-Lenguaje para la Detección de Spoofing de GNSS en la Navegación de Vehículos Autónomos

Más como este