Structured Evidence and Vision-Language Models for Interpretable Vision-Only UAV Behavior Analysis

Resumen Técnico: Evidencia Estructurada y Modelos de Visión-Lenguaje para el Análisis Interpretable del Comportamiento de UAVs Basado Únicamente en Visión

Planteamiento del Problema
Los sistemas de contra-UAV (vehículos aéreos no tripulados) basados únicamente en visión ofrecen ventajas significativas en términos de costo, detección pasiva y compatibilidad con la infraestructura de cámaras existente. Sin embargo, los procesos actuales se limitan en gran medida a la detección y el seguimiento, proporcionando a los operadores la ubicación del objetivo pero careciendo de evidencia auditable sobre el comportamiento del UAV o la urgencia de una respuesta requerida. Aunque los operadores pueden ver dónde está un UAV, no pueden determinar fácilmente qué está haciendo (por ejemplo, tránsito benigno, vigilancia, aproximación o maniobras irregulares) sin una revisión de video manual lenta y cognitivamente demandante. Los procesos actuales basados en visión no logran cerrar la brebra entre el seguimiento visual de bajo nivel y la interpretación del comportamiento de alto nivel.

Metodología
Los autores proponen un marco de cuatro capas diseñado para introducir una capa de evidencia interpretable entre un rastreador estándar y un Modelo de Visión-Lenguaje (VLM). El sistema es estrictamente basado solo en visión y opera de la siguiente manera:

1. Capa de Detección: Un detector de clase única YOLOv8 (específicamente el modelo YOLOv8s entrenado a una resolución de 1280 píxeles) identifica UAVs en cada fotograma.
2. Seguimiento y Fusión: Las detecciones se asocian en trayectorias utilizando ByteTrack, que aprovecha las detecciones de baja confianza para mantener la robustez. Para abordar la fragmentación de la trayectoria causada por la oclusión o caídas de confianza, un algoritmo de fusión de trayectorias voraz combina segmentos cortos en rutas coherentes basadas en brechas temporales, distancia espacial y continuidad del movimiento.
3. Extracción de Evidencia Estructurada: Este es el componente central de interpretabilidad. Cada trayectoria fusionada se convierte en un registro de evidencia con una plantilla fija que contiene:
   • Estadísticas de Movimiento: Velocidad promedio/máxima, desviación estándar de la velocidad, desplazamiento total, longitud de la trayectoria y linealidad (relación entre el desplazamiento y la longitud de la trayectoria).
   • Características de Escala: Área de la caja delimitadora inicial, final y ratio de cambio (indicador de aproximación/alejamiento).
   • Curvatura: Ángulos de giro medio y máximo.
   • Métricas de Vuelo Estacionario (Hovering): Fracción de fotogramas con movimiento casi estacionario.
   • Sugerencias Basadas en Reglas: Un motor de reglas ligero genera etiquetas de comportamiento preliminares (por ejemplo, vuelo estacionario, circundación, crucero, aproximación) basadas en umbrales aplicados a estas métricas.
4. Razonamiento del VLM: Una cuarta capa solicita al VLM (Qwen-VL-Max) una entrada multimodal que consiste en:
   • Un mosaico de fotogramas clave de 2×3 (seis fotogramas muestreados uniformemente).
   • El registro de evidencia estructurada (texto serializado de las características numéricas y sugerencias de reglas).
   • El modelo tiene la instrucción de generar etiquetas de comportamiento, estimaciones de urgencia de respuesta y razonamientos en lenguaje natural fundamentados en los valores específicos de la evidencia, formateados como un bloque JSON.

Contribuciones Clave
La contribución principal del artículo no es un detector o rastreador novedoso, sino la demostración de cómo una interfaz de evidencia interpretable puede transformar un proceso convencional de detección-seguimiento en un sistema de análisis de comportamiento auditable.

• Evidencia Estructurada sobre Píxeles Crudos: El marco desacopla explícitamente la percepción del razonamiento. En lugar de pedir al VLM que infiera dinámicas temporales complejas únicamente a partir de fotogramas estáticos dispersos, le proporciona hechos de trayectoria compactos y numéricos.
• Auditabilidad: Al obligar al VLM a citar valores de evidencia específicos (por ejemplo, linealidad, ratio de cambio de escala) en su razonamiento, el sistema hace que el proceso de razonamiento sea inspeccionable, a diferencia del prompting visual de extremo a extremo donde la base para una etiqueta es opaca.
• Enfoque Híbrido: El sistema combina heurísticas basadas en reglas con las capacidades de síntesis semántica de un VLM, lo que permite al modelo refinar o anular las sugerencias preliminares basadas en reglas cuando sea necesario.

Resultados Experimentales
El marco fue evaluado en 20 secuencias del conjunto de datos DUT Anti-UAV, obteniendo 52 trayectorias válidas. Un subconjunto de 50 trayectorias fue anotado manualmente para la evaluación del comportamiento a través de seis categorías (vuelo estacionario, circundación, crucero, aproximación, alejamiento, errático).

• Rendimiento: La configuración multimodal completa (imagen + evidencia estructurada) alcanzó la mejor precisión de coincidencia primaria (0.700) y la precisión de cualquier coincidencia (0.760).
• Hallazgos de Ablación:
  • Solo Imagen: Una variante que utiliza únicamente el mosaico de fotogramas clave tuvo un desempeño deficiente (precisión de coincidencia primaria de 0.220), confirmando que los fotogramas estáticos dispersos no pueden inferir de manera confiable el comportamiento temporal.
  • Solo Evidencia: Una variante que utiliza únicamente la evidencia estructurada alcanzó una precisión de coincidencia primaria de 0.680, demostrando que las estadísticas de la trayectoria son la fuente de información dominante.
  • Comparación: La configuración completa superó tanto a las variantes de un solo modo como al motor de reglas por sí solo. Específicamente, los fotogramas visuales proporcionaron una ganancia medible en casos geométricamente ambiguos (por ejemplo, mejorando la precisión de "crucero" de 0.57 a 0.71 en comparación con la variante de solo evidencia).
• Rendimiento por Clase: El sistema funcionó bien en comportamientos de "aproximación" y "alejamiento". El "vuelo estacionario" siguió siendo la clase más difícil, confundiéndose frecuentemente con la circundación cuando el ratio de vuelo estacionario no era dominante.

Significancia y Reivindicaciones
El artículo afirma que para el análisis de comportamiento de contra-UAV basado solo en visión, la evidencia de trayectoria estructurada es la fuente de información esencial, mientras que los fotogramas visuales proporcionan una ganancia suplementaria pero útil en escenarios ambiguos. Los autores sostienen que el marco propuesto transforma con éxito los rastreos de bajo nivel en etiquetas de comportamiento auditables y explicaciones orientadas a la respuesta.

El trabajo enfatiza que los VLM son efectivos en este dominio solo cuando están fundamentados en evidencia de trayectoria explícita en lugar de pedirles que infieran el comportamiento temporal únicamente a partir de imágenes estáticas dispersas. El sistema ofrece un camino práctico hacia operaciones de contra-UAV escalables e interpretables donde los operadores pueden verificar la lógica detrás de una alerta. Los autores mantienen la modestia respecto al alcance, señalando limitaciones como el tamaño pequeño del subconjunto anotado (50 trayectorias), el uso de un único anotador y la dependencia de un número limitado de fotogramas clave para la línea base de la imagen. Se sugiere como trabajo futuro expandir el conjunto de datos, involucrar a múltiples anotadores y explorar entradas visuales temporales más densas.