💻 computer science

CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

CosFly-VLA es un modelo de Visión-Lenguaje-Acción espacialmente consciente que mejora el seguimiento de objetivos por UAV en entornos urbanos complejos y ocluidos mediante la integración de preentrenamiento sensible a la profundidad, ajuste fino basado en currículo, razonamiento de cadena de pensamiento y aprendizaje por refuerzo de bucle cerrado para reducir significativamente los errores de desplazamiento y mejorar las tasas de éxito en comparación con las políticas existentes.

Autores originales: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el piloto de un pequeño y superinteligente dron, zumbando por una ciudad concurrida. Tu trabajo es seguir a una persona específica que camina por la calle. Normalmente, esto es fácil: la ves, vuelas hacia ella y la mantienes en tu lente de cámara. Pero las ciudades son complicadas. De repente, un edificio alto, un árbol denso o una multitud de personas bloquean tu vista. La persona desaparece de tu pantalla. Un dron normal podría entrar en pánico, equivocarse y chocar contra una pared porque perdió su "mapa mental" de hacia dónde se fue la persona. Este es el mundo del seguimiento de Vehículos Aéreos No Tripulados (UAV), un campo de la robótica donde las máquinas aprenden a perseguir objetivos en movimiento. El gran desafío no es solo ver al objetivo; es saber qué hacer cuando ya no puedes verlo. Para resolver esto, los científicos utilizan modelos de Visión-Lenguaje-Acción (VLA). Piensa en estos como el cerebro de un robot que puede "ver" una imagen, "leer" una orden como "sigue al corredor" y "actuar" moviendo sus motores, todo al mismo tiempo.

Entra CosFly-VLA, un nuevo y superinteligente piloto de dron diseñado por investigadores para manejar estos "puntos ciegos". En lugar de simplemente mirar la pantalla y esperar a que el objetivo vuelva a aparecer, CosFly-VLA actúa como un detective con una fuerte imaginación. Cuando el objetivo desaparece detrás de un edificio, el dron no se congela. Utiliza su conocimiento del diseño de la ciudad y la última velocidad conocida de la persona para adivinar dónde se encuentra probablemente. Piensa: "Bien, caminaba hacia la derecha, y ese edificio está a la izquierda, así que debe estar saliendo por el otro lado". Luego vuela una trayectoria calculada para encontrarse con ellos allí. Los investigadores entrenaron a este dron usando una "receta" especial que incluyó mucha práctica con largos periodos de ceguera, enseñándole a confiar en su razonamiento espacial por encima de sus ojos cuando los ojos fallan. Lo probaron en un mundo de videojuegos de alta tecnología llamado CARLA, donde el dron tenía que perseguir peatones a través de complejos mapas urbanos. Los resultados sugieren que este nuevo enfoque es mucho mejor para mantener al objetivo a la vista y evitar choques en comparación con los cerebros de drones más antiguos y básicos, especialmente cuando el objetivo está oculto durante mucho tiempo.

El Dron Detective: Cómo funciona CosFly-VLA

La idea central detrás de este artículo es que perseguir a un objetivo en movimiento en una ciudad es como jugar a un juego de "escondite" donde el buscador tiene que seguir moviéndose incluso cuando no puede ver al que se esconde. Los investigadores, liderados por un equipo de Autel Robotics y varias universidades, se dieron cuenta de que la mayoría de los sistemas de drones existentes son excelentes en "ver y seguir", pero terribles en "adivinar y recuperar" cuando la vista es bloqueada.

El Problema: El Pánico del "Punto Ciego"
Imagina que estás jugando un videojuego donde tienes que seguir a un personaje. De repente, una pared cubre la pantalla. Si tu personaje simplemente se detiene o vuela aleatoriamente, pierdes. En el mundo real, si un dron pierde de vista a una persona, podría volar en la dirección equivocada, chocar contra un árbol o simplemente rendirse. El artículo argumenta que la vieja forma de entrenar drones —mostrándoles miles de fotos de personas caminando— no les enseña cómo manejar los momentos en que la persona no es visible.

La Solución: Un Cerebro que Piensa en 3D
CosFly-VLA es un modelo de "Visión-Lenguaje-Acción". Vamos a desglosar eso con una analogía sencilla:

Visión: Tiene ojos (cámaras) que ven el mundo.
Lenguaje: Puede leer instrucciones como "Sigue a la persona de la camisa roja".
Acción: Controla los motores del dron para moverse arriba, abajo, izquierda, derecha y girar.

Pero lo que hace especial a CosFly-VLA es su Conciencia Espacial. Cuando el objetivo está oculto, el dron no solo adivina; construye una "hipótesis mental". Se pregunta a sí mismo: "¿Dónde estaba la persona por última vez? ¿Dónde están los edificios? Si siguieron caminando recto, ¿dónde estarían ahora?". Luego vuela hacia ese lugar, listo para captar al objetivo en el momento en que reaparezca.

La Receta de Entrenamiento: De Estudiante a Maestro
Los investigadores no solo enseñaron al dron a volar; le dieron un curso de entrenamiento muy específico de cuatro pasos para convertirlo en un maestro del seguimiento:

El Campamento de Entrenamiento de "Mapa de la Ciudad" (Preentrenamiento con Base Espacial): Antes de aprender a perseguir, el dron estudió miles de fotos aéreas y rompecabezas 3D. Aprendió sobre distancias, alturas y cómo los edificios bloquean las vistas. Esto es como enseñarle a un estudiante a leer un mapa antes de enviarlo a una búsqueda del tesoro.
La Escuela de "Fácil a Difícil" (Aprendizaje por Currículo): El dron comenzó con pistas fáciles donde la persona siempre era visible. Luego, los maestros (los investigadores) gradualmente lo hicieron más difícil, introduciendo largos periodos donde la persona estaba oculta detrás de edificios. Esto obligó al dron a practicar sus habilidades de "adivinanza".
La Clase de "Pensar en Voz Alta" (Cadena de Pensamiento): Esta es la parte más genial. Se le enseñó al dron a "pensar en voz alta" antes de moverse. Cuando el objetivo desaparecía, generaba una explicación de texto como: "El objetivo está detrás del edificio. Caminaba hacia la derecha, así que debo volar a la derecha y esperar". Este paso de razonamiento ayudó al dron a entender por qué estaba realizando un movimiento, no solo qué hacer.
El Simulacro de "Fuego Real" (Aprendizaje por Refuerzo): Finalmente, el dron voló en una ciudad simulada (el motor de juego CARLA) y aprendió haciendo. Si chocaba, recibía una "mala puntuación". Si encontraba con éxito a la persona después de un largo escondite, recibía una "buena puntuación". Con el tiempo, aprendió a volar de forma más suave y segura.

Lo que dicen los Números
Los investigadores probaron su nuevo dron contra modelos estándar anteriores. Utilizaron dos tipos de pruebas:

Lazo Abierto (Open-Loop): El dron observaba un clip de video y predecía dónde estaría la persona, sin volar realmente.
Lazo Cerrado (Closed-Loop): El dron realmente volaba en el simulador, tomando decisiones en tiempo real.

Los resultados fueron prometedores. En las pruebas de "Lazo Abierto", CosFly-VLA cometió menos errores al predecir la trayectoria del objetivo en comparación con los modelos estándar. Específicamente, redujo el error promedio en la predicción de la posición del objetivo en aproximadamente un 34% en mapas familiares y un 35% en mapas nuevos y no vistos.

En las pruebas de vuelo reales de "Lazo Cerrado", la mejora en las tasas de éxito fue aún más dramática. En mapas familiares, el nuevo dron tuvo éxito siguiendo al objetivo un 29.8% más de las veces que el modelo estándar (saltando de un 57% de éxito a un 74%). En mapas completamente nuevos, también mejoró, aunque por un margen menor (2.5%). Lo más importante es que el nuevo dron chocaba con menos frecuencia y mantenía una distancia más segura con el objetivo.

La Captura: Todavía es una Simulación
Aunque los resultados son emocionantes, el artículo es muy claro sobre sus límites. Todas estas pruebas ocurrieron dentro de una simulación por computadora (el juego CARLA). El dron nunca ha volado en el mundo real con viento real, lluvia real o personas impredecibles reales. Los investigadores admiten que la física del mundo real podría ser más desordenada que la del juego. También señalan que el dron fue entrenado en un conjunto específico de mapas urbanos y comportamientos de peatones, por lo que podría tener dificultades con entornos muy diferentes (como un bosque denso o un centro comercial interior concurrido) que no ha visto antes.

La Gran Conclusión
CosFly-VLA sugiere que, para que los drones sean realmente útiles en ciudades complejas, deben dejar de solo "reaccionar" a lo que ven y empezar a "razonar" sobre lo que no ven. Al combinar una fuerte comprensión del espacio 3D con un proceso de razonamiento paso a paso, estos drones pueden mantenerse en el camino incluso cuando el objetivo desaparece. Es un paso hacia la creación de drones autónomos que sean tan inteligentes como un piloto humano que conoce el vecindario, en lugar de solo una cámara que sigue un punto.

Resumen Técnico: CosFly-VLA

Formulación del Problema

El seguimiento de objetivos dinámicos para Vehículos Aéreos No Tripulados (UAV) en entornos urbanos complejos enfrenta un modo de fallo crítico: la oclusión sostenida. Mientras que las políticas de Visión-Lenguaje-Acción (VLA) existentes sobresalen en el seguimiento de objetivos visibles, su rendimiento se degrada significativamente cuando los objetivos son bloqueados por edificios, vegetación o multitudes. En estos escenarios, las canalizaciones convencionales de detección-reidentificación-control pierden la evidencia de identidad estable necesaria para la recuperación. El artículo redefine este desafío no simplemente como "ver y seguir", sino como un problema de recuperación de bucle cerrado. El agente debe mantener una hipótesis espacial sobre un objetivo no visible, predecir su región probable de reaparición utilizando prioris espaciales y ejecutar acciones correctivas para suprimir la deriva y readquirir el objetivo sin observación visual directa.

Metodología: CosFly-VLA

Los autores proponen CosFly-VLA, un modelo VLA con conciencia espacial diseñado para fundamentar objetivos, estimar la visibilidad y generar acciones de vuelo continuas de forma conjunta.

1. Arquitectura del Modelo

Backbone: El modelo utiliza un backbone de visión-lenguaje Qwen3.5 congelado, mejorado con adaptadores de Adaptación de Bajo Rango (LoRA).
Interfaz de Meta-Consulta (Meta-Query): Para evitar la fragilidad de la decodificación JSON, la arquitectura introduce tramos de meta-consulta delimitados por etiquetas (<boi_act>, <boi_box>, <boi_vis>) que enrutan los estados ocultos específicos de la tarea hacia cabezales desacoplados.
Tres Salidas Estructuradas:
1. Cabezal de Acción: Un Transformador de Difusión (DiT) de 12 capas que utiliza Flow Matching para predecir un bloque de acción de trayectoria (waypoint-delta) de 8 pasos y 4 DoF (dx, dy, dz, dyaw). Esto modela una distribución de trayectoria continua en lugar de tokens discretos.
2. Cabezal de Bounding Box: Un MLP que predice la ubicación actual del objetivo (rejilla 0–1000) para la fundamentación visual.
3. Cabezal de Visibilidad: Un MLP que estima la probabilidad de visibilidad del objetivo, crucial para determinar cuándo confiar en el razonamiento espacial sobre la apariencia.
Cadena de Pensamiento (CoT): El modelo es entrenado para emitir un rastro de razonamiento (<thought>) antes de la respuesta estructurada, razonando explícitamente sobre la oclusión y las estrategias de recuperación.

2. Receta de Entrenamiento

El entrenamiento sigue un currículo progresivo de cuatro etapas diseñado para inyectar prioris espaciales aéreas y robustez de bucle cerrado:

Preentrenamiento Continuo (CPT) con Fundamentación Espacial: Una mezcla de 500k muestras (70% trayectorias internas de UAV, 30% conjuntos de datos espaciales-VL aéreos externos como AirSpatial y Open3DVQA-v2) adapta el backbone a la profundidad de la vista de UAV, la distancia y el razonamiento espacial 3-D.
Ajuste Fino Supervisado (SFT) basado en Currículo: Un proceso de tres etapas:
- Calentamiento multi-cabezal: Inicializa los cabezales con un backbone congelado.
- Currículo natural: Entrena sobre distribuciones de seguimiento estándar.
- Currículo de oclusión difícil/larga: Incluye explícitamente ventanas con 4–5 fotogramas invisibles (previamente filtrados) para enseñar el comportamiento de recuperación.
Entrenamiento de Cadena de Pensamiento (CoT): Utiliza rastros de razonamiento generados por un profesor para casos de oclusión difícil/larga para enseñar lógica orientada a la recuperación antes de las respuestas estructuradas.
Aprendizaje por Refuerzo (RL) de Bucle Cerrado: El cabezal de acción se ajusta mediante Optimización de Política de Flujo Guiada por Experto (EG-FPO) en un simulador CARLA. La función de recompensa combina el mantenimiento de la distancia de separación, la calidad de la fundamentación (IoU), la evitación de colisiones y el éxito de la tarea. El backbone permanece congelado; solo se actualiza el experto de acción.

Contribuciones Clave

Reformulación del Seguimiento: El artículo desplaza el enfoque de la imitación de fotogramas visibles hacia la recuperación de bucle cerrado robusta a la oclusión, definiendo protocolos reproducibles de Fácil/Medio/Difícil basados en la visibilidad geométrica.
Arquitectura VLA con Conciencia Espacial: Introduce una interfaz de meta-consulta que desacopla la acción, la fundamentación y la predicción de visibilidad, permitiendo al modelo mantener estimaciones de estado bajo observabilidad parcial.
Estrategia de Entrenamiento Progresiva: Demuestra la eficacia de combinar CPT con fundamentación espacial, aprendizaje por currículo con datos de oclusión larga, razonamiento CoT y RL on-policy para cerrar la breancia entre la supervisión offline y el despliegue de bucle cerrado.
Marco de Evaluación: Establece una evaluación rigurosa utilizando ventanas de bucle abierto graduadas por oclusión y ejecuciones de bucle cerrado en CARLA tanto en mapas vistos como no vistos.

Resultados Experimentales

La evaluación compara CosFly-VLA-0.8B contra VLMs generales (p. ej., Qwen3.5, Opus) y líneas base VLA generales (OpenVLA, $\pi_0$ , $\pi_{0.5}$ ).

Desempeño de Bucle Abierto (Open-Loop):
- Respecto a OpenVLA, CosFly-VLA-0.8B (SFT+CoT) reduce el Error de Desplazamiento Promedio (ADE) en un 34.1% en el test visto y un 35.3% en el test no visto.
- Las mejoras son más pronunciadas en las secciones de oclusión "Difícil", con reducciones de ADE del 46.7% (visto) y 39.2% (no visto).
- El modelo logra una fundamentación de bounding box superior (IoU ~0.65) y una estimación de visibilidad (F1 ~0.94).
Desempeño de Bucle Cerrado (Closed-Loop):
- La variante ajustada por RL mejora la Tasa de Éxito (SR) en un 29.8% (+17 puntos porcentuales) en el test visto y un 2.5% (+2 puntos) en el test no visto en comparación con OpenVLA.
- Reduce el ADE de la ejecución en un 10.0% (visto) y un 8.7% (no visto), y disminuye significativamente el error de distancia de separación.
- El análisis cualitativo muestra que la política de RL recupera con éxito la trayectoria tras la deriva y evita colisiones en corredores urbanos densos donde las líneas base fallan.
Estudios de Ablación:
- El CPT con Fundamentación Espacial se identifica como el principal motor para la generalización entre mapas (ganancias en el test no visto).
- La supervisión CoT proporciona la mayor ganancia marginal en los casos de test visto "Difícil", validando la importancia del razonamiento explícito para la recuperación de la oclusión.

Significancia y Reivindicaciones

El artículo afirma que CosFly-VLA representa un paso significativo hacia el movimiento del seguimiento de UAV desde la imitación de fotogramas visibles hacia el control de bucle cerrado con fundamentación espacial. Los autores enfatizan que el seguimiento robusto bajo oclusión requiere:

Razonamiento espacial explícito sobre objetivos no visibles en lugar de depender únicamente de la apariencia.
Construcción de datos que preserve muestras de oclusión larga en lugar de filtrarlas como ruido.
Optimización de bucle cerrado para adaptarse a la distribución de observación inducida por las propias acciones de la política, evitando la acumulación de errores.

Este trabajo establece que un modelo de 0.8B de parámetros, cuando se entrena con un currículo de fundamentación espacial y RL de bucle cerrado, puede superar a las líneas base VLA de propósito general más grandes en escenarios de seguimiento aéreo complejos y con oclusiones. Los autores señalan que, aunque los resultados son prometedores en simulación, se requiere trabajo futuro para abordar los desafíos de despliegue en el mundo real, tales como el ruido de los sensores, la latencia de comunicación y los diversos comportamientos de los objetivos.