OnFly: Onboard Zero-Shot Aerial Vision-Language Navigation toward Safety and Efficiency

El artículo presenta OnFly, un marco totalmente integrado a bordo que mejora la seguridad y eficiencia de la navegación aérea visión-lingüística de cero disparos mediante una arquitectura de doble agente, memoria híbrida y verificación semántico-geométrica, logrando un aumento significativo en la tasa de éxito de las tareas tanto en simulación como en vuelos reales.

Lo esencial

Imagina que quieres enseñarle a un dron a volar por una ciudad compleja solo dándole instrucciones en voz natural, como: "Vuela hacia el parque, esquiva los árboles y detente junto a la fuente donde hay un niño jugando".

El problema es que los drones actuales, cuando intentan hacer esto sin haber sido entrenados específicamente para ese lugar, suelen confundirse, chocar o volar de manera muy lenta y torpe. Es como si el piloto del dron tuviera un cerebro que se agota rápido, se olvida de dónde empezó o tiene miedo de moverse rápido por si acaso.

Este paper presenta OnFly, una nueva solución que hace que el dron sea un "piloto experto" capaz de entender el mundo en tiempo real, volar con seguridad y llegar a su destino sin ayuda de computadoras externas.

Aquí te explico cómo funciona OnFly usando analogías sencillas:

1. El Problema: Un solo cerebro, demasiadas tareas

Antes, los sistemas intentaban hacer dos cosas al mismo tiempo con un solo "cerebro" (un modelo de inteligencia artificial):

1. Tomar decisiones rápidas: ¿Hacia dónde giro el volante ahora mismo? (Esto debe ser milisegundo a milisegundo).
2. Llevar la cuenta del viaje: ¿Ya llegué a la fuente? ¿Me estoy desviando del camino? (Esto requiere pensar un poco más y recordar el pasado).

Hacer ambas cosas a la vez era como intentar conducir un coche de carreras mientras lees un libro de historia: el coche se va de la carretera o el libro se te cae. El dron se volvía inestable, lento o se olvidaba de su objetivo.

2. La Solución: El equipo de dos pilotos (Arquitectura Dual-Agent)

OnFly soluciona esto dividiendo el trabajo en dos agentes (dos "cerebros" virtuales) que comparten la misma visión pero hacen cosas diferentes:

• El Piloto de Reacción Rápida (Agente de Decisión): Este es el piloto que mira por la ventana y gira el volante cada milisegundo. Su única misión es decir: "¡Gira un poco a la izquierda ahora!". No se preocupa por si ya llegó al parque, solo se asegura de que el dron vuele suave y rápido.
• El Copiloto de Navegación (Agente de Monitoreo): Este es el copiloto que tiene el mapa y el reloj. Mira el panorama general cada pocos segundos y dice: "¡Hey, ya estamos cerca de la fuente! ¡Detente!" o "¡Oye, te estás alejando del camino, corrígete!".

Al separar estas tareas, el dron no se confunde. El piloto rápido no se detiene a pensar si llegó, y el copiloto no interrumpe los giros rápidos.

3. La Memoria: El Álbum de Fotos vs. La Pizarra Borrable

Para saber si ha llegado a su destino, el dron necesita recordar por dónde pasó.

• El método antiguo era como una pizarra borrable: escribías la última foto que viste, pero para escribir la nueva, borrabas la anterior. Con el tiempo, el dron olvidaba cómo empezó el viaje y se perdía.

• El método OnFly (Memoria Híbrida) es como un álbum de fotos inteligente.

  • Guarda la foto inicial (para saber dónde empezó).
  • Guarda fotos clave de momentos importantes (como cuando giró en una esquina famosa).
  • Guarda la foto actual (lo que ve ahora).

  Así, el dron siempre tiene el contexto completo del viaje sin tener que releer todo el álbum de principio a fin cada vez, lo que lo hace muy rápido y eficiente.

4. El Filtro de Seguridad: El Inspector de Calidad

A veces, la inteligencia artificial puede tener una "alucinación" y pensar que puede volar a través de un árbol o un edificio.
OnFly tiene un verificador que actúa como un inspector de seguridad:

1. Revisa la semántica: ¿El dron está mirando hacia lo que le pediste? (Ej. ¿Está mirando a la fuente o a un árbol?).
2. Revisa la geometría: ¿Hay espacio físico para pasar? Si el dron quiere ir hacia un muro, el verificador le dice: "No, eso es un muro. Mueve el objetivo un poco a la izquierda, pero sigue apuntando a la fuente".

Luego, un planificador traza la ruta perfecta para esquivar obstáculos, como un conductor experto que sabe exactamente cómo maniobrar en un estacionamiento lleno de coches.

5. El Resultado: Volar en el mundo real

Lo más impresionante es que todo esto ocurre dentro del dron mismo. No necesita estar conectado a internet ni a una computadora gigante en la nube. Todo el "cerebro" cabe en una pequeña caja (una tarjeta Jetson) montada en el dron.

¿Qué lograron?

• Antes: Los drones solo tenían éxito en el 26% de las pruebas (se chocaban o se perdían).
• Con OnFly: El éxito subió al 67.8%.
• Además, volaron mucho más rápido y chocaron mucho menos.

En resumen

OnFly es como darle a un dron un equipo de navegación profesional: un piloto ágil para los movimientos rápidos, un copiloto sabio para recordar el camino y un inspector de seguridad que evita que choque contra paredes. Todo esto funciona en tiempo real, dentro del propio dron, permitiéndole seguir instrucciones humanas en entornos complejos y desconocidos con una seguridad y eficiencia que antes era imposible.

Resumen técnico

Resumen Técnico: OnFly

1. Planteamiento del Problema

La Navegación Aérea Visión-Lenguaje (AVLN) permite que los drones (UAVs) naveguen en entornos 3D complejos siguiendo instrucciones en lenguaje natural. Aunque los métodos recientes de "zero-shot" (sin entrenamiento específico) basados en Modelos de Lenguaje Visual (VLM) han avanzado, enfrentan tres desafíos críticos que impiden su despliegue en el mundo real:

1. Inestabilidad en la toma de decisiones: Los métodos existentes suelen acoplar la generación de objetivos de vuelo de alta frecuencia (control en tiempo real) con el monitoreo de progreso de baja frecuencia en un único flujo de inferencia. Esto causa interferencias mutuas, retrasos en la salida de objetivos y decisiones inestables.
2. Monitoreo de progreso poco fiable a largo plazo: Las memorias temporales tradicionales (ventanas deslizantes) pierden el contexto global de la trayectoria a medida que se añaden nuevas observaciones y desestabilizan el caché de claves-valor (KV-cache) de los modelos de lenguaje, lo que aumenta la latencia y provoca fallos en la detección de la finalización de la tarea.
3. Compromiso entre seguridad y eficiencia: Existe una contradicción no resuelta: los métodos conservadores evitan colisiones pero generan un comportamiento errático de "parar y arrancar" (baja eficiencia), mientras que los métodos agresivos mejoran la eficiencia pero carecen de mecanismos de seguridad sistemáticos, aumentando el riesgo de colisiones.

2. Metodología: El Sistema OnFly

OnFly es un sistema completamente a bordo (onboard), en tiempo real y de zero-shot diseñado para resolver estos cuellos de botella mediante tres innovaciones clave:

A. Arquitectura de Doble Agente con Percepción Compartida
Para desacoplar las demandas conflictivas de frecuencia, OnFly introduce dos agentes que comparten la misma percepción visual pero mantienen contextos de inferencia independientes:

• Agente de Decisión (Alta Frecuencia): Genera objetivos de vuelo en tiempo real. Predice un punto objetivo en coordenadas de imagen (2D) basado en la instrucción actual y una pista ligera del historial (reproyección del objetivo anterior). Su objetivo es la respuesta rápida.
• Agente de Monitoreo (Baja Frecuencia): Rastrea el progreso de la tarea y emite señales de estado (Continuar, Detener, Perder objetivo). Utiliza una memoria híbrida para mantener el contexto global sin interferir con el control en tiempo real.
• Eficiencia: Ambos agentes comparten las características visuales extraídas por un ViT (Vision Transformer) y utilizan cachés KV separadas para sus respectivas tasas de actualización, eliminando la redundancia computacional.

B. Memoria Híbrida de Fotogramas Clave y Recientes
Para el Agente de Monitoreo, se diseña una estructura de memoria que combina:

1. El fotograma inicial ($o_1$).
2. Un conjunto de fotogramas clave seleccionados ($Q_t$) que cubren la trayectoria global.
3. El fotograma más reciente ($o_t$).

• Mecanismo: Los fotogramas clave se seleccionan basándose en la distancia recorrida y la similitud de características, evitando duplicados.
• Beneficio: Esta estructura preserva el contexto de la trayectoria a largo plazo y, crucialmente, mantiene el prefijo de entrada estable para el KV-cache del modelo de lenguaje. Esto permite una reutilización eficiente del caché, reduciendo la latencia de inferencia y mejorando la fiabilidad en tareas de largo horizonte.

C. Verificación Semántico-Geométrica y Planificación Local
Para garantizar que los objetivos predichos por el VLM sean seguros y ejecutables:

• Verificador Semántico-Geométrico: Refina el objetivo 2D predicho. Primero, ajusta la posición para asegurar consistencia semántica (usando similitud de características en una región de interés). Segundo, aplica una verificación de profundidad para evitar obstáculos.
• Puerta Geométrica (Bearing-aware gating): Si el objetivo está cerca del borde de la imagen (ángulo de visión grande), el sistema reduce el rango de avance para priorizar el giro (yaw) sobre el movimiento forward, evitando desviaciones.
• Planificador Local (Receding-Horizon): Utiliza un mapa ESDF (Signed Distance Field) para generar trayectorias óptimas y libres de colisiones hacia el objetivo verificado, regularizando el yaw para alinearlo con la dirección del objetivo.

3. Contribuciones Clave

1. Arquitectura de Doble Agente: Desacopla la generación de objetivos de alta frecuencia del monitoreo de estado de baja frecuencia, estabilizando la toma de decisiones y eliminando interferencias.
2. Memoria Híbrida: Un diseño de memoria que equilibra el contexto global y la estabilidad del KV-cache, permitiendo un monitoreo fiable a largo plazo en hardware limitado.
3. Validación y Planificación Segura: Integración de un verificador semántico-geométrico y un planificador local que transforman las predicciones semánticas en trayectorias físicas seguras y eficientes.
4. Despliegue Completo a Bordo: Implementación y validación exitosa en hardware real (Jetson Orin NX) sin dependencia de la nube, logrando inferencia en tiempo real.

4. Resultados Experimentales

Los experimentos se realizaron en simulación (10 entornos de alta fidelidad) y en vuelos reales con un cuadricóptero personalizado.

• Rendimiento en Simulación:
  • Tasa de Éxito (SR): OnFly logró un 67.8%, superando significativamente a la mejor línea base (SPF) que obtuvo un 26.4%.
  • Seguridad: La tasa de colisiones (CR) se redujo drásticamente al 2.7%, frente al 42.7% de SPF.
  • Eficiencia: El tiempo de vuelo (FT) se redujo a 27.1 segundos, siendo más rápido que las líneas base (que oscilaron entre 32.9s y 39.2s).
• Estudios de Ablación:
  • La eliminación del agente dual aumentó el tiempo de vuelo y redujo la tasa de éxito, confirmando la necesidad de desacoplar el control del monitoreo.
  • La memoria híbrida superó a las ventanas deslizantes en términos de latencia y tasa de éxito final.
  • El verificador y el planificador fueron esenciales para reducir las colisiones.
• Experimentos Reales: El sistema ejecutó con éxito tareas complejas como seguimiento de peatones, navegación de largo alcance en pasillos y navegación precisa en terrenos escalonados, demostrando su viabilidad en entornos no estructurados.

5. Significado e Impacto

OnFly representa un avance significativo hacia la navegación autónoma de drones en el mundo real. Al resolver el trilema de la inestabilidad de decisión, la pérdida de contexto a largo plazo y el compromiso seguridad-eficiencia, el trabajo demuestra que es posible ejecutar sistemas complejos de visión-lenguaje en hardware de borde con recursos limitados.

Su enfoque de "zero-shot" significa que los drones pueden operar en entornos desconocidos sin necesidad de entrenamiento específico para cada escenario, lo cual es crucial para aplicaciones como inspección industrial, respuesta a emergencias y gestión de ciudades inteligentes. La liberación del código y la validación en hardware real establecen un nuevo estándar para la investigación en AVLN desplegable.