GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Resumen Técnico de GRaD-Nav++: Navegación Visual de Drones Habilitada por Modelo de Lenguaje-Visión con Campos de Radiación Gaussiana y Dinámicas Diferenciables

Enunciado del Problema
El artículo aborda el desafío de permitir que drones autónomos interpreten y ejecuten instrucciones de alto nivel en lenguaje natural en entornos no estructurados. Si bien los avances recientes en pipelines modulares de percepción-planificación-control, aprendizaje por imitación y aprendizaje por refuerzo (RL) han mejorado las capacidades de los drones, los métodos existentes a menudo dependen de habilidades diseñadas manualmente, un ajuste extenso de parámetros o modelos a gran escala inadecuados para su implementación a bordo. Además, los enfoques actuales que utilizan Modelos de Lenguaje Grande (LLM) o Modelos de Lenguaje-Visión (VLM) suelen emplear arquitecturas en capas que crean un cuello de botella entre la toma de decisiones de alto nivel y el control de bajo nivel, o requieren soporte de estación terrestre debido a limitaciones computacionales. Persiste una brecha significativa entre los sistemas actuales y los agentes capaces de comprender intenciones humanas abstractas y adaptarse a tareas y entornos novedosos sin infraestructura externa.

Metodología
Los autores proponen GRaD-Nav++, un marco ligero de Acción-Lenguaje-Visión (VLA) diseñado para ejecutarse completamente a bordo de un dron. El sistema integra tres componentes principales:

1. Entorno de Entrenamiento (3DGS y DiffRL): Para lograr una simulación visual de alta fidelidad y un entrenamiento eficiente en muestras, los autores aprovechan el Splatting Gaussiano 3D (3DGS) para renderizado fotorrealista a tasas interactivas. Esto se combina con Aprendizaje por Refuerzo Diferenciable (DiffRL), que utiliza dinámicas de cuadricóptero diferenciables para acelerar el aprendizaje de políticas mediante optimización basada en gradientes. Este pipeline híbrido permite un aprendizaje eficiente del control de bajo nivel a partir de entradas visuales y lingüísticas sin el costo computacional de la simulación basada en mallas o el renderizado NeRF.
2. Arquitectura del Modelo:
   • Modelo de Lenguaje-Visión (VLM): Un modelo CLIP preentrenado codifica instrucciones en lenguaje natural e imágenes RGB en primera persona. Para adaptarse a las restricciones a bordo (NVIDIA Jetson Orin Nano), el VLM se ejecuta de forma asíncrona, actualizando el vector de características semánticas cada 10 pasos de tiempo.
   • Red de Política (MoE): La política de control central emplea una arquitectura de Mezcla de Expertos (MoE) con una cabeza de acción multi-cabeza. Una red de enrutamiento dirige adaptativamente el cálculo a un subconjunto de redes expertas especializadas (top-k=2) para cada entrada. Este diseño busca mejorar la generalización entre tareas y entornos, mitigando al mismo tiempo el olvido catastrófico, todo ello manteniendo un recuento de parámetros pequeño para la inferencia en tiempo real.
   • Estimador de Contexto: Una Red Estimadora de Contexto (CENet) basada en un Autoencoder Variacional $\beta$ ($\beta$-VAE) procesa observaciones históricas para generar un vector latente, ayudando a mitigar la brecha simulación-realidad y mejorar la robustez.
3. Procedimiento de Entrenamiento: La política se entrena utilizando una función de recompensa centrada en el control dinámico suave, el seguimiento de puntos de referencia y la evitación de obstáculos. El entrenamiento implica generalización multi-tarea (aprendizaje de razonamiento espacial secuencial y anclaje de objetos) y adaptación multi-entorno (entrenamiento a través de distintos entornos 3DGS).

Contribuciones Clave

• Marco VLA a Bordo: La propuesta de un marco de vuelo VLA completamente a bordo que opera sin infraestructura externa ni soporte de estación terrestre.
• Generalización y Adaptación: Demostración de que la política VLA puede cumplir tareas de navegación basadas en instrucciones de alto nivel en lenguaje natural, mostrando generalización a tareas no vistas y adaptación a múltiples entornos.
• Módulo de Acción MoE Novel: La introducción de un módulo de acción MoE multi-cabeza entrenado mediante 3DGS y DiffRL, que logra un rendimiento de vanguardia en eficiencia de muestras y tasas de éxito de tareas en comparación con las líneas base estándar.

Resultados Experimentales
Los autores evaluaron el marco tanto en simulación como en hardware real (un dron equipado con una cámara Intel Realsense D435 y Jetson Orin Nano).

• Generalización Multi-Tarea: En simulación, el método logró una tasa de éxito del 83% en tareas entrenadas y del 75% en tareas no vistas. En hardware real, alcanzó un 67% en tareas entrenadas y un 50% en tareas no vistas. Los estudios de ablación confirmaron que eliminar el VLM o utilizar Optimización de Política Proximal (PPO) estándar sin DiffRL resultó en tasas de éxito cercanas a cero, destacando la necesidad del VLM para el anclaje y del DiffRL para la eficiencia de muestras.
• Adaptación Multi-Entorno: En experimentos a través de diversos entornos simulados y del mundo real, la política MoE logró una tasa de éxito promedio del 81% en simulación y del 67% en entornos reales. Crucialmente, la arquitectura MoE superó significativamente a las líneas base de un solo experto y de redes grandes en la prevención del olvido catastrófico al cambiar entre entornos.
• Cambio de Tarea y Robustez: El sistema demostró la capacidad de adaptarse a mitad de vuelo a instrucciones cambiantes (por ejemplo, cambiar de "vuela a la izquierda" a "vuela a la derecha"), con las puntuaciones de similitud del VLM reflejando dinámicamente la nueva alineación semántica.
• Escalabilidad: Los experimentos mostraron que, aunque aumentar el número de expertos (a 4 u 8) mejoró ligeramente el rendimiento en simulación, degradó el rendimiento en el mundo real debido a la latencia computacional (reduciendo la frecuencia de control a 10 Hz), confirmando la compensación entre la capacidad del modelo y las restricciones de inferencia a bordo.

Significado y Afirmaciones
El artículo afirma establecer un nuevo referente para el vuelo VLA completamente a bordo, demostrando que modelos compactos y eficientes pueden permitir una navegación guiada por lenguaje fiable sin depender de infraestructura externa. Los autores enfatizan que su enfoque cierra la brecha entre la comprensión semántica de alto nivel y el control de bajo nivel mediante una arquitectura unificada y de extremo a extremo.

Sin embargo, los autores mantienen un alcance modesto en sus afirmaciones. Declaran explícitamente que la política se adapta a nuevas combinaciones de subtareas vistas individualmente durante el entrenamiento, pero falla en instrucciones compuestas enteramente por subtareas no vistas. En consecuencia, no afirman que GRaD-Nav++ sea una solución general para la IA encarnada de vocabulario abierto, sino más bien un paso significativo hacia la autonomía eficiente, a bordo y de seguimiento de instrucciones.