Resumen Técnico: Modelos de Mundo de Creencia Guiados por la Incertidumbre para la Navegación de UAV de Largo Alcance

1. Planteamiento del Problema

El artículo aborda el desafío de la navegación de largo alcance para Vehículos Aéreos No Tripulados (UAV) que operan bajo observabilidad parcial y degradación visual. La navegación de UAV en el mundo real es complicada por factores como la niebla, la baja iluminación, el desenfoque por movimiento y la oclusión, los cuales degradan la detección visual a bordo. En entornos de largo alcance, los errores de navegación se acumulan y las decisiones deben revisarse basándose en representaciones incompletas o ruidosas del entorno.

Los métodos existentes de aprendizaje por refuerzo (RL) basados en visión suelen depender de la memoria recurrente o la atención temporal para manejar la observabilidad parcial, pero no logran cuantificar explícitamente la confianza del estado inferido actual o la incertidumbre de las trayectorias imaginadas futuras. Del mismo modo, los modelos de mundo estándar pueden optimizar políticas utilizando rollouts imaginados poco fiables, lo que conduce a la propagación de errores. Crucialmente, los modelos conscientes de la incertidumbre existentes suelen confundir la confianza en la creencia condicionada por la observación actual con la incertidumbre acumulada a través de la predicción latente recursiva, una distinción vital cuando existe degradación visual.

2. Metodología: UG-BWM

El autor propone el Modelo de Mundo de Creencia Guiado por la Incertidumbre (UG-BWM), un marco diseñado para separar la confianza de la creencia actual de la incertidumbre predictiva futura y utilizar esta información para guiar tanto el aprendizaje como el despliegue.

Arquitectura Central

El sistema opera a través de dos rutas computacionales:

1. Ruta de la Posterior (Inferencia): Procesa las observaciones actuales a bordo (imágenes RGB, estimaciones de movimiento, objetivos relativos y banderas de validez de la cámara) para formar una creencia explícita en la incertidumbre.

   • Emplea una red recurrente basada en GRU para mantener el historial temporal.
   • Genera una distribución posterior gaussiana $q_\phi(z_t | h_t, e_t)$ caracterizada por una media $\mu^q_t$ y una covarianza diagonal $\Sigma^q_t$.
   • Característica Clave: Las redes del actor y del crítico reciben la log-covarianza posterior de forma explícita, en lugar de solo un estado latente muestreado. Esto permite que la política actúe basándose en la confianza de su estimación de estado actual.

2. Ruta Predictiva (Imaginación): Propaga trayectorias latentes de horizonte finito utilizando un ensamble de priors predictivos.

   • Un ensamble de $M$ cabezales parametrizados independientemente predice estados latentes futuros, recompensas y probabilidades de colisión.
   • Estimación de la Incertidumbre: La incertidumbre predictiva se calcula combinando el desacuerdo del ensamble (epistémica-como) y la varianza predictiva condicional promedio (aleatoria-como). Estos componentes se normalizan contra referencias de calibración para producir una puntuación de incertidumbre combinada $U_{t+k}$.
   • Gestión de Colisiones: Se deriva una estimación conservadora de la probabilidad de colisión añadiendo una penalización basada en el desacuerdo entre los miembros del ensamble respecto a las predicciones de colisión.

Mecanismos de Aprendizaje y Control

• Objetivo Actor-Crítico Guiado por la Incertidumbre: Durante los rollouts imaginados, la señal de recompensa se penaliza tanto por el riesgo de colisión predicho como por la puntuación de incertidumbre predictiva. Esto reduce la influencia de las transiciones latentes poco fiables en el aprendizaje de la política.
• Replanteamiento Selectivo: Durante el despliegue, el sistema monitorea la incertidumbre predictiva de un rollout nominal generado por el actor determinista.
  • Una regla de activación histérica activa un planificador en el espacio latente solo cuando la incertidumbre máxima sobre un horizonte de monitoreo excede un umbral ($\tau_{on}$).
  • Cuando se activa, el planificador muestrea múltiples secuencias de acciones candidatas, las califica usando el retorno penalizado por la incertidumbre y selecciona la mejor acción.
  • Este mecanismo tiene como objetivo activar la computación pesada (planificación) solo cuando la política nominal se considera poco fiable.

3. Contribuciones Clave

El artículo identifica cuatro contribuciones primarias:

1. Interfaz de Creencia Explícita en la Incertidumbre: Un mecanismo que suministra al actor y al crítico tanto la estimación del estado latente condicionada por la observación como su confianza posterior (log-covarianza), distinguiendo la fiabilidad de la creencia actual de la incertidumbre de la predicción futura.
2. Prior Predictivo de Ensamble: Un método para propagar creencias latentes a través de un ensamble, combinando el desacuerdo del ensamble con la varianza predictiva condicional para estimar la incertidumbre predictiva a través de horizontes imaginados.
3. Objetivo Imaginado Guiado por la Incertidumbre: Un objetivo de entrenamiento que penaliza las transiciones de alta incertidumbre e incorpora estimaciones conservadoras de riesgo de colisión, reduciendo el impacto de los datos imaginados poco fiables en la optimización de la política.
4. Mecanismo de Replanteamiento Selectivo: Una estrategia de tiempo de despliegue que utiliza la incertidumbre predictiva para activar la planificación adicional solo en los estados donde el rollout de la política nominal es poco fiable, reduciendo significativamente la carga computacional en comparación con la planificación continua.

4. Resultados Experimentales

El método fue evaluado en Gazebo Harmonic con PX4 SITL a través de seis condiciones de prueba bloqueadas, variando longitudes de ruta y cuatro tipos de degradación visual (niebla, baja iluminación, desenfoque por movimiento, oclusión), incluyendo cambios estructurales no vistos (Test-OOD).

Métricas de Rendimiento

Comparado con la línea base de control más cercana (DreamerV3-CU, que incluye penalizaciones de incertidumbre pero carece de confianza posterior explícita y replanteamiento selectivo), UG-BWM logró:

• Tasa de Éxito: 0.63 vs. 0.54 (DreamerV3-CU).
• Tasa de Colisión: 0.15 vs. 0.20.
• Longitud de Ruta de Éxito (SPL): 0.62 vs. 0.54.
• Rendimiento de Largo Alcance: UG-BWM mantuvo una tasa de éxito más alta (0.47) en rutas largas comparado con DreamerV3-CU (0.38).

Ablación y Análisis

• Confianza de la Posterior: Eliminar la entrada de covarianza explícita o barajarla redujo significativamente el rendimiento, confirmando que la confianza dependiente del estado es crítica para la toma de decisiones bajo degradación.
• Incertidumbre Predictiva: La puntuación de incertidumbre combinada (desacuerdo + varianza) superó al usar cualquiera de los componentes por separado. La incertidumbre predictiva se mantuvo positivamente correlacionada con el error del rollout incluso más allá del horizonte de entrenamiento ($H=15$).
• Replanteamiento Selectivo: El replanteamiento activado por la incertidumbre igualó el rendimiento de "siempre planificar" (planificación en cada paso), mientras que activó el planificador en solo el 18% de los pasos de control. Esto redujo el uso del planificador en un 82% y bajó la latencia de decisión P95 de 71 ms (siempre planificar) a 48 ms.
• Robustez: UG-BWM demostró una robustez superior a la degradación visual y geometrías no vistas en comparación con las líneas base sin modelo (TD3, PPO recurrente) y los modelos de mundo estándar (DreamerV3).

5. Significado y Reivindicaciones

El artículo afirma que el modelado de creencia explícito en la incertidumbre y la planificación selectiva son estrategias efectivas para la navegación de UAV bajo condiciones de sensores degradados.

• Distinción de la Incertidumbre: El trabajo enfatiza la importancia de distinguir entre la confianza en la actual inferencia del estado (posterior) y la incertidumbre de los estados futuros imaginados (predictiva). Esta distinción permite al sistema reaccionar apropiadamente ante la degradación inmediata de los sensores frente a la acumulación de errores de predicción.
• Eficiencia: El mecanismo de replanteamiento selectivo demuestra que la navegación de alto rendimiento no requiere una planificación continua y computacionalmente costosa. En su lugar, las señales de incertidumbre pueden identificar eficazmente los estados específicos donde el replanteamiento es necesario, ofreciendo un compromiso práctico entre rendimiento y costo computacional.
• Limitaciones: El autor señala modestamente que el estudio se limita a simulación (Gazebo/PX4 SITL) y no proporciona garantías de seguridad formales. El ensamble predictivo es aproximado mediante una única Gaussiana, lo que puede ocultar resultados futuros multimodales. Se sugiere como trabajo futuro validar estos hallazgos en UAV físicos e integrar restricciones de seguridad explícitas.

En resumen, UG-BWM proporciona un marco donde el agente es consciente de su propia ignorancia, utilizando esa conciencia para guiar tanto su proceso de aprendizaje como sus recursos computacionales de despliegue, resultando en una navegación más robusta y eficiente en entornos desafiantes y parcialmente observables.