A Machine-Learning and Cybernetic Control Framework for RGB--Geometric UAV Navigation

Resumen Técnico: Un Marco de Control Cibernético y de Aprendizaje Automático para la Navegación de UAV mediante RGB–Geometría

Planteamiento del Problema
La navegación de Vehículos Aéreos No Tripulados (UAV) a través de corredores fluviales presenta desafíos únicos que se distinguen de los entornos aéreos generales. Los reflejos en el agua alteran la apariencia visual, las curvas cerradas restringen el espacio de maniobra, las interrupciones en la ribera debilitan las pistas geométricas y los objetos flotantes o puentes crean oclusiones locales. Mientras que los planificadores basados en modelos ofrecen interpretabilidad cuando los mapas son precisos, estos tienen dificultades con la incertidumbre inherente a las geometrías fluviales visualmente inestables. Por el contrario, los controladores basados en el aprendizaje suelen sufrir de "fuga" (leakage), donde las políticas dependen de variables privilegiadas del simulador (por ejemplo, máscaras de verdad absoluta o líneas centrales) en lugar de entradas visuales reales, o fallan al no desacoplar la percepción del control métrico. El problema central abordado es el desarrollo de un bucle unificado de percepción–decisión–acción que fusione observaciones RGB puras con retroalimentación cinemática y geométrica estructurada, asegurando que la política aprendida dependa de evidencia visual válida mientras mantiene la seguridad mediante capas de intervención explícitas no aprendidas.

Metodología
Los autores proponen un marco de control cibernético que separa estrictamente la percepción visual, la retroalimentación de estado estructurado, el aprendizaje de recompensas adaptativo y la intervención basada en reglas.

1. Arquitectura del Sistema y Representación del Estado:

   • Flujo Visual: El sistema procesa un fotograma RGB de 224×224 utilizando una arquitectura base ResNet-50 combinada con una Red de Pirámide de Características (FPN). Las características multiescala se agregan mediante el promedio global (global average pooling) y un mecanismo de atención aprendido para producir un vector de apariencia de 256 dimensiones.
   • Estado Estructurado: Se construye un vector de estado de 291 dimensiones mediante la concatenación del latente visual con 35 variables geométricas y cinemáticas definidas explícitamente. Estas incluyen la cinemática relativa (velocidad, rumbo, aceleración), el progreso hacia el objetivo, cinco muestras de la línea central frontal, ocho valores de despeje por lanzamiento de rayos (ray-casting) y un bloque de memoria que contiene el registro más reciente de posición y movimiento no ocluido.
   • Resistencia a la Fuga (Leakage Resistance): Crucialmente, el marco emplea "ablaciones de ancho fijo". Al probar entradas específicas (por ejemplo, eliminando la línea central), el bloque correspondiente se reemplaza con ceros sin insertar variables sustitutas o proyecciones deterministas de otros bloques. Esto asegura que cualquier caída en el rendimiento sea atribuible únicamente a la información faltante.

2. Núcleo de Aprendizaje (TD3 con Meta-Gradientes):

   • El controlador utiliza el Gradiente de Política Determinista Profundo Retrasado Doble (TD3).
   • Recompensas Adaptativas: En lugar de almacenar una recompensa escalar, el búfer de repetición (replay buffer) almacaza un vector de seis dimensiones de componentes de recompensa no ponderados (progreso, seguridad, resultado terminal, suavidad, rumbo y penalización por paso). Esto permite que la recompensa escalar se reconstruya dinámicamente utilizando los pesos actuales.
   • Optimización de Meta-Gradientes: Un meta-gradiente diferenciable vincula las actualizaciones virtuales de actor-crítico con un objetivo cinemático de un solo paso de validación. La pérdida externa minimiza una función suave de la distancia al objetivo, el error de trayectoria transversal, el despeje de obstáculos y el esfuerzo de control. Los pesos de la recompensa ($\lambda$) se actualizan mediante un hipergradiente, sujeto a una proyección que impone un suelo de seguridad (por ejemplo, un peso mínimo para el componente de seguridad) tras la detección de una violación de seguridad.

3. Capa de Intervención Híbrida:

   • Una capa de reglas congelada y separada opera independientemente de la política aprendida. Se activa ante eventos específicos: bifurcación (seleccionando la rama mejor alineada con el objetivo), terminación (frenado monotónico al perder el río), oclusión severa (cerrando brechas mediante memoria) y agregación de obstáculos (mezclando las acciones de la política con un campo de potencial artificial).
   • El sistema registra tanto la acción de la política ($a^\pi_t$) como la acción ejecutada ($a^{exec}_t$) para distinguir el comportamiento aprendido de las intervenciones de seguridad diseñadas.

Contribuciones Clave

1. Fusión Visual-Geométrica Validada: El artículo formula un estado de 291 dimensiones donde una representación RGB/FPN en línea se concatena con variables métricas explícitas. La evidencia a nivel de resultado (84.0% de finalización en una ablación de "visión más cinemática" donde todos los priors geométricos son cero) demuestra que la política utiliza efectivamente el flujo visual en lugar de depender de sustitutos geométricos privilegiados.
2. Grafo de Recompensa Adaptativa Matemáticamente Cerrado: Los autores cierran el grafo computacional para la adaptación de la recompensa. Al almacenar los componentes brutos de la recompensa y utilizar un objetivo externo diferenciable que involucra cinemática virtual, permiten la reponderación de transiciones históricas sin depender de recompensas escalares obsoletas.
3. Protocolo de Ablación Resistente a la Fuga: El estudio define una metodología de ablación rigurosa donde la eliminación de una entrada estructurada reemplaza dicha entrada con ceros, asegurando que no haya filtración de información sustituta hacia el estado. Esto aísla el valor marginal de entradas específicas (por ejemplo, memoria, línea central) sin confundir la capacidad de optimización.
4. Separación de Preocupaciones: El marco separa explícitamente el control aprendido, la optimización predictiva (NMPC) y la intervención basada en reglas. Esto permite la atribución independiente de las ganancias de seguridad y eficiencia, evitando la confusión entre el aprendizaje de la política y los escudos de seguridad diseñados.
5. Protocolo de Evaluación Reproducible: El artículo proporciona una suite de evaluación exhaustiva que incluye manifiestos equilibrados congelados, estadísticas emparejadas, comprobaciones de gradiente de diferencia finita y bancos de pruebas distintos para el control de geometría general y eventos específicos del río (bifurcación, terminación, oclusión, agregación).

Resultados

• Ablaciones de Estado: En las ablaciones de ancho fijo, eliminar el bloque de memoria resultó en la mayor disminución observada en la finalización (4.25 puntos porcentuales), aunque esto no fue estadísticamente significativo. La condición de "visión más cinemática" (eliminando toda la geometría explícita) retuvo un 84.0% de finalización, validando la utilidad del flujo visual.
• Adaptación de Recompensa: Aunque las variantes de meta-gradiente lograron tasas de finalización más altas (87.75%) en comparación con los pesos fijos (83.13%), un control de "hipergradiente cero" —que aplica la misma proyección activada por seguridad pero desactiva la actualización del hipergradiente— logró una tasa de finalización idéntica del 87.75%. Esto indica que la ganancia de rendimiento se atribuye a la reconfiguración de la recompensa proyectada (específicamente el suelo de seguridad) más que al mecanismo de hipergradiente en sí.
• Comparación de Controladores:
  • Navegación General: El controlador híbrido TD3 logró un 88.5% de finalización media de la tarea en un banco de pruebas de eventos fluviales. Esto superó al Control Predictivo basado en Modelo No Lineal (NMPC) por 11.1 puntos porcentuales y al RRT*-Replan por 15.9 puntos.
  • Control de Geometría: En un banco de pruebas de solo geometría (sin RGB), el NMPC superó a un controlador de reglas simples (78.7% frente a 65.3% de finalización), pero requirió una latencia computacional significativamente mayor (32.9 ms frente a 4.5 ms por paso).
  • Impacto de la Intervención: La activación de todas las reglas de intervención redujo las colisiones en la navegación general, pero disminuyó el éxito de llegada al objetivo ordinario en un 12.63 puntos porcentuales, resaltando un compromiso entre seguridad y eficiencia. Las reglas manejaron con éxito el 81.5% de los casos de terminación mediante paradas seguras o redireccionamiento.

Significancia y Reivindicaciones
El artículo afirma establecer un marco reproducible e inspeccionable para integrar la percepción visual, el aprendizaje de recompensa adaptativo y la intervención de seguridad híbrida en la navegación de UAV en corredores fluviales. Su significancia no radica en proponer un único "mejor" algoritmo, sino en proporcionar una descomposición rigurosa del problema de control:

• Demuestra que la información visual puede impulsar la navegación incluso cuando los priors geométricos explícitos se eliminan, siempre que la representación del estado esté cuidadosamente diseñada.
• Demuestra que el aprendizaje de recompensa adaptativa puede ser matemáticamente cerrado y verificado mediante comprobaciones de diferencia finita, aunque el principal beneficio en esta configuración específica provino de la proyección de los pesos restringida por seguridad más que del mecanismo de gradiente.
• Ofrece un modelo de atribución claro donde las contribuciones de la política aprendida, el optimizador basado en modelos y la intervención basada en reglas son distintas y medibles, evitando el error común de atribuir la seguridad diseñada a la inteligencia aprendida.

Los autores mantienen una postura modesta, señalando que, si bien el marco mejora las tasas de finalización sobre los modelos de referencia en escenarios fluviales específicos, las ganancias suelen ser impulsadas por la reconfiguración específica de los pesos de la recompensa y la capa de intervención, más que por el mecanismo de meta-gradiente por sí solo. El trabajo sirve como un plano metodológico para separar la percepción, el estado y la seguridad en entornos complejos y visualmente inestables.