InFeR: Informed Failure Resilience in Learned Visual Navigation Control

Resumen Técnico: InFeR – Resiliencia ante Fallos Informada en Control de Navegación Visual Aprendido

Enunciado del Problema
El aprendizaje por imitación (IL) ha logrado éxitos significativos en la navegación visual, pero sigue estando inherentemente limitado por su dependencia de los datos de entrenamiento. Las políticas entrenadas sobre demostraciones exitosas a menudo fallan de manera impredecible al encontrarse con escenarios fuera de distribución (OOD) (por ejemplo, fallos de sensores, obstáculos dinámicos o caminos bloqueados). Los enfoques actuales para el manejo de fallos adolecen de dos limitaciones principales: a menudo se centran exclusivamente en la detección, desencadenando una intervención humana en lugar de una recuperación autónoma; y frecuentemente dependen de detectores externos que carecen de acceso a las representaciones internas de la política, lo que impide capturar modos de fallo reales o proporcionar información procesable para la recuperación. El artículo argumenta que la verdadera resiliencia ante fallos requiere no solo detectar fallos, sino también reconocer autónomamente sus fuentes y recuperarse de ellos sin demostraciones adicionales de fallo o recuperación.

Metodología: El Marco InFeR
InFeR es un marco general diseñado para aumentar las políticas estándar de IL con "resiliencia ante fallos informada" utilizando únicamente un conjunto de datos estático único de demostraciones exitosas. Opera en dos fases principales:

1. Entrenamiento de Política Consciente de OOD ($\pi_{IL-OOD}$):

   • Cuello de Botella de Información Variacional (VIB): La innovación central consiste en reentrenar la política de IL con una pérdida VIB. Esto regulariza el espacio latente entre el codificador visual y el decodificador de acciones. El objetivo es comprimir las observaciones de entrada mientras se maximiza la retención de información crucial para la predicción de acciones.
   • Estructuración del Espacio Latente: Al imponer que la representación latente se mantenga cerca de una distribución previa (Gaussiana unitaria), la divergencia KL entre las características latentes codificadas y la distribución previa sirve como una puntuación escalar OOD. Una alta divergencia indica una entrada OOD.
   • Predicción Conformal (CP): Para manejar dinámicas variables en el tiempo y evitar umbralización arbitraria, InFeR aplica predicción conformal funcional sobre un conjunto de calibración de trayectorias. Esto genera límites superiores variables en el tiempo para las puntuaciones KL, proporcionando un método estadísticamente fundamentado para la detección binaria OOD ($b_t$).
   • Grad-CAM para Reconocimiento: Para identificar la fuente del fallo, InFeR aplica Grad-CAM a los mapas de características del codificador visual utilizando los gradientes de la puntuación OOD basada en KL. Esto produce un mapa de calor ($M_t$) que localiza las regiones de la imagen responsables de la detección OOD.

2. Política de Recuperación Heurística ($\pi_{Rec}$):

   • Dado que faltan datos de fallo y recuperación, InFeR emplea una política de recuperación heurística guiada por el mapa de calor de reconocimiento OOD.
   • La política selecciona de un conjunto discreto de macro-acciones: retroceder, rotar a la izquierda, rotar a la derecha o pedir ayuda.
   • Lógica de Decisión: El mapa de calor se discretiza en bins horizontales. Si se detectan características OOD en los bins izquierdo o derecho, el robot rota alejándose de ellos. Si el robot está bloqueado o la región OOD es central, retrocede (revertiendo una secuencia almacenada de acciones pasadas). Si los intentos de recuperación fallan después de un número máximo de intentos ($t_{max}$), el robot se detiene y solicita asistencia humana.

Contribuciones Clave

• Resiliencia ante Fallos Informada: El artículo define e implementa un marco que va más allá de la simple detección de fallos para incluir el reconocimiento de la fuente y la recuperación autónoma, fundamentado en las representaciones latentes internas de la política.
• Entrenamiento Eficiente en Datos: InFeR logra capacidades de conciencia OOD y recuperación sin requerir demostraciones adicionales de fallo o recuperación, dependiendo únicamente del conjunto de datos original de demostraciones exitosas.
• Agnosticismo Arquitectónico: El marco está diseñado para ser general, capaz de aumentar diferentes arquitecturas de políticas de IL (por ejemplo, políticas de objetivo de imagen basadas en CNN y políticas de seguimiento de trayectorias recurrentes) sin modificar sus estructuras centrales.
• Integración de Detección y Reconocimiento: A diferencia de los detectores externos, InFeR integra tanto la detección como el reconocimiento directamente en la política, utilizando el espacio latente para distinguir entradas dentro de la distribución de las OOD y localizar las características visuales específicas que causan la anomalía.

Resultados Experimentales
Los autores evaluaron InFeR en un robot Spot de Boston Dynamics en entornos interiores y exteriores del mundo real, probando contra cuatro tipos de fallos: fallo de sensor, caminos bloqueados (callejones sin salida y mínimos locales), obstáculos dinámicos de corto alcance y objetivos de imagen no viables.

• Rendimiento de Detección y Reconocimiento: InFeR superó a las líneas base del estado del arte (incluyendo métodos basados en densidad, discriminadores de una clase y autoencoders basados en reconstrucción) tanto en detección como en reconocimiento OOD. El uso de puntuaciones KL y Grad-CAM en vectores latentes resultó significativamente más efectivo y menos ruidoso que las métricas de error de reconstrucción en imágenes de alta dimensión.
• Éxito en la Recuperación: Las políticas habilitadas con InFeR detectaron y recuperaron con éxito diversos fallos. Por ejemplo, InFeR-DEC (basado en la política DECISION) completó autónomamente una ruta de 300 m que involucraba terreno complejo, recuperándose de mínimos locales y obstáculos dinámicos.
• Importancia del Reconocimiento: Las comparaciones con una variante "Ciega" (que ignora el mapa de calor y selecciona acciones correctivas aleatorias) mostraron que la recuperación informada es significativamente más eficiente y efectiva, particularmente en escenarios dinámicos. InFeR-DEC se recuperó hasta 2 veces más rápido que la variante ciega.
• Generalizabilidad: El marco demostró un rendimiento consistente en dos arquitecturas de políticas distintas (GNM y DECISION), validando su aplicabilidad a diferentes paradigmas de navegación visual.

Significado
El artículo afirma que InFeR representa un paso significativo hacia una navegación visual segura y robusta con aprendizaje por imitación. Al permitir que las políticas detecten, reconozcan y se recuperen autónomamente de fallos sin supervisión externa ni datos de entrenamiento adicionales, InFeR aborda una brecha crítica en el despliegue de sistemas de navegación aprendidos en entornos abiertos y no estructurados. Los autores postulan que este enfoque permite a los controladores aprendidos manejar la navegación a larga distancia en escenarios complejos donde las políticas de IL tradicionales fallarían de otro modo de manera impredecible.