Situationally-Aware Dynamics Learning

1. Problema y Motivación

Los robots autónomos que operan en entornos complejos y no estructurados enfrentan desafíos significativos debido a factores latentes y no observados (como el tipo de terreno, desgaste de actuadores, cambios de carga o condiciones climáticas) que oscurecen su comprensión del estado interno y del mundo exterior.

• Ambigüedad de Estado: Cuando un robot depende únicamente de información parcial (por ejemplo, odometría inercial sin sensores de terreno externos), la misma acción ejecutada desde un estado aparente idéntico puede producir resultados drásticamente diferentes.
• Limitaciones de los Modelos Actuales: Los enfoques tradicionales de aprendizaje de dinámicas o control basados en física a menudo fallan porque asumen que las dinámicas son estacionarias o dependen de información privilegiada (datos de verdad fundamental) que no está disponible en tiempo real.
• Consecuencia: Esta ambigüedad aumenta la incertidumbre en la toma de decisiones, lo que lleva a planes subóptimos, ineficiencia en el uso de datos y, en casos extremos, comportamientos inseguros (como volcar un vehículo).

2. Metodología Propuesta

Los autores proponen un marco novedoso basado en Procesos de Decisión de Markivo con Parámetros Ocultos Generalizados (GHP-MDP). El objetivo es aprender online representaciones de estados ocultos que capturen los factores latentes que afectan las dinámicas del robot.

A. Formulación GHP-MDP

El problema se formaliza donde el espacio de estados observable $S$ y las acciones $A$ están influenciados por parámetros latentes no observables $\Theta$. La función de transición se define como $T(s, \theta, a, s')$, donde $\theta$ representa la "situación" actual del robot (el proceso generador de datos subyacente).

B. Aprendizaje de Representación de Situación (Online y No Supervisado)

La innovación central es aprender la distribución conjunta de las transiciones de estado $(s, a, s')$ en tiempo real para identificar cambios en las dinámicas.

1. Detección de Cambios (Multivariate BOCD): Se extiende la Detección Online de Cambios Bayesiana (BOCD) a un entorno multivariado. El algoritmo monitorea el flujo de datos de transición y detecta cuándo la distribución subyacente cambia (un "cambio de situación").
   • Utiliza una distribución previa Normal-Wishart para modelar la media y la matriz de precisión de las transiciones.
   • Calcula probabilidades de crecimiento (mantener la misma situación) y probabilidad de cambio de punto (detectar una nueva situación).
2. Identificación de Situaciones: Cuando se detecta un cambio, se estima la nueva distribución local de dinámicas. Si la distancia de Mahalanobis a las distribuciones conocidas supera un umbral, se crea una nueva "situación" en la biblioteca.
3. Representación Simbólica: Para integrar esta información en el modelo de dinámicas, cada distribución de situación se mapea a un símbolo simbólico $\theta$ utilizando la Función Generadora de Momentos (MGF). Esto convierte la distribución probabilística continua en un valor discreto que el modelo de control puede procesar.

C. Planificación y Control Adaptativo

• Modelo de Dinámicas: Se utiliza un ensemble de redes neuronales probabilísticas (Gaussianas) que toma como entrada el estado, la acción y el símbolo de situación actual $\theta$. Esto permite al modelo predecir la evolución del estado condicionada al contexto latente.
• Controlador: Se emplea Model Predictive Path Integral (MPPI). El planificador genera trayectorias asumiendo que el símbolo de situación se mantiene constante durante el horizonte de planificación, permitiendo generar políticas adaptativas (ej. moverse más lento en terreno resbaladizo).

3. Contribuciones Clave

1. Método de Aprendizaje Online No Supervisado: Un enfoque eficiente que permite a los robots adaptar sus modelos de dinámicas a factores latentes sin necesidad de información privilegiada (ground-truth) ni entrenamiento multi-etapa.
2. Extensión Multivariada de BOCD: Una nueva metodología para detectar y modelar cambios en la distribución de dinámicas de robots en tiempo real, utilizando estadísticas suficientes (media y precisión) para segmentar el espacio de situaciones.
3. Representación Simbólica de Dinámicas Latentes: El uso de la función generadora de momentos para convertir distribuciones de transición complejas en símbolos interpretables que alimentan el modelo de control.
4. Validación Exhaustiva: Demostración de la efectividad en dos plataformas distintas (UGV y Cuadricóptero) y en dos modalidades (aprendizaje activo en MBRL y aprendizaje pasivo en conjuntos de datos), tanto en simulación como en el mundo real.

4. Resultados Experimentales

A. Vehículo Terrestre No Tripulado (UGV)

• Escenarios: Navegación en terrenos no estructurados (madera, césped, barro, concreto) con pendientes pronunciadas y superficies resbaladizas.
• Comparativa: El método propuesto superó a baselines de RL sin modelo (PPO, SAC, TD3), RL con modelo (TD-MPC2, PETS) y modelos basados en física (Dubins).
• Rendimiento:
  • Eficiencia de Datos: Aprendió políticas exitosas en menos episodios que los métodos basados en modelos.
  • Seguridad: Fue el único método capaz de completar tareas en terrenos extremadamente difíciles donde los baselines fallaron (volcaron o se atascaron).
  • Comportamientos Emergentes: El robot desarrolló estrategias adaptativas no programadas, como retroceder para ganar tracción, reducir la velocidad en pendientes o tomar curvas en lugar de líneas rectas en terrenos irregulares.

B. Cuadricóptero (Quadrotor)

• Escenarios: Cruce de puertas en un entorno con campos de viento cambiantes y aleatorios.
• Resultados: La versión "consciente de la situación" (SA-PETS) superó significativamente al modelo PETS estándar.
  • En escenarios con pocos datos (100k transiciones), hubo una mejora del 34.2%.
  • En escenarios con muchos datos (5M transiciones), la mejora fue del 43.6%.
  • El modelo propuesto fue mucho más robusto ante la degradación del rendimiento cuando se introducían nuevos patrones de viento que confundían al modelo base.

5. Significado e Impacto

• Robustez en Entornos No Estructurados: El trabajo demuestra que es posible lograr una navegación segura y eficiente sin sensores externos costosos (como cámaras o LiDAR de alta resolución para clasificación de terreno), utilizando únicamente la retroalimentación propia (propiocepción) para inferir el contexto.
• Eficiencia de Datos: Al aprender representaciones latentes online, se reduce la necesidad de grandes cantidades de datos de entrenamiento o simulaciones complejas, lo que facilita la implementación en robots reales.
• Interpretabilidad: A diferencia de las representaciones latentes "caja negra" comunes en el aprendizaje profundo, este enfoque genera representaciones estructuradas (distribuciones de transición) que pueden analizarse y entenderse, lo cual es crucial para aplicaciones de seguridad crítica.
• Generalización: La capacidad de transferir el modelo aprendido de simulación a la realidad (zero-shot) y adaptarse a nuevos terrenos sin reentrenamiento sugiere un camino prometedor para la robótica de campo y la exploración planetaria.

En resumen, este artículo presenta un marco teórico y práctico sólido para dotar a los robots de "conciencia situacional" mediante el aprendizaje de dinámicas latentes, permitiendo una adaptación en tiempo real que mejora drásticamente la seguridad, la eficiencia y el rendimiento en entornos impredecibles.