From Kinematics to Dynamics: Learning to Refine Hybrid Plans for Physically Feasible Execution

1. El Problema

El trabajo aborda una brecha crítica en la planificación robótica híbrida (que combina requisitos lógicos discretos y restricciones numéricas continuas).

• Limitación de los Planificadores Existentes: Los planificadores temporales híbridos actuales (como Scotty) modelan el movimiento del robot utilizando dinámicas de primer orden (integradores simples donde la velocidad es la entrada de control). Esto permite formular problemas de optimización tratables (como Programas de Cono de Segundo Orden - SOCP o MILP), pero ignora las dinámicas de segundo orden reales (aceleración limitada, inercia y efectos de arrastre/drag).
• Consecuencia: Un plan que es factible bajo el modelo de primer orden suele ser físicamente inviable bajo dinámicas reales. Intentar ejecutar estos planes con controladores de bajo nivel provoca saturación de actuadores, grandes errores de seguimiento e inestabilidad.
• El Desafío: Dado que el esqueleto del plan (secuencia de acciones discretas) suele estar fijo, generar una trayectoria continua que respete las restricciones físicas de segundo orden se convierte en un problema de optimización de dos niveles difícil de resolver directamente dentro del marco del planificador original.

2. Metodología

Los autores proponen un marco de refinamiento neuro-simbólico que utiliza Aprendizaje por Refuerzo (RL) para ajustar los planes de primer orden y hacerlos físicamente válidos sin alterar la secuencia lógica de acciones.

• Formulación como MDP (CSA-MDP): El problema de refinamiento se modela como un Proceso de Decisión de Markov en Espacio Continuo de Estado y Acción (CSA-MDP).
  • Estado: Se representa el plan como un grafo estructurado ($G = (V, E)$) que captura relaciones espaciales, temporales y dinámicas. Los nodos representan eventos (inicios/fin de actividades) y las aristas representan las transiciones.
  • Acción: Un agente de RL (basado en una Red Neuronal de Grafos - GNN) propone factores de escala continuos para ajustar los límites de velocidad en cada segmento del plan.
  • Transición: Los nuevos límites de velocidad se envían a un solucionador SOCP para generar una nueva trayectoria candidata.
• Validación de Tiempo Mínimo (MTV): Se utiliza un método analítico de validación (Minimum-Time Validation) basado en dinámicas no lineales de segundo orden (con aceleración acotada y arrastre cuadrático).
  • MTV calcula el tiempo mínimo físicamente posible ($t_{min}$) para transitar entre dos puntos.
  • Si la duración asignada por el planificador es menor que $t_{min}$, el segmento es inviable.
• Algoritmo de Aprendizaje: Se emplea Proximal Policy Optimization (PPO) para entrenar al agente.
  • Recompensa: El agente recibe una recompensa negativa si el solucionador SOCP falla o si hay violaciones de dinámicas de segundo orden (basado en la brecha de factibilidad). Si el plan es físicamente viable, la recompensa es positiva y se basa en la reducción del makespan (tiempo total de ejecución) en comparación con el plan original.
  • Estrategia: El agente aprende a contraer los límites de velocidad de manera inteligente para garantizar la factibilidad física mientras minimiza el aumento del tiempo total.

3. Contribuciones Clave

1. Formulación de Refinamiento como MDP: Se presenta la primera formulación del refinamiento de planes como un proceso de decisión sobre una representación basada en grafos, permitiendo un razonamiento estructurado sobre relaciones temporales, espaciales y dinámicas.
2. Marco Automatizado Neuro-Simbólico: Se introduce un marco que integra análisis de factibilidad de segundo orden (en forma cerrada) con aprendizaje por refuerzo. Es el primer sistema capaz de transformar automáticamente planes factibles de primer orden en trayectorias físicamente válidas.
3. Evaluación Empírica Exhaustiva: Se demuestra experimentalmente que los planes de primer orden son inherentemente inviables bajo dinámicas de segundo orden en múltiples dominios, y que el enfoque propuesto recupera la factibilidad en el 100% de los casos.

4. Resultados

Los experimentos se realizaron en cuatro dominios de planificación híbrida (AUV-Domains, OnAir-Refuel, Sailing), utilizando el planificador Scotty para generar los planes iniciales.

• Factibilidad: Los planes iniciales generados por el planificador estándar tuvieron una tasa de factibilidad física de 0% bajo dinámicas de segundo orden. El método de refinamiento propuesto logró una tasa de éxito del 100%.
• Eficiencia (Makespan):
  • La recuperación de la factibilidad implica un aumento en el tiempo total de ejecución (la relación de makespan refinado vs. original osciló entre 1.14 y 1.23). Esto refleja la corrección de la subestimación inherente a los modelos de primer orden.
  • El método de RL superó consistentemente a las líneas base de "contracción constante" (reducir la velocidad un porcentaje fijo en cada paso).
  • Mientras que las líneas base requerían miles de pasos de refinamiento y producían soluciones más conservadoras, el agente de RL aprendió a realizar ajustes segmentados y físicamente informados, logrando makespans más cortos y soluciones más optimizadas globalmente.
• Convergencia: Las curvas de entrenamiento mostraron una mejora monótona en la recompensa episódica, indicando que el agente aprende consistentemente a navegar el espacio de soluciones no convexo.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la planificación simbólica y la ejecución física real en robótica.

• Viabilidad Práctica: Proporciona un mecanismo robusto para tomar planes de alto nivel (que son computacionalmente eficientes de generar) y hacerlos ejecutables en robots reales sin necesidad de reescribir todo el planificador para manejar dinámicas no lineales complejas.
• Enfoque Híbrido: Combina lo mejor de dos mundos: la eficiencia de la optimización convexa (SOCP) para la estructura del plan y la flexibilidad del aprendizaje por refuerzo para navegar la complejidad no lineal de las restricciones físicas.
• Futuro: Aunque el método actual asume dinámicas desacopladas y sin perturbaciones, establece una base sólida para futuros trabajos que incluyan ventanas de tiempo, ejes acoplados y variabilidad en la duración de las actividades, acercando aún más la planificación robótica a la realidad operativa.