Mission-Aligned Learning-Informed Control of Autonomous Systems: Formulation and Foundations

Resumen Técnico: Control de Sistemas Autónomos Alineado con la Misión e Informado por el Aprendizaje

1. Planteamiento del Problema

El artículo aborda la tensión fundamental en el despliegue de agentes físicos autónomos (como robots de cuidado, vehículos autónomos o drones) en entornos de alto riesgo y críticos para la seguridad.

• Limitaciones del Aprendizaje por Refuerzo (RL) Puro: Aunque el RL es potente para sistemas complejos, se basa en modelos estadísticos que carecen de garantías formales de seguridad, interpretabilidad y robustez ante eventos fuera de distribución (OOD). Los modelos de "caja negra" dificultan que reguladores y usuarios confíen en ellos, especialmente en dominios sensibles como el cuidado de personas.
• Limitaciones del Control Tradicional: Los métodos de control basados en modelos (como el Control Predictivo de Modelos, MPC) ofrecen garantías de seguridad y estabilidad, pero a menudo requieren modelos dinámicos perfectos que son difíciles de obtener en entornos reales con incertidumbre y no linealidades no identificadas.
• El Desafío: Crear un marco que combine la adaptabilidad del aprendizaje de datos con la seguridad y la interpretabilidad de la planificación lógica y el control físico, permitiendo que el sistema aprenda preferencias humanas sin comprometer la seguridad física.

2. Metodología Propuesta

Los autores proponen una arquitectura de optimización de dos niveles (bilevel) que integra tres disciplinas: Planificación Clásica, Control Predictivo de Modelos (MPC) y Aprendizaje por Refuerzo (RL).

A. Arquitectura Jerárquica:

1. Nivel Superior (Planificación y Programación):

   • Opera en una escala de tiempo lenta.
   • Utiliza planificación clásica (basada en lógica relacional y lógica difusa) para definir tareas discretas e interpretables (ej. "alimentar", "administrar medicación").
   • Se encarga de la asignación de tareas y la secuenciación lógica, asegurando que las acciones tengan sentido semántico para el usuario y cumplan con la misión.
   • Utiliza funciones de pertenencia difusas para mapear estados continuos del mundo físico a estados simbólicos discretos, permitiendo una transición suave entre el control de bajo nivel y la planificación de alto nivel.

2. Nivel Inferior (Control Físico):

   • Opera en una escala de tiempo rápida.
   • Utiliza MPC (Model Predictive Control) para generar trayectorias de control continuas y seguras para los actuadores del robot.
   • El MPC incorpora modelos dinámicos conocidos (física del robot) y restricciones de seguridad explícitas (evitar colisiones, límites de velocidad).
   • Se utiliza un esquema de iteración en tiempo real (RTI) para resolver los problemas de optimización no lineal (NLP) dentro de los tiempos de muestreo del sistema.

3. Capa de Aprendizaje (Integración y Adaptación):

   • El RL no controla directamente los actuadores, sino que aprende los parámetros de los niveles superiores e inferiores.
   • Aprendizaje de Preferencias: El sistema aprende las preferencias del usuario (ej. priorizar la seguridad sobre la velocidad) ajustando los pesos de la función de costo en el planificador.
   • Diferenciación a través de la Difusión: Se introduce un mecanismo novedoso donde los gradientes de error (diferencia entre el estado esperado y el real, o entre la recompensa observada y la predicha) se propagan desde el nivel de control hacia el nivel de planificación. Esto se logra calculando las sensibilidades del MPC respecto a sus parámetros (usando el Teorema de la Función Implícita) y propagándolas a través de las funciones de pertenencia difusas.
   • Esto permite un aprendizaje "end-to-end" donde el sistema ajusta tanto la estrategia de tareas como los parámetros de control físico basándose en la retroalimentación del entorno.

B. Mecanismos Clave:

• Exploración Segura: Se utiliza un enfoque de "exploración factible" modificando la función de costo del MPC para generar acciones de exploración que no violen las restricciones de seguridad.
• Modelos de Caja Gris (Grey-Box): Se asume que la dinámica del sistema es parcialmente conocida (física) y parcialmente desconocida (efectos no lineales, interacciones humanas), aprendiendo los componentes desconocidos mediante datos.

3. Contribuciones Clave

1. Esquema de Optimización Bilevel Integrado: Una formulación matemática que combina decisiones discretas interpretables (tokenizadas) con control físico continuo, permitiendo la alineación con la misión.
2. Metodología de Diferenciación Planificación-Control: Un método novedoso que utiliza operadores de difuminación (fuzzification) y cálculo de sensibilidades para permitir el flujo de gradientes desde el control físico hasta la planificación simbólica, facilitando el aprendizaje de preferencias.
3. Garantías de Seguridad y Interpretabilidad: Al anclar el control en MPC con restricciones físicas y la planificación en lógica relacional, el sistema ofrece garantías formales de seguridad y acciones comprensibles para humanos y reguladores.
4. Validación en un Caso de Estudio Realista: Implementación y validación exhaustiva en un escenario de robot de cuidado en un hospital, demostrando la capacidad de adaptación a diferentes perfiles de pacientes.

4. Resultados Experimentales

El sistema se validó en una simulación de un robot de servicio en un entorno hospitalario con dos tipos de tareas: entrega de medicación y preparación de comidas. Se probaron cinco perfiles de pacientes con preferencias distintas (orientados a velocidad, seguridad, energía, comodidad o presentación).

• Convergencia de Preferencias: El sistema logró aprender con precisión los vectores de preferencia de los pacientes.
  • Perfiles con preferencias muy marcadas (ej. "orientado a la velocidad" o "seguridad primero") convergieron rápidamente (en 10-15 episodios).
  • Perfiles con preferencias más sutiles o con señales de gradiente más dispersas (ej. "orientado a la presentación") mostraron una convergión más lenta, pero el sistema identificó correctamente la dimensión dominante en el 100% de las ejecuciones.
• Adaptación de Planes: El planificador generó variantes de planes cualitativamente diferentes según el perfil aprendido:
  • Perfil Seguridad: Evitaba zonas de alto riesgo (cocina, pasillos concurridos) incluso si la ruta era más larga.
  • Perfil Velocidad: Seleccionaba rutas directas y comidas rápidas (sandwiches).
  • Perfil Comodidad/Presentación: Priorizaba rutas más suaves y comidas elaboradas (platos completos) para mejorar la experiencia del usuario.
• Ejecución Física: El controlador MPC mantuvo una tasa de éxito del 100% en la finalización de tareas, demostrando que la adaptación de los parámetros de control no comprometió la viabilidad de las trayectorias ni la seguridad física.
• Eficiencia Energética y de Ruta: Los perfiles "conscientes de la energía" lograron un menor consumo de batería mediante la selección de rutas más cortas y paradas de recarga oportunas.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la confiabilidad de la IA en sistemas autónomos físicos:

• Puente entre Simulación y Realidad: Al integrar modelos físicos conocidos (MPC) con aprendizaje, reduce la brecha "sim-to-real" y permite el aprendizaje directo en el entorno operativo sin necesidad de pre-entrenamiento masivo en simuladores imperfectos.
• Seguridad Crítica: Proporciona un marco donde la seguridad no es una penalización estadística, sino una restricción matemática explícita, crucial para aplicaciones en salud, transporte y manufactura.
• Interpretabilidad: Al usar planificación simbólica y lógica difusa, las decisiones del robot son explicables y alineadas con la lógica humana, facilitando la supervisión y la certificación regulatoria.
• Escalabilidad: La arquitectura permite reconfigurar tareas nuevas sin reentrenar todo el sistema desde cero, reutilizando los modelos dinámicos y aprendiendo solo las nuevas funciones de costo y restricciones.

En conclusión, el artículo demuestra que es posible construir agentes autónomos que no solo son eficientes y adaptables, sino también seguros, interpretables y alineados con los valores humanos, superando las limitaciones de los enfoques puramente basados en aprendizaje profundo.