Generalist AI Control: Towards Multi-purpose Adaptive Algorithms

Resumen Técnico: Control de IA Generalista: Hacia Algoritmos Adaptativos Multiproposito

Planteamiento del Problema
La ingeniería de control tradicional se basa en paradigmas de diseño basados en modelos donde los controladores se sintetizan explícitamente para sistemas específicos. Estos controladores típicamente no se transfieren entre sistemas con diferentes órdenes, dinámicas o estructuras. Aunque han surgido enfoques basados en el aprendizaje (aprendizaje por imitación, clonación de comportamiento), estos generalmente entrenan políticas separadas para cada sistema, fallando al no explotar las propiedades estructurales compartidas entre diversos sistemas dinámicos. Los modelos fundacionales existentes en robótica suelen operar al nivel de percepción-acción, entrelazando las decisiones de control con características visuales, lo que limita su aplicabilidad a problemas de teoría de control pura donde las modalidades sensoriales pueden variar o estar ausentes. El desafío central abordado es el desarrollo de una política de control única y unificada capaz de regular una familia heterogénea de sistemas dinámicos (con variaciones en orden, estabilidad y linealidad) sin necesidad de ajuste por sistema o modificación arquitectónica.

Metodología
Los autores proponen el Controlador Generalista, un marco de aprendizaje que aprende políticas de control directamente en el dominio del espacio de estados. El enfoque se fundamenta en la idea de que, mientras las características visuales varían entre implementaciones, la matemática subyacente de los sistemas dinámicos (representaciones de espacio de estados) permanece invariante.

• Representación de Entrada: El controlador acepta un historial de mediciones de estado, una trayectoria de referencia y una etiqueta de sistema ($\phi_i$) discreta. La etiqueta de sistema es un identificador etiquetado que indica qué sistema específico se está controlando; el modelo no infiere la identidad del sistema únicamente a partir de las observaciones.
• Representación de Espacio de Estados Dinámico: Para manejar sistemas de dimensiones variables (órdenes), la arquitectura emplea una representación de espacio de estados dinámico utilizando máscaras de validez. Los vectores de estado se completan con ceros hasta una dimensión máxima ($n_{max}$), y una máscara binaria distingue los estados reales de los ceros de relleno, permitiendo que una sola red procese entradas de diferentes tamaños.
• Arquitectura:
  • Codificación de Características: Los codificadores paralelos procesan el historial de estados enmascarado, la trayectoria de referencia y la etiqueta del sistema en un vector de características latentes unificado.
  • Procesamiento Temporal: Un procesador temporal multiescala utiliza dos LSTM paralelas (una que procesa la secuencia completa y otra en una secuencia submuestreada para capturar dinámicas más lentas) y un mecanismo de atención de múltiples cabezales para agregar las dependencias temporales.
  • Mezcla de Expertos (MoE): La etapa final emplea una red de compuerta para ponderar dinámicamente las salidas de múltiples redes expertas ($M=3$ en el modelo base). Esto permite que el controlador se especialice en diferentes regímenes dinámicos (por ejemplo, estables vs. inestables, oscilatorios vs. no oscilatorios) dentro de una misma política.
• Entrenamiento: El modelo se entrena mediante aprendizaje supervisado (clonación de comportamiento) sobre 314,630 demostraciones generadas a partir de 25 sistemas diversos. Los datos de entrenamiento incluyen sistemas lineales y no lineales, dinámicas estables e inestables, y comportamientos de mínimo/no mínimo fase. El objetivo es minimizar el error cuadrático medio entre las acciones de control predichas y aquellas generadas por controladores de Integral Cuadrática Lineal (LQI) específicos para cada sistema.

Contribuciones Clave

1. Política de Control Unificada: Introducción de una política de red neuronal única capaz de controlar sistemas de diversos órdenes (de 2º a 4º orden) y dinámicas sin cambios arquitectónicos ni reajustes específicos del sistema.
2. Generalización del Espacio de Estados: Demostración de que el conocimiento de control puede transferirse entre sistemas heterogéneos al operar directamente sobre representaciones de espacio de estados en lugar de características de nivel de percepción.
3. Arquitectura Novedosa: Desarrollo de una arquitectura específica que combina el enmascaramiento de validez para entradas de orden variable, procesamiento temporal multiescala y un mecanismo de Mezcla de Expertos para manejar diversos regímenes dinámicos.
4. Robustez ante Condiciones No Vistas: Validación de que la política generaliza a condiciones operativas no presentes durante el entrenamiento, incluyendo saturación de actuadores, límites de velocidad de entrada, perturbaciones externas y ruido de medición.

Resultados

• Rendimiento en Simulación: A través de 25 sistemas de referencia (incluyendo reactores químicos CSTR, AUVs REMUS, dinámica longitudinal del Boeing 747 y sistemas de masa-resorte mecánicos), el Controlador Generalista logró un rendimiento comparable al de los controladores LQI específicos de cada sistema. Métricas como el tiempo de subida, el sobreimpulso y el error de estado estacionario fueron similares, mostrando el Controlador Generalista tiempos de asentamiento ligeramente mejorados en algunos casos (ej. actuadores hidráulicos) y tiempos de asentamiento marginalmente mayores en casos de no mínimo fase altamente desafiantes.
• Validación en Hardware: La política se desplegó con éxito en un cuadricóptero nano Crazyflie 2.1+. Los experimentos de hardware confirmaron una transferencia exitosa de simulación a realidad (sim-to-real), con el controlador manteniendo un seguimiento estable a pesar de la aerodinámica no modelada, el ruido de los sensores y los retrasos de los actuadores, sin necesidad de ajuste fino.
• Evaluación de Robustez: Bajo condiciones perturbadas (saturación de actuadores, saturación de velocidad, ruido), el Controlador Generalista mantuvo un seguimiento estable. En contraste, los controladores LQI de referencia exhibieron oscilaciones significativas, fenómenos de windup o inestabilidad bajo las mismas restricciones.
• Estudios de Ablación:
  • Mezcla de Expertos: Reducir el modelo a un solo experto ($M=1$) causó una caída significativa en el rendimiento (el MSE aumentó en órdenes de magnitud para sistemas complejos como el cuadricóptero), confirmando la necesidad de MoE para manejar diversas dinámicas.
  • Dimensión Oculta: Una dimensión oculta de $d=32$ ofreció el mejor equilibrio entre rendimiento y eficiencia computacional en comparación con $d=16$ (con bajo rendimiento) y $d=64$ (ganancias marginales con 4 veces más parámetros).

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso significativo hacia las políticas de control generalistas dentro de una familia definida de sistemas dinámicos. Los autores afirman que el conocimiento de control puede aprenderse de manera agnóstica a la tarea a través de familias de sistemas, de forma análoga a los modelos fundacionales en el procesamiento de lenguaje natural y la visión por computadora.

La significancia radica en el cambio de paradigma: de diseñar controladores para plantas específicas a aprender controladores que encarnan principios generales aplicables a clases enteras de sistemas. Esto ofrece una solución potencial para industrias que requieren automatización flexible y reconfiguración rápida.

Limitaciones y Alcance
Los autores declaran explícitamente las siguientes limitaciones y fronteras:

• Requisito de Etiqueta de Sistema: El controlador requiere una etiqueta de sistema conocida en el despliegue; no realiza identificación de sistema implícita ni adaptación de cero disparos (zero-shot) a sistemas completamente desconocidos.
• Dependencia del Conjunto de Entrenamiento: La generalización está limitada a la distribución de los sistemas incluidos en el conjunto de entrenamiento. El modelo no puede generalizar a estructuras de sistemas completamente nuevas no vistas durante el entrenamiento.
• Restricción SISO: La implementación actual está restringida a sistemas de Entrada Única y Salida Única (SISO). Extender esto a configuraciones de Entrada Múltiple y Salida Múltiple (MIMO) presenta desafíos adicionales en la coordinación de estado-acción.
• Garantías de Estabilidad: Aunque se demuestra la robustez empírica, las garantías formales de estabilidad para el controlador de red neuronal en un marco de generalización de múltiples sistemas siguen siendo un desafío teórico abierto.