Resumen Técnico: Reinforcement Twinning para el Control Híbrido de Drones de Alas Batientes

Definición del Problema

El control de micro vehículos aéreos de alas batientes (FWMAV) presenta un desafío significativo debido a su dinámica intrínsecamente inestable, fuertemente no lineal y variante en el tiempo. Estos sistemas están subactuados y operan en regímenes donde las fuerzas viscosas dominan los efectos inerciales, lo que conduce a interacciones aerodinámicas complejas como los vórtices de borde de ataque. Además, la fabricación a pequeña escala introduce incertidumbres paramétricas y los datos de los sensores suelen ser ruidosos.

Las estrategias de control tradicionales enfrentan un compromiso fundamental:

• Los enfoques basados en modelos (MB) (p. ej., LQR, MPC) dependen de modelos lineales o no lineales simplificados que a menudo no logran capturar las incertidumbres variantes en el tiempo y las cinemáticas complejas, lo que resulta en un desempeño deficiente en maniobras ágiles.
• Los enfoques libres de modelos (MF) (p. ej., Aprendizaje por Refuerzo) evitan las suposiciones explícitas de modelado, pero sufren de una baja eficiencia de muestreo, requiriendo una exploración de ensayo y error extensa y potencialmente insegura para converger.

El artículo aborda la necesidad de un marco de control que combine la robustez del modelado basado en la física con la adaptabilidad del aprendizaje basado en datos, diseñado específicamente para el entorno de alta eficiencia de muestreo y alto riesgo del vuelo de los FWMAV.

Metodología: Reinforcement Twinning (RT)

Los autores proponen un marco de Reinforcement Twinning (RT), una arquitectura híbrida de modelo libre/modelo basado diseñada para facilitar la colaboración bidireccional entre dos agentes de aprendizaje. El sistema opera a través de los siguientes componentes:

1. Arquitectura de Doble Agente

Dos políticas de control paralelas se entrenan simultáneamente:

• Política Libre de Modelo ($\pi_{mf}$): Entrenada utilizando el algoritmo Deep Deterministic Policy Gradient (DDPG). Interactúa directamente con el entorno real (una simulación no lineal variante en el tiempo, NLTV, del dron) para maximizar la recompensa acumulada.
• Política Basada en Modelo ($\pi_{mb}$): Entrenada dentro de un Entorno Virtual (un modelo sustituto no lineal invariante en el tiempo, NLTI). Esta política se optimiza mediante el descenso de gradiente basado en el adjunto para minimizar el costo de control dentro del dominio virtual.

2. Gemelo Digital Adaptativo (Entorno Virtual)

El entorno virtual no es un modelo estático, sino un gemelo digital adaptativo. Utiliza una formulación NLTI simplificada derivada de fuerzas aerodinámicas promediadas por ciclo.

• Ley de Cierre: Las fuerzas aerodinámicas se representan como una función polinómica de las variables de estado y control (específicamente, una formulación de Modelo 3 que incluye términos de control cuadráticos).
• Identificación en Línea: Los parámetros del modelo se actualizan continuamente mediante un procedimiento de asimilación de datos basado en el adjunto. Este proceso minimiza la discrepancia entre las trayectorias virtuales y las trayectorias del mundo real almacenadas en un "buffer de asimilación", permitiendo que el modelo se adapte a la evolución de la dinámica y las incertidumbres en tiempo real.

3. Mecanismos de Cooperación

Los dos agentes son coordinados por un Árbitro de Política (Policy Referee) que gestiona la interacción entre los mundos real y virtual:

• Arbitraje de Política: Un árbitro selecciona qué política ($\pi_{mf}$ o $\pi_{mb}$) actúa como el controlador "en vivo" en el entorno real. Esta decisión se basa en:
  • Relación de Confianza Real-a-Virtual (RVET): Una métrica que compara las mejoras previstas en el entorno virtual frente a las mejoras observadas en el entorno real. Si el modelo virtual es inconsistente con la realidad, se despliega la política libre de modelo.
  • Comparación de Desempeño: Si la política inactiva (la que no está desplegada actualmente) supera consistentemente a la política en vivo en el entorno virtual, puede ocurrir un cambio.
  • Detección de Estancamiento: Si el aprendizaje se estanca, los pesos se clonan de la política con mejor desempeño hacia la más débil para evitar la divergencia.
• Experiencia Compartida:
  • Las transiciones de la política en vivo (ya sea MF o MB) pueblan un Buffer de Replay utilizado para entrenar al actor y al crítico del MF.
  • Las trayectorias de estado-acción se almacenan en un Buffer de Asimilación (actualizado mediante un criterio de varianza máxima) para identificar y actualizar la ley de cierre del entorno virtual.

Principales Contribuciones

El artículo detalla tres contribuciones técnicas primarias:

1. Estrategia de Identificación de Modelo en Línea: La formulación de una optimización continua basada en el adjunto para calibrar un modelo no lineal invariante en el tiempo (NLTI) simplificado a partir de trayectorias de corto horizonte generadas por un entorno no lineal variante en el tiempo (NLTV). Esto permite que el modelo se adapie a las regiones específicas del espacio de estados visitadas por la política de control, en lugar de depender de conjuntos de datos pre-recolectados.
2. Mecanismo de Aprendizaje Bidireccional: A diferencia del Aprendizaje por Refuerzo Basado en Modelos (MBRL) estándar, donde el modelo principalmente apoya a la política, este marco establece interacciones recíprocas. El modelo guía la exploración en el espacio de control, mientras que el agente de aprendizaje por refuerzo enriquece los datos utilizados para la identificación del modelo.
3. Árbitro de Política y Colaboración: El diseño de un sistema de arbitraje dinámico que gestiona el despliegue de los agentes basándose en la consistencia real-virtual, permitiendo cambiar entre la eficiencia basada en modelos y la robustez libre de modelos según cambien las condiciones.

Resultados

El marco fue evaluado en el control longitudinal de un dron de alas batientes (ascenso vertical hacia un estado objetivo) bajo tres escenarios de inicialización distintos:

1. Calibración Offline: Cuando el modelo virtual fue pre-calibrado con un conjunto de datos rico, el marco híbrido RT convergió significativamente más rápido y con menor varianza que un enfoque DDPG (libre de modelo) independiente. La política basada en el modelo impulsó el entrenamiento temprano, actuando como una salvaguarda para la exploración.
2. Aprendizaje Totalmente en Línea (Inicialización Aleatoria): En escenarios donde tanto el modelo como la política comenzaron con parámetros aleatorios (sin conocimiento previo), el enfoque puramente basado en modelos falló en converger efectivamente debido al sesgo inicial del modelo. El enfoque puramente libre de modelo convergió, pero lentamente. El marco RT superó a ambos baselines, logrando una convergencia más rápida y mayores recompensas finales. El sistema adaptó con éxito el modelo sustituto en línea, transitando de un dominio libre de modelo a un dominio basado en el modelo a medida que el gemelo digital ganaba fidelidad.
3. Aprendizaje en Línea con Sesgo de Modelo: Cuando el modelo inicial fue calibrado con datos que presentaban sesgos significativos (p. ej., un aumento de masa del 33% o un desplazamiento del centro de presión), el marco RT corrigió con éxito el modelo sustituto en línea. Mantuvo un aprendizaje de política eficiente y alcanzó el estado objetivo, demostrando robustez ante incertidumbres paramétricas y cambios dinámicos.

Selección de Modelo: El estudio identificó que una ley de cierre polinómica que incluía términos de control cuadráticos (Modelo 3) ofreció el mejor compromiso entre precisión predictiva y complejidad computacional, logrando coeficientes de correlación de Pearson superiores a 0.99 para las posiciones longitudinales y verticales.

Significado y Reivindicaciones

El artículo afirma que el marco de Reinforcement Twinning mitiga con éxito el compromiso entre la ineficiencia de muestreo del aprendizaje libre de modelos y las imprecisiones de los modelos de control tradicionales basados en modelos. Al permitir la interacción continua y bidireccional entre una política basada en datos y un modelo basado en la física adaptable, el marco:

• Mejora la eficiencia de muestreo y la robustez en el control de sistemas altamente no lineales y variantes en el tiempo.
• Permite la adaptación en línea a la evolución de la dinámica y las incertidumbres paramétricas sin requerir extensos datos de pre-entrenamiento.
• Proporciona una arquitectura generalizable para el control en tiempo real en entornos que evolucionan dinámicamente, demostrando específicamente su eficacia en el desafiante contexto del vuelo de drones de alas batientes.

Los autores señalan que, si bien el estudio actual se centra en el control longitudinal con estimación de estado idealizada, el trabajo futuro extenderá el marco a la dinámica 3D completa y validará el desempeño contra simulaciones de CFD de alta fidelidad.