Resumen Técnico: Control de Bucle Externo Adaptativo de Cuadricópteros mediante Aprendizaje por Refuerzo

Enunciado del Problema

El control de vuelo autónomo de cuadricópteros en entornos complejos y del mundo real enfrenta desafíos significativos debido a dinámicas no modeladas, como perturbaciones aerodinámicas severas, desgaste de actuadores y variaciones súbitas de la carga útil. Los métodos de control tradicionales (PID, LQR, MPC) dependen de modelos matemáticos explícitos y a menudo se degradan rápidamente bajo tales incertidumbres. Aunque el Aprendizaje por Refuerzo Profundo (DRL) ofrece una alternativa libre de modelos, los controladores DRL estándar entrenados en simulación sufren la brecha "simulación-a-realidad". La solución predominante, la Aleatorización de Dominio (DR), produce políticas robustas pero obliga al controlador a aprender una única estrategia excesivamente conservadora que maximiza el rendimiento en el peor de los casos. Este enfoque sacrifica la agilidad y el rendimiento óptimo en condiciones nominales porque el controlador permanece ajeno al estado instantáneo del entorno.

La pregunta de investigación central abordada es: ¿Cómo puede un controlador de vuelo basado en aprendizaje estimar dinámicamente perturbaciones físicas no modeladas a partir de estados pasados y utilizar esta información latente para mantener un rendimiento óptimo de seguimiento, mientras cierra la brecha simulación-a-realidad de manera fluida?

Metodología

Los autores proponen una arquitectura de control adaptativo novedosa que supera las políticas estáticas y conservadoras al permitir que el controlador perciba y reaccione activamente a perturbaciones instantáneas. El sistema se basa en una estructura de control en cascada donde una política de Aprendizaje por Refuerzo (RL) de alto nivel actúa como controlador de bucle externo, generando tasas de rotación deseadas y empuje colectivo, las cuales son seguidas por un controlador de tasa PID a bordo.

La metodología consta de tres componentes principales:

1. Controlador Adaptativo con Línea Base Oráculo:
   Para establecer un límite superior de rendimiento, los autores entrenan primero una política de RL junto con un "Oráculo" que tiene acceso a perturbaciones ambientales 6D de verdad terrena (fuerzas y momentos). Esta política aprende respuestas óptimas a variaciones dinámicas específicas en lugar de un compromiso generalizado. Sin embargo, dado que los micro-VANTs físicos carecen de sensores para medir estas fuerzas en tiempo real, este Oráculo no puede desplegarse directamente.

2. Predictor de Dinámicas Residuales (RDP):
   Para reemplazar al Oráculo durante el despliegue en el mundo real, los autores introducen una Red Neuronal Recurrente (RDP) diseñada como un estimador de estado no lineal e implícito. El RDP estima fuerzas y momentos externos 6D no observados utilizando únicamente un historial temporal de estados del vehículo y señales de actuación de bajo nivel.

   • Entrada: El RDP toma una ventana de estados cinemáticos del vehículo, acciones previas del bucle externo y, crucialmente, las señales de Modulación por Ancho de Pulso (PWM) de 4 dimensiones comandadas a los motores individuales. La inclusión de señales PWM es vital para capturar estados transitorios de los actuadores y el retraso del motor.
   • Arquitectura: La red utiliza Unidades Recurrentes Puerteadas (GRU) para procesar una ventana histórica rodante de observaciones estandarizadas, generando un vector de perturbación 6D predicho.

3. Puerto de Calibración Simulación-a-Realidad Eficiente en Datos:
   Para abordar la discrepancia entre los estimadores entrenados en simulación y la realidad física, los autores introducen una capa de calibración lineal ligera. En lugar de un reentrenamiento extenso, utilizan un conjunto de datos mínimo (tres breves muestras de vuelo) para ajustar un modelo de regresión lineal multivariante. Este puente corrige desviaciones de estado estacionario (por ejemplo, debidas a asimetrías en la distribución de masa o curvas de voltaje de la batería). Además, un mecanismo de corrección de empuje en línea acumula errores de seguimiento de altitud para ajustar desviaciones constantes de fuerza vertical, asegurando que el espacio latente del estimador se alinee con la realidad física.

Contribuciones Clave

• Controlador RL Adaptativo: Desarrollo de un controlador de bucle externo entrenado con un Oráculo para aprender respuestas óptimas a fuerzas externas variables, alejándose de la naturaleza conservadora de la DR.
• Predictor de Dinámicas Residuales (RDP): Diseño de una red neuronal recurrente que predice implícitamente perturbaciones físicas 6D utilizando únicamente el historial de estados y comandos de motor, reemplazando efectivamente la necesidad de sensores de perturbación de verdad terrena.
• Puente Simulación-a-Realidad Eficiente en Datos: Introducción de una capa de calibración lineal computacionalmente ligera y corrección de empuje en línea que alinea los estimadores entrenados en simulación con la realidad utilizando apenas segundos de datos de vuelo, eliminando la necesidad de conjuntos de datos a gran escala en el mundo real.

Resultados Experimentales

El enfoque se validó en un micro-cuadricóptero Bitcraze Crazyflie 2.X en tres escenarios del mundo real: variación de masa de carga útil central, distribución asimétrica de carga útil y seguimiento de trayectoria dinámica con una carga suspendida.

• Variación de Carga Útil Central: El controlador adaptativo con el RDP aprendido logró un Error Cuadrático Medio (RMSE) de 0.024 m a 0.030 m a través de aumentos de carga útil del 0% al 25%. Esto superó tanto al Controlador Base (que se degradó a 0.160 m con una carga del 25%) como al Controlador Robusto (que exhibió inestabilidad oscilatoria severa incluso con carga del 0%). Cabe destacar que el controlador basado en RDP funcionó ligeramente mejor que la versión basada en Oráculo, lo que sugiere que la representación latente aprendida compensa implícitamente las discrepancias de modelado mejor que las entradas físicas rígidas.
• Carga Útil Asimétrica: En escenarios que inducen perturbaciones acopladas de traslación y rotación, el controlador adaptativo mantuvo errores de seguimiento significativamente menores en comparación con las líneas base. El RDP estimó con éxito los momentos de cabeceo y alabeo inducidos, permitiendo que el controlador desacoplara y contrarrestara estos torques.
• Seguimiento de Trayectoria Dinámica: Al seguir una trayectoria en forma de ocho con una carga suspendida, el sistema mantuvo un vuelo estable incluso a medida que aumentaba la agresividad de la trayectoria (el período T se redujo de 15 s a 3 s). Aunque el error de seguimiento aumentó con la agresividad debido a limitaciones de ancho de banda, el sistema permaneció estable sin divergencia. El RDP capturó con éxito la dinámica oscilatoria dependiente del tiempo de la carga suspendida.

Significado y Afirmaciones

El artículo afirma que la adaptación activa en tiempo real es fundamentalmente superior a la robustez pasiva (DR) para mantener un seguimiento de vuelo estable y óptimo. Las ideas clave incluyen:

• Suficiencia de la Estimación Implícita: Las complejas fuerzas y momentos externos 6D pueden reconstruirse con precisión sin sensores especializados de fuerza-torque, utilizando únicamente la cinemática a bordo estándar y señales de actuador.
• Estimación Relevante para el Control vs. Exacta: La reconstrucción precisa de cantidades físicas de verdad terrena no es estrictamente necesaria para un alto rendimiento. Un error de estimación acotado (por ejemplo, 3%–7% en la estimación de masa) es suficiente, siempre que la red genere una representación consistente y relevante para el control de las tendencias de perturbación.
• Transferencia Simulación-a-Realidad Eficiente: La discrepancia entre la simulación y la realidad puede aproximarse mediante una relación lineal de bajo orden. Esto permite un puente efectivo de la brecha simulación-a-realidad utilizando una calibración lineal ligera y corrección en línea, evitando la adaptación de dominio no lineal compleja o el reentrenamiento extensivo.
• Eficacia del Entrenamiento Desacoplado: Entrenar una política óptima con un Oráculo antes de transicionar a un estimador aprendido evita la inestabilidad y la ineficiencia de muestras a menudo asociadas con el RL de extremo a extremo en entornos parcialmente observables.

Los autores concluyen que esta arquitectura permite a los micro-cuadricópteros operar bajo incertidumbres dinámicas severas, como variaciones de masa y cargas colgantes dinámicas, con una precisión que supera significativamente a las líneas base clásicas y robustas de RL. El trabajo futuro apunta a extender este marco a ráfagas de viento turbulentas y plataformas más grandes.