Resumen Técnico: Aprendizaje por Refuerzo con Estimador de Dinámica de Bucle Interno para Manipulación Aérea bajo Incertidumbre

Planteamiento del Problema

Los manipuladores aéreos, que integran UAVs multirrotores con brazos robóticos, son esenciales para la interacción física en entornos 3D complejos. Sin embargo, lograr una manipulación aérea de cuerpo completo directa y fiable sigue siendo un desafío significativo. El núcleo de la dificultad reside en el fuerte acoplamiento entre la base aérea subactuada y el brazo manipulador. Los movimientos rápidos del brazo, los cambios de carga útil (sujeción/liberación) y las perturbaciones externas causan desplazamientos transitorios en el centro de gravedad, la inercia y el acoplamiento dinámico. Estas incertidumbres son difíciles de modelar analíticamente, lo que hace que el control estable y preciso bajo condiciones operativas variables sea un problema mayormente no resuelto. Los métodos existentes suelen depender de modelos lineales simplificados o estrategias de control desacopladas que no logran dar cuenta de estas dinámicas no lineales y acopladas, lo que provoca una degradación del rendimiento durante maniobras agresivas o variaciones de carga útil.

Metodología

Los autores proponen un marco de control jerárquico que combina el Aprendizaje por Refuerzo (RL) para la coordinación de alto nivel con un estimador de dinámica de bucle interno para la compensación de la incertidumbre de bajo nivel. El sistema opera sin requerir un modelo dinámico acoplado totalmente preciso en la capa de la política.

1. Arquitectura Jerárquica

• Bucle Externo (Política de RL): Una política aprendida mapea una pose objetivo deseada del efector final en 6-DOF hacia comandos coordinados de cuerpo completo. El espacio de observación (33 dimensiones) incluye errores geométricos en el espacio de la tarea, estados de la base (posición, velocidad, actitud) y estados de las articulaciones. El espacio de acción (10 dimensiones) genera la aceleración lineal deseada de la base, el yaw deseado, las tasas corporales deseadas y las posiciones de las articulaciones deseadas.
  • Entrenamiento: La política se entrena utilizando Optimización de Política Próxima (PPO) en una simulación vectorizada acelerada por GPU (Aerial Gym) con aleatorización de dominio (variando la masa de la carga útil, longitudes de eslabones, constantes de tiempo de los motores, etc.).
  • Modelado de Recompensa (Reward Shaping): La función de recompensa utiliza un modelado exponencial de dos escalas para equilibrar la convergencia global (alcanzar el objetivo) con la precisión local (mantener la estabilidad y la suavidad). Una recompensa de progreso temporal fomenta el movimiento hacia la meta mientras penaliza el movimiento hacia atrás para evitar oscilaciones.
• Bucle Interno (Controlador Basado en Estimador): Esta capa rastrea los comandos de alto nivel generados por la política de RL. Emplea un estimador de dinámica basado en retardo para compensar los desplazamientos inerciales transitorios y el acoplamiento no modelado sin conocimiento previo del sistema.
  • El controlador trata la dinámica desconocida agrupada (incluyendo términos de acoplamiento, fuerzas de Coriolis y perturbaciones) como una función de incertidumbre $\bar{H}_\eta$.
  • Utilizando una matriz de inercia nominal diagonal $\bar{M}_\eta$ y un retardo $L$, el controlador estima la incertidumbre $\hat{\bar{H}}_\eta(t)$ a partir de los estados y entradas de control pasados: $\hat{\bar{H}}_\eta(t) = \tau_\eta(t-L) - \bar{M}_\eta \ddot{\eta}(t-L)$.
  • La ley de control combina un término de seguimiento estándar con esta incertidumbre estimada para generar comandos de par (torque) de bajo nivel tanto para el cuerpo del cuadricóptero como para las articulaciones del manipulador.

2. Implementación del Sistema

El marco fue validado en una plataforma de hardware personalizada que consiste en un cuadricóptero Tarot-450, un manipulador de 3-DoF Dynamixel y un Jetson Orin Nano Super para computación de alto nivel. La política de RL se ejecuta a 100 Hz, mientras que el controlador de bucle interno opera a 300 Hz.

Contribuciones Clave

1. Arquitectura Jerárquica: Una integración novedosa de la generación de comandos de cuerpo completo mediante RL con un bucle interno basado en estimadores para el seguimiento y la compensación de la incertidumbre.
2. Capa de Ejecución Libre de Modelo: Una capa de ejecución de estimación de dinámica capaz de manejar cambios de acoplamiento UAV-brazo transitorios, incluyendo variaciones inerciales por eventos de sujeción/liberación y movimiento rápido del manipulador, sin requerir un modelo del sistema a priori.
3. Evaluación Robusta: Evaluación exhaustiva bajo condiciones no nominales, específicamente variaciones de carga útil y acoplamiento dinámico durante el movimiento del brazo.
4. Mejora Demostrada: Evidencia empírica que muestra cómo la combinación de coordinación aprendida con retroalimentación basada en estimadores mejora significativamente la precisión de regulación y la suavidad del efector final bajo incertidumbre dinámica.

Resultados Experimentales

El método propuesto se probó en una trayectoria de ocho (figure-eight) planar con cargas útiles variables (200g y 400g) y velocidades (0.5 m/s y 1.0 m/s), incluyendo acciones de recogida y entrega en vuelo. Se comparó contra dos líneas base: RL+PID y RL+INDI+PID (Control Adaptativo Indirecto).

• Precisión de Seguimiento: El método propuesto logró el Error Cuadrático Medio (RMSE) más bajo en todas las condiciones probadas.
  • Comparado con RL+PID, redujo el RMSE medio en un 40.9%.
  • Comparado con RL+INDI+PID, redujo el RMSE medio en un 26.4%.
• Tasa de Éxito: El método propuesto demostró mayores tasas de éxito en las tareas, particularmente en escenarios agresivos (por ejemplo, carga de 400g a 1.0 m/s), donde las líneas base mostraron una degradación significativa del rendimiento.
• Repetibilidad: La desviación estándar del RMSE fue la más baja para el método propuesto (0.024 m) en comparación con las líneas base (0.038 m y 0.062 m), lo que indica una repetibilidad superior bajo variabilidad de hardware.

Significado y Reivindicaciones

El artículo afirma que el enfoque propuesto aborda eficazmente el desafío abierto de la manipulación aérea de cuerpo completo directa bajo cambios abruptos de carga útil e incertidumbre dinámica. Los autores sostienen que la coordinación de cuerpo completo aprendida es más efectiva cuando se empareja con una compensación de bajo nivel basada en estimadores. Esta combinación permite que el sistema:

• Genere comandos a nivel de tarea sin depender de un modelo analítico preciso de las dinámicas acopladas.
• Compense los desplazamientos inerciales transitorios y las perturbaciones no modeladas en tiempo real.
• Mejore la precisión, robustez y repetibilidad en regímenes de alta velocidad y alta carga útil donde los enfoques tradicionales basados en modelos o de aprendizaje simplificado tienen dificultades.

Los resultados se presentan como una fuerte evidencia empírica que respalda la eficacia de este diseño jerárquico, aunque los autores señalan que el estudio está limitado al experimento específico de hardware de la trayectoria en ocho y no incluye pruebas de significancia formal.