⚡ electrical engineering

Differentiable Reinforcement Learning for Path Tracking by an Agile Fish-Like Robot

Este artículo aborda los desafíos de controlar robots ágiles similares a peces mediante la introducción de una plataforma de simulación computacionalmente eficiente y un enfoque de aprendizaje por refuerzo diferenciable que optimiza las ganancias PID a través de retropropagación y entrenamiento de currículo, transfiriendo con éxito la política aprendida de la simulación a un robot físico para un seguimiento de trayectoria preciso.

Autores originales: Prashanth Chivkula, Kartik Loya, Venkata Ravindhra Reddy Varikuti, Phanindra Tallapragada

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Prashanth Chivkula, Kartik Loya, Venkata Ravindhra Reddy Varikuti, Phanindra Tallapragada

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots no solo se desplazan sobre ruedas o zumban con hélices, sino que nadan con la gracia fluida de un pez real. Durante décadas, los ingenieros han intentado construir estas máquinas "bioinspiradas" porque los peces son increíblemente rápidos, eficientes y sigilosos. Se mueven agitando sus cuerpos e interactuando con el agua de formas complejas, creando remolinos invisibles llamados vórtices que en realidad les ayudan a impulsarse hacia adelante. Sin embargo, enseñar a un robot a hacer esto es una pesadilla. El agua es desordenada, y la física de cómo el cuerpo de un robot empuja contra el fluido es tan complicada que escribir una fórmula matemática perfecta para ello es casi imposible. Si intentas programar un robot con reglas rígidas, a menudo termina agitándose como un pez fuera del agua.

Aquí es donde entra en juego un truco ingenioso llamado "Aprendizaje por Refuerzo" (Reinforcement Learning). Piensa en ello como entrenar a un perro, pero en lugar de golosinas, el robot recibe una puntuación por hacerlo bien. El robot intenta cosas, comete errores y aprende de la retroalimentación para mejorar. Pero hay un inconveniente: para aprender de manera efectiva, el robot necesita practicar millones de veces. Hacer esto en una piscina real tomaría una eternidad y podría romper al robot. Por eso, los científicos suelen construir un "simulador": una versión de videojuego del agua. El problema es que la mayoría de los simuladores son demasiado lentos para aprender rápidamente o demasiado simples para ser precisos. Este artículo aborda precisamente ese cuello de botella: cómo construir un simulador que sea lo suficientemente rápido para aprender y lo suficientemente preciso para funcionar en el mundo real, todo mientras enseña a un robot a nadar en línea recta y a seguir una trayectoria sinuosa al mismo tiempo.

El Nadador Ágil y el Simulador Mágico

Conoce al "robot ágil similar a un pez". No es un robot con una hélice en la parte trasera; es más bien como una anguila mecánica con un arma secreta en su interior. Dentro de su cabeza sellada, con forma de hidroala (de unos 250 mm de largo, aproximadamente el tamaño de una tableta pequeña), hay un rotor giratorio. Al hacer girar este peso interno hacia adelante y hacia atrás, el robot crea un empuje contra el agua, propulsándose hacia adelante sin necesidad de hélices externas. Tiene una cola flexible y un pequeño timón para maniobrar. ¿El objetivo? Hacer que este robot nade a lo largo de una trayectoria específica, como una letra "S" o un círculo, mientras alcanza una velocidad determinada, como un coche en una autopista.

El desafío es que el movimiento del robot es una danza delicada. Si gira demasiado fuerte, se ralentiza. Si acelera demasiado, podría perder el equilibrio. Tradicionalmente, los ingenieros utilizan "controladores PID" para gestionarlo. Puedes pensar en un controlador PID como un entrenador muy estricto que da tres tipos de instrucciones: "¿Qué tan lejos estás?" (Proporcional), "¿Cuánto tiempo has estado desviado?" (Integral) y "¿Qué tan rápido te estás desviando?" (Derivativo). El entrenador ajusta la dirección y la velocidad del robot basándose en estos números. Lo complicado es que las "ganancias" (la fuerza de la voz del entrenador) deben cambiar dependiendo de qué tan curva sea la trayectoria. Una línea recta necesita un entrenador suave; un giro brusco necesita uno fuerte y urgente.

El Avance "Diferenciable"

Los autores de este artículo se dieron cuenta de que ajustar manualmente estos entrenadores para cada posible curva y velocidad es imposible. En su lugar, decidieron dejar que el robot aprendiera por sí mismo el "estilo de entrenamiento" perfecto utilizando un método llamado Aprendizaje por Refuerzo Diferenciable.

Aquí está la analogia mágica: Imagina que estás aprendiendo a montar en bicicleta cuesta abajo. Normalmente, simplemente lo intentas, te caes y te levantas. Pero, ¿y si pudieras rebobinar el tiempo, ver exactamente cómo la posición de tu pie causó la caída e instantáneamente ajustar tus músculos para corregirlo? Eso es lo que significa "diferenciable" en este contexto. Los autores construyeron una simulación informática especial del robot y del agua que es "diferenciable". Esto significa que la computadora puede rastrear matemáticamente cómo un pequeño cambio en la dirección o la velocidad del robot afecta su posición final, llegando hasta la primera instrucción.

En lugar de solo adivinar, la computadora ejecuta un "backpropagation" (un término elegante para trabajar hacia atrás desde el error) a través de toda la simcción. Calcula exactamente cómo ajustar las ganancias del PID para que el robot nade mejor. No lanzaron al robot a una piscina al azar; utilizaron un "currículo". Al igual que un estudiante humano aprende a caminar antes de correr, el robot comenzó nadando en líneas rectas a velocidades bajas. Una vez que mejoró, la simulación hizo que las trayectorias fueran más curvas y las velocidades más altas. Este entrenamiento paso a paso permitió al robot dominar maniobras complejas sin sentirse abrumado.

Del Código al Agua: La Prueba del Mundo Real

La parte más emocionante de este artículo es que no se detuvieron en la pantalla de la computadora. Llevaron el "cerebro" que entrenaron en la simulación y lo instalaron directamente en el robot físico.

En el laboratorio, prepararon una piscina con un sistema de cámaras para observar al robot nadar. Le pidieron al robot que trazara las letras "I", "R", "O" y "S" a diferentes velocidades, que iban desde 0.10 metros por segundo (un deslizamiento lento) hasta 0.25 metros por segundo (un nado enérgico).

Los resultados fueron impresionantes. El robot, guiado por las ganancias aprendidas por la IA, siguió las trayectorias con éxito.

La trayectoria "I": Una línea recta. El robot nadó recto y con precisión.
Las trayectorias "R" y "S": Estas tenían curvas pronunciadas. El robot ajustó su dirección y velocidad automáticamente. Cuando la trayectoria giraba bruscamente, la IA aprendió a relajar ligeramente el control de velocidad para centrarse en el giro, evitando que el robot perdiera el control.
La Velocidad: El robot logró mantenerse cerca de las velocidades objetivo, aunque fue algo más preciso a velocidades más altas. A velocidades muy bajas, era un poco inestable, algo que los autores explican debido a que las correcciones de dirección naturalmente ralentizan al robot, creando un compromiso entre mantenerse en la línea y mantener la velocidad.

Los datos mostraron que el "error de trayectoria transversal" del robot (qué tan lejos se desviaba de la línea) era muy pequeño, a menudo menos de 10 centímetros, incluso en la difícil forma de "S". Las ganancias internas del robot (los ajustes del "entrenador") cambiaban suavemente a medida que la trayectoria cambiaba, demostiendo que el robot no solo estaba memorizando un truco único, sino que estaba aprendiendo una estrategia flexible.

Lo Que Esto Significa

Este artículo sugiere que no necesitamos comprender perfectamente cada gota de la física del agua para construir grandes robots nadadores. En su lugar, al construir un simulador inteligente y rápido que pueda "aprender de sus errores" matemáticamente, podemos entrenar a los robots para que manejen la compleja realidad del agua. Los autores demostraron que una política aprendida en una simulación informática podía transferirse directamente a un robot físico, permitiéndole nadar con agilidad y seguir trayectorias con alta precisión.

Aunque el robot actual solo nada en un plano plano (2D), el éxito de este método sugiere que el mismo enfoque podría usarse eventualmente para enseñar a los robots a bucear, rodar y nadar en un espacio 3D. Es un paso hacia un futuro donde los robots submarinos puedan navegar entornos complejos, inspeccionar tuberías o explorar el océano con la misma facilidad natural de los peces que los inspiraron.

Resumen Técnico: Aprendizaje por Refuerzo Diferenciable para el Seguimiento de Trayectorias por un Robot Ágil Similar a un Pez

1. Planteamiento del Problema

El control y la planificación de movimiento de robots bioinspirados similares a peces se han visto histócidosamente obstaculizados por dos desafíos primarios: la dificultad de modelar con precisión las complejas interacciones fluido-estructura y la dinámica no lineal y subactuada de tales sistemas. Si bien el Aprendizaje por Refuerzo (RL) ha avanzado en el control de robots terrestres y aéreos, su aplicación a robots similares a peces se ha visto limitada por la falta de entornos de simulación que equilibren la velocidad computacional con la precisión. Además, los enfoques basados en datos existentes para robots peces suelen operar en regímenes de baja velocidad (menos de una fracción de una longitud de cuerpo por segundo), donde la complejidad hidrodinámica se reduce, y típicamente se centran en seguir un rumbo de referencia en lugar de controlar simultáneamente tanto la velocidad como la trayectoria.

Este artículo aborda el desafío de controlar la velocidad y el ángulo de rumbo de un robot similar a un pez, plano y ágil, para seguir trayectorias curvas a velocidades de referencia variables. La dificultad específica reside en la naturaleza acoplada de la propulsión (generada por un rotor interno) y la dirección (mediante un timón), donde la dinámica está gobernada por comportamientos de ciclo límite que hacen que el ajuste manual de PID sea no trivial.

2. Metodología

Diseño y Modelado del Robot

Los autores desarrollaron un banco de pruebas experimental modular orientado al control: un robot similar a un pez con una cabeza de hidroala rígida y una cola flexible. La propulsión se logra mediante un rotor equilibrado interno impulsado por un motor sin escobillas, lo que crea una excitación inercial periódica, mientras que la dirección es gestionada por un timón de cola actuado por un servo.

Para permitir un entrenamiento eficiente, los autores construyeron un modelo matemático de orden reducido basado en la dinámica de trineo de Chaplygin. Este modelo:

Captura los mecanismos esenciales de propulsión y el comportamiento de ciclo límite en estado estacionario sin requerir simulaciones de fluido-estructura computacionalmente costosas (por ejemplo, CFD).
Modela la flexibilidad de la cola utilizando resortes torsionales entre los eslabones.
Incorpora masa añadida hidrodinámica y arrastre viscoso mediante funciones de disipación de Rayleigh.
Impone una restricencia no holonómica (velocidad lateral cero en el extremo de la cola) para aproximar la condición de desprendimiento de vórtices de Kutta-Joukowski.

Los parámetros del modelo se identificaron utilizando datos experimentales de 12 ensayos, y el modelo fue validado contra datos del robot físico, mostrando una fuerte concordancia en el comportamiento de ciclo límite y la escala de velocidad en estado estacionario.

Marco de Control

El objetivo de control es el seguimiento simultáneo de la velocidad de avance y del rumbo geomético. Los autores emplean un controlador PID de doble bucle estructurado:

Bucle de Rumbo: Regula el ángulo del timón ( $\alpha$ ) basándose en el error de rumbo.
Bucle de Velocidad: Regula la variable de aceleración ( $s$ , relacionada con la amplitud y frecuencia del rotor) basándose en el error de velocidad.

En lugar de ajustar manualmente las ganancias de PID, las ganancias se tratan como variables de decisión a optimizar. La política de control es una red neuronal que genera ganancias de PID ( $K_p, K_i, K_d$ ) variables en el tiempo para ambos bucles, basándose en el estado del robot (rumbo normalizado, velocidad y errores de seguimiento).

Aprendizaje por Refuerzo Diferenciable

La contribución metodológica central es el uso de Aprendizaje por Refuerzo Diferenciable mediante la Retropropagación a través del Tiempo (BPTT).

Simulador Diferenciable: El modelo de trineo de Chaplygin se implementa como un simulador diferenciable, lo que permite que los gradientes se propaguen directamente a través de la dinámica del sistema, las leyes de actualización de PID y el mapeo de la aceleración.
Entrenamiento: La política se entrena en simulación utilizando un enfoque de aprendizaje por currículo. El currículo aumenta progresivamente la dificultad de la tarea variando las velocidades comandadas (de $0.1 $a$ 0.3$ m/s) y la curvatura de la trayectoria (desde trayectorias sinusoidales hasta circulares con radios decrecientes).
Optimización: El objetivo es un problema de control óptimo de horizonte finito que minimiza una función de costo que incluye el error de trayectoria transversal, el error de rumbo, el error de velocidad y penalizaciones por ganancias grandes o que cambian rápidamente.

3. Contribuciones Clave

Plataforma de Simulación Diferenciable: Desarrollo de un simulador diferenciable y computacionalmente eficiente para un robot similar a un pez carangiforme que aproxima las interacciones fluido-estructura mediante mecánica de orden reducido, permitiendo el aprendizaje basado en gradientes.
Marco de Aprendizaje de Ganancias PID: Una arquitectura de control novedosa donde una red neuronal aprende a modular las ganancias de un controlador PID estructurado en tiempo real, adaptándose a la curvatura de la trayectoria y los requisitos de velocidad.
Transferencia de Simulación a Realidad (Sim-to-Real): Despliegue exitoso de la política entrenada en simulación en un robot físico sin necesidad de ajustes finos adicionales, demostando un seguimiento preciso de la trayectoria y la velocidad en condiciones hidrodinámicas reales.
Estrategia de Aprendizaje por Currículo: Un régimen de entrenamiento que introduce sistemáticamente variaciones de velocidad y curvatura para asegurar que la política aprenda una regulación estable antes de abordar maniobras complejas.

4. Resultados

Resultados de Simulación

La política convergió rápidamente, logrando un error de trayectoria transversal medio de aproximadamente 0.01 m en trayectorias sinusoidales y circulares.
Las ganancias aprendidas exhibieron una modulación dependiente de la curvatura: a medida que el robot entraba en segmentos de mayor curvatura, las ganancias proporcionales e integrales aumentaban, mientras que las ganancias derivativas disminuían ligeramente para evitar un amortiguamiento excesivo de los movimientos de giro necesarios.
El controlador mantuvo un error de rumbo insignificante y rastreó con éxito las velocidades de referencia, aunque se observó un pequeño error de velocidad persistente (~0.05 m/s) durante giros circulares a alta velocidad, lo que refleja un compromiso entre el seguimiento estricto de la velocidad y el de la trayectoria debido a las restricciones hidrodinámicas.

Resultados Experimentales

La política se desplegó en el robot físico para seguir trayectorias con formas de "I", "R", "O" y "S" a velocidades que oscilaban entre 0.10 y 0.25 m/s.
Desempeño de Seguimiento: El robot siguió con éxito todas las formas geométricas. Los errores de raíz cuadrática media (RMS) de trayectoria transversal oscilaron entre 0.011 m y 0.122 m, con errores generalmente menores a velocidades más altas.
Adaptación de Ganancias: El monitoreo en línea confirmó que la política ajustaba dináicamente las ganancias de guiñada (dirección) basadas en la curvatura de la trayectoria, mientras que las ganancias de velocidad se mantuvieron relativamente estables.
Estabilidad: El sistema demostró un comportamiento de bucle cerrado estable con sobreimpulsos acotados y una convergencia rápida a las velocidades comandadas.

5. Significado y Reivindicaciones

El artículo afirma que el marco propuesto cierra con éxito la brecha entre la compleja dinámica fluido-estructura y el aprendizaje de control eficiente. Al utilizar un simulador de física diferenciable, los autores permiten la optimización directa de las políticas de control mediante el descenso de gradiente, evitando la necesidad de modelos diseñados a mano o métodos de RL lentos y poco eficientes en muestras.

La importancia del trabajo radica en:

Demostrar la Transferencia de Simulación a Realidad (Sim-to-Real): Mostrar que una política aprendida enteramente en una simulación de orden reducido puede controlar un robot nadador ágil y físico en agua real.
Control Estructurado: Mantener la interpretabilidad del control PID mientras se aprovecha la adaptabilidad del aprendizaje profundo para ajustar las ganancias en línea.
Maniobras Ágiles: Lograr el seguimiento de trayectorias a velocidades de hasta 2 longitudes de cuerpo por segundo (aunque los experimentos se centraron en 0.1–0.25 m/s), un régimen donde los efectos hidrodinámicos son más complejos que en estudios previos de baja velocidad.

Los autores señalan modestamente que los resultados actuales se limitan a la natación planar y que el trabajo futuro abordará el control de movimiento en tres dimensiones. No pretenden haber resuelto todos los problemas de modelado de interacción fluido-estructura, sino haber proporcionado una aproximación práctica y eficiente adecuada para el aprendizaje orientado al control.