How to Model Your Crazyflie Brushless

Each language version is independently generated for its own context, not a direct translation.

¡Hola! Imagina que el mundo de los drones es como un gran parque de atracciones. Durante años, el "rey" de los mini-drones para investigadores y estudiantes ha sido un pequeño cuadricóptero llamado Crazyflie. Piensa en él como un juguete muy inteligente, pero con un pequeño problema: sus motores eran como los de un viejo coche de juguete (de "escobillas"), que se calientan, se desgastan rápido y no tienen mucha fuerza.

En este artículo, los autores presentan al nuevo campeón: el Crazyflie Brushless (sin escobillas). Es como si hubieran cambiado esos motores viejos por unos de Fórmula 1. ¡Tiene un 50% más de potencia! Ahora puede hacer trucos acrobáticos increíbles, como dar vueltas completas en el aire (flip) en espacios muy pequeños.

Pero, para que estos drones hagan trucos peligrosos sin estrellarse, los investigadores necesitan un "gemelo digital" perfecto en la computadora. Aquí es donde entra este trabajo:

1. El Gemelo Digital (El Modelo)

Los autores crearon una receta matemática (un modelo) que describe exactamente cómo se mueve este nuevo drone.

La analogía: Imagina que quieres aprender a conducir un coche nuevo. Antes de salir a la carretera, necesitas entender cómo responde el acelerador, cómo frena y cómo gira. Si tu "manual de instrucciones" (el modelo) dice que el coche gira a la izquierda cuando giras a la derecha, te estrellarás.
Lo que hicieron: Medieron todo: cuánto empuja cada hélice, cuánto tarda el motor en acelerar, y cómo pesa el drone. Crearon un simulador tan preciso que, si le pides al drone virtual que haga un giro, el drone real hará casi exactamente lo mismo.

2. El Entrenador Virtual (Aprendizaje por Refuerzo)

Una vez que tienen el gemelo digital, no quieren enseñarle al drone real trucos arriesgados a mano (porque se rompería). En su lugar, usan una técnica llamada Aprendizaje por Refuerzo (Reinforcement Learning).

La analogía: Imagina que eres un entrenador de gimnasia. En lugar de lanzar a tu atleta a la pista olímpica de inmediato, lo entrenas miles de veces en un gimnasio virtual (simulación).
El truco: El entrenador (la computadora) le dice al drone virtual: "¡Bien hecho si te mantienes en el aire!" o "¡Mal! Si te caes, pierdes puntos". El drone virtual intenta millones de veces, cometiendo errores y aprendiendo de ellos, hasta que se convierte en un maestro.
El resultado: En este estudio, enseñaron al drone virtual a hacer un flip doble (dos vueltas completas) en solo 1.8 metros de altura. ¡Es como si un humano diera dos volteretas en el espacio de un sofá!

3. El Desafío: Del Mundo Virtual al Real (Sim-to-Real)

Aquí está la parte más interesante. A veces, lo que funciona en la computadora no funciona en la vida real porque hay cosas que no puedes predecir (como corrientes de aire o si el drone pesa un gramo más de lo que pensabas).

La analogía: Es como practicar para un examen en casa. Si solo estudias con las preguntas exactas del libro, podrías fallar si el profesor cambia una palabra.
La solución (Randomización de Dominio): Para evitar esto, los investigadores entrenaron al drone virtual en un "caos controlado". Le dijeron: "A veces pesa un poco más, a veces los motores son un poco más lentos, a veces hay viento".
- Al entrenar al drone en estas condiciones variadas, se vuelve super resistente. Cuando llega el momento de probarlo en el mundo real, el drone ya ha visto "todo tipo de problemas" en la simulación y sabe cómo reaccionar.

¿Qué lograron al final?

Crearon el manual definitivo para el nuevo drone Crazyflie Brushless, que ahora es de código abierto (todos pueden usarlo gratis).
Demostraron que su modelo es tan bueno que un drone entrenado solo en la computadora puede volar en la vida real y hacer trucos acrobáticos complejos sin necesidad de ser reentrenado.
Encontraron la "zona dorada": Descubrieron que si entrenas al drone con una mezcla de variaciones (ni muy rígido, ni muy caótico), obtienes el mejor resultado posible.

En resumen:
Este paper es como la "guía de usuario" y el "campeón de entrenamiento" para la nueva generación de drones Crazyflie. Han creado un entorno virtual tan realista que permiten a los robots aprender a ser acróbatas aéreos en segundos, para luego saltar al mundo real y hacerlo con éxito. ¡Es un gran paso para que los robots sean más ágiles y seguros!

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Cómo Modelar el Crazyflie Brushless (Cómo Modelar el Crazyflie de Motor sin Escobillas)

Resumen Ejecutivo
Este trabajo presenta un modelo dinámico completo y la identificación de parámetros para el nuevo Crazyflie Brushless (CFB), lanzado a principios de 2025. A diferencia de su predecesor (Crazyflie 2.1) que utiliza motores con escobillas, el CFB incorpora motores sin escobillas (brushless) y controladores electrónicos de velocidad (ESC), lo que le ofrece un ratio empuje-peso un 50% mayor (aprox. 3:1). El objetivo principal es facilitar la investigación en control ágil de nano-drones mediante un modelo preciso que permita la transferencia exitosa de controladores aprendidos por refuerzo (RL) desde la simulación hasta el hardware real.

1. El Problema

A pesar de que los drones Crazyflie son plataformas estándar en la investigación de enjambres y control, el nuevo modelo CFB introdujo cambios significativos en su arquitectura de propulsión (motores brushless y ESCs) que alteran su dinámica.

Falta de Modelos: No existía un modelo dinámico de código abierto ni una identificación de parámetros específica para el CFB, lo que dificultaba el desarrollo de controladores avanzados y la simulación precisa.
Brecha Simulación-Realidad (Sim-to-Real Gap): Para aplicar técnicas de aprendizaje por refuerzo (RL) y maniobras acrobáticas complejas, es crucial tener un modelo que capture con precisión la dinámica del motor, la aerodinámica y la respuesta del sistema, minimizando la necesidad de ajuste fino en el hardware real.

2. Metodología

Los autores desarrollaron un enfoque integral que combina modelado de primeros principios, identificación experimental de parámetros y validación mediante RL.

A. Modelado Dinámico

Se derivó un modelo de espacio de estados ( $\dot{x} = f(x, u)$ ) que incluye:

Dinámica Rígida: Ecuaciones de movimiento traslacional y rotacional estándar.
Dinámica del Motor: Se modeló la respuesta de los motores brushless y los ESCs como un sistema lineal de primer orden con una constante de tiempo ( $T$ ) y un factor de amplificación ( $K$ ), en lugar de modelos estáticos simples.
Fuerzas y Torques: Se definieron funciones polinómicas de tercer orden para el empuje ( $F_{thrust}$ ) y el torque reactivo/fricción ( $\tau_f$ ) en función de la velocidad de rotación del motor ( $\Omega$ ).
Simulación: El modelo se implementó en MuJoCo XLA (MJX) utilizando JAX, lo que permite simulaciones altamente paralelizadas en GPU, esenciales para el entrenamiento de RL.

B. Identificación de Parámetros

Se realizaron tres tipos de experimentos para identificar los parámetros del modelo:

Dinámica del Motor: Medición de RPM durante el vuelo para ajustar la constante de tiempo ( $T = 50$ ms) y la ganancia ( $K$ ).
Mediciones de Empuje y Torque: Uso de una plataforma de prueba con brazo giratorio y sensores de fuerza para generar curvas polinómicas precisas de empuje y torque.
Ajuste de Trayectorias: Identificación manual de los momentos de inercia ( $J$ ) y la masa ( $m$ ) ajustando trayectorias simuladas a datos reales de vuelo (incluyendo pruebas de rotación rápida en ejes X, Y y Z).

C. Evaluación mediante Aprendizaje por Refuerzo (RL)

Para validar la utilidad del modelo, se entrenaron controladores neuronales (NN) de extremo a extremo utilizando Proximal Policy Optimization (PPO) en simulación:

Tarea 1 (Control de Posición): Mantener y alcanzar posiciones objetivo.
Tarea 2 (Acrobacias): Ejecutar volteretas traseras (backflips) simples y dobles.
Randomización de Dominio: Se variaron parámetros del modelo (masa, inercia, empuje, etc.) durante el entrenamiento para evaluar la robustez y la transferencia sim-to-real.

3. Contribuciones Clave

Modelo Dinámico del CFB: Derivación de un modelo de dinámica completa que incluye la respuesta de los motores brushless y ESCs, con una precisión superior a los modelos existentes para la versión anterior (CF 2.1).
Guías de Identificación: Procedimientos prácticos para que los usuarios puedan re-identificar parámetros críticos (como momentos de inercia) cuando se modifican las cargas útiles del dron.
Simulador de Alto Rendimiento: Implementación del modelo en MJX/JAX, disponible como código abierto, permitiendo simulaciones masivamente paralelas.
Validación Sim-to-Real: Demostración exitosa de que controladores entrenados exclusivamente en simulación pueden transferirse al hardware real sin ajuste fino, logrando maniobras complejas como dobles volteretas traseras con un desplazamiento vertical de solo 1.8 metros.
Análisis de Randomización de Dominio: Estudio cuantitativo sobre cómo la magnitud de la randomización afecta el rendimiento, recomendando rangos específicos para diferentes tareas.

4. Resultados

Precisión del Modelo: El modelo captura el comportamiento del CFB con alta precisión en horizontes de 200 ms. Las desviaciones a largo plazo se atribuyen a incertidumbres en el centro de gravedad, errores del filtro de Kalman del dron y efectos aerodinámicos no modelados.
Comparación con Baselines: El modelo propuesto supera significativamente en precisión al modelo de PyBullet-drones utilizado para el CF 2.1.
Rendimiento del Controlador:
- Control de Posición: El controlador neuronal entrenado con randomización de dominio (magnitud 1.0) alcanzó una precisión de posición de 43.16 mm, superando al controlador Mellinger y acercándose al PID nativo (27.81 mm), pero con una suavidad en los comandos de motor comparable.
- Acrobacias: Se logró ejecutar dos rotaciones completas (doble backflip) en un espacio vertical reducido, demostrando la capacidad del modelo para predecir maniobras de alto empuje y alta agilidad.
Impacto de la Randomización: Se encontró que una randomización de dominio de ±10% a ±20% (en masa, inercia y escalado de empuje) es óptima para cerrar la brecha sim-to-real. Una randomización excesiva degrada el rendimiento, mientras que una insuficiente reduce la precisión, especialmente en el eje vertical (Z).

5. Significado e Impacto

Este trabajo es fundamental para la comunidad de robótica por varias razones:

Habilitación de Investigación Ágil: Proporciona la base necesaria para investigar el control de nano-drones de alto rendimiento, aprovechando la nueva capacidad de empuje del CFB.
Reproducibilidad y Acceso: Al ser el primer modelo abierto del CFB, democratiza el acceso a una plataforma de simulación precisa, permitiendo a investigadores probar algoritmos sin necesidad de hardware físico inmediato.
Avance en Sim-to-Real: Demuestra que, con un modelado adecuado de la dinámica del motor y una randomización de dominio estratégica, es posible entrenar políticas de RL complejas (como acrobacias aéreas) que funcionan directamente en el mundo real, reduciendo la necesidad de costosos y lentos ciclos de ajuste en hardware.
Recursos Abiertos: Todo el código, parámetros y el simulador están disponibles públicamente, fomentando la colaboración y el desarrollo futuro en enjambres de drones y control aerodinámico avanzado.

El código y los datos están disponibles en: github.com/Data-Science-in-Mechanical-Engineering/CrazyflieBrushJAX.