Learning Acrobatic Flight from Preferences

Este trabajo propone el marco probabilístico REC para el aprendizaje por refuerzo basado en preferencias, el cual supera a los métodos estándar en el control de vuelo acrobático de drones al modelar la incertidumbre de la recompensa y permite transferir políticas aprendidas exclusivamente a partir de retroalimentación humana al mundo real sin ajustes adicionales.

Lo esencial

¡Imagina que quieres enseñarle a un dron a hacer acrobacias increíbles, como vueltas mortales o figuras en el aire, pero no sabes cómo explicarle las reglas!

Este paper (artículo científico) cuenta la historia de cómo los investigadores resolvieron este problema usando una técnica llamada Aprendizaje por Refuerzo Basado en Preferencias (PbRL), pero con un giro muy inteligente que llamaron REC.

Aquí te lo explico como si fuera una historia de entrenamiento deportivo:

1. El Problema: El Entrenador que no sabe hablar

En el mundo de la robótica tradicional, para enseñar a un dron a hacer algo, los ingenieros tienen que escribir un "manual de reglas" (una función de recompensa). Tienen que decirle al dron: "Si giras 90 grados, ganas 1 punto; si te caes, pierdes 10 puntos".

El problema es que esto es muy difícil para las acrobacias.

• ¿Cómo le expresas a un dron que un movimiento debe verse "elegante" o "suave"?
• ¿Cómo le dices que el tiempo es perfecto?

Los autores descubrieron algo curioso: cuando compararon las reglas que ellos escribieron a mano con lo que un humano realmente encuentra bonito o bien hecho, solo coincidían el 60% de las veces.

La analogía: Es como si un entrenador de gimnasia le dijera a un atleta: "Haz una voltereta perfecta", pero el entrenador solo le da puntos si tocas el suelo con la punta del pie, ignorando que el atleta hizo una voltereta espectacular en el aire. El atleta (el dron) se confunde y no hace lo que el entrenador (el humano) realmente quiere ver.

2. La Solución: El Entrenador que solo dice "Este o Este"

En lugar de escribir reglas complejas, los investigadores usaron un enfoque más simple: Comparación.
Le mostraron al dron dos videos de sus intentos y le preguntaron a un humano: "¿Cuál de estos dos movimientos se ve mejor?".

• Opción A: Un giro un poco torpe.
• Opción B: Un giro fluido y rápido.
• Humano: "¡La B!".

El dron aprende de estas comparaciones, no de números exactos. Es como si un crítico de cine no te dijera por qué una película es mala, sino simplemente que prefirió la película A sobre la B.

3. El Truco Maestro: REC (El Equipo de Expertos con "Duda")

Aquí es donde entra la innovación de este paper. El método anterior (Preference PPO) tenía un defecto: asumía que el humano siempre tenía la razón y que la respuesta era 100% segura. Pero a veces, dos movimientos son muy parecidos y es difícil elegir.

Los investigadores crearon REC (Reward Ensemble under Confidence).

La analogía: Imagina que en lugar de tener un solo entrenador, tienes un equipo de 5 entrenadores expertos.

• Cuando ven un movimiento muy claro, los 5 entrenadores están de acuerdo: "¡Eso es perfecto!".
• Pero cuando ven un movimiento dudoso, los entrenadores empiezan a discutir entre ellos: "¡No, eso fue lento!", "¡No, fue rápido pero torpe!".

El sistema REC hace dos cosas brillantes con esta discusión:

1. Mide la duda: Si los entrenadores discuten mucho, el sistema sabe que no está seguro de qué es "bueno" en esa situación.
2. Explora la duda: En lugar de ignorar esa zona, el sistema le dice al dron: "¡Ve a esa zona donde mis entrenadores están confundidos! Ahí es donde podemos aprender más".

Esto evita que el dron se quede atascado haciendo siempre lo mismo y le ayuda a descubrir trucos nuevos y arriesgados.

4. Los Resultados: ¡Del Videojuego a la Vida Real!

Los investigadores probaron esto en dos escenarios:

1. En simulación (como un videojuego): El dron aprendió a hacer una acrobacia llamada "Powerloop" (una vuelta vertical continua) mucho mejor que los métodos antiguos. Logró un 88% del rendimiento de un dron con reglas perfectas, mientras que el método antiguo solo llegaba al 55%.
2. En la vida real (Sim2Real): Lo más impresionante es que no tuvieron que volver a entrenar al dron en el mundo real. Lo que aprendió en el simulador, lo aplicó directamente a un dron real de 220 gramos.
   • El dron real hizo la acrobacia perfectamente.
   • Incluso aprendieron un truco nuevo (una "Figura 8" vertical) usando solo las preferencias de un humano, sin escribir ni una sola línea de código de reglas.

En Resumen

Este paper nos enseña que para enseñar cosas complejas y subjetivas (como la belleza de una acrobacia), no necesitamos reglas matemáticas perfectas.

• Antes: Intentábamos escribir un manual de instrucciones tan largo y complejo que fallábamos.
• Ahora: Usamos un sistema que pregunta "¿Cuál prefieres?", entiende que a veces la respuesta es incierta, y usa esa incertidumbre para explorar y aprender trucos increíbles.

Es como enseñar a un niño a dibujar: en lugar de darle una regla de "dibuja un círculo perfecto", le muestras dos dibujos y le preguntas "¿Cuál te gusta más?". Con el tiempo, el niño (o el dron) aprende a dibujar (o volar) de forma magistral.

Resumen técnico

Resumen Técnico: Aprendizaje de Vuelo Acrobático a partir de Preferencias

1. Planteamiento del Problema

El control de drones cuadricópteros para maniobras acrobáticas es un desafío crítico en robótica debido a su dinámica no lineal, transiciones de estado rápidas y márgenes de error extremadamente estrechos.

• Limitación de las Recompensas Manuales: El diseño de funciones de recompensa manuales (hand-crafted rewards) para estas tareas es laborioso, específico de cada tarea y a menudo falla en capturar cualidades subjetivas como la suavidad, el estilo o la intención de alto nivel.
• Desalineación Humano-Máquina: Los autores demostraron que las recompensas diseñadas manualmente coinciden con el juicio humano solo en un 60.7% de los casos. Esto subraya que las funciones de recompensa tradicionales no logran formalizar adecuadamente lo que los observadores humanos consideran una maniobra exitosa.
• Incertidumbre en las Preferencias: Los métodos existentes de Aprendizaje por Refuerzo Basado en Preferencias (PbRL) a menudo tratan las preferencias como etiquetas deterministas, ignorando la incertidumbre inherente cuando dos trayectorias son de calidad similar, lo que lleva a inestabilidad en el aprendizaje.

2. Metodología: REC (Reward Ensemble under Confidence)

Para abordar estos desafíos, los autores proponen REC, un marco de aprendizaje de recompensas probabilístico diseñado específicamente para PbRL en vuelo acrobático.

Componentes Clave de REC:

1. Modelado Probabilístico de la Recompensa:

   • En lugar de predecir un valor de recompensa único, REC utiliza un ensemble (conjunto) de modelos de recompensa distribucionales (MLPs).
   • Cada miembro del ensemble predice una recompensa para cada paso de tiempo, permitiendo calcular la media ($r_{mean}$) y la desviación estándar ($r_{std}$) de la predicción.
   • La recompensa de la trayectoria se modela como una distribución normal derivada de la suma de estas distribuciones temporales.

2. Pérdida de Preferencia Probabilística:

   • Se reemplaza el modelo softmax de Bradley-Terry (estándar en PbRL) por un modelo basado en la Función de Distribución Acumulada (CDF) Gaussiana.
   • La probabilidad de preferencia entre dos trayectorias ($\tau_1, \tau_2$) se calcula considerando la diferencia de medias y la incertidumbre combinada (desviaciones estándar) de ambas. Esto permite que el modelo exprese naturalmente su confianza: si la incertidumbre es alta, la probabilidad de preferencia se acerca a 0.5.

3. Estrategia de Agregación con Ruido (Exploración):

   • Para la optimización de la política, la recompensa agregada incluye un término de ruido positivo basado en la desviación estándar del ensemble.
   • Mecanismo: $r_{agg} = \text{media} + |X|$, donde $X$ es una variable aleatoria basada en la discrepancia del ensemble.
   • Objetivo: Esto otorga una "bonificación" de recompensa en regiones de alta incertidumbre, incentivando al agente a explorar estados donde el modelo de recompensa es menos seguro, mejorando así la exploración.

4. Reinicialización del Ensemble:

   • Para mantener la diversidad del ensemble y evitar que los miembros converjan a predicciones idénticas (colapso), los autores reinicializan los pesos de los miembros con peor rendimiento antes de cada reentrenamiento del modelo de recompensa.

3. Contribuciones Principales

1. Propuesta de REC: Un marco probabilístico que modela la incertidumbre de la recompensa por paso de tiempo mediante un ensemble, reemplazando la pérdida estándar de entropía cruzada por una basada en distribuciones.
2. Mejora de Rendimiento: Demostración de que REC alcanza el 88.4% del rendimiento de una recompensa manual diseñada (shaped reward) en control de cuadricópteros, comparado con solo el 55.2% obtenido por el PbRL estándar (Preference PPO).
3. Transferencia Sim2Real Zero-Shot: Éxito en transferir políticas entrenadas en simulación a un cuadricóptero real de 220g sin ajuste fino (fine-tuning), ejecutando maniobras complejas como powerloops continuos y una nueva figura-8 vertical.
4. Validación de la Limitación de Recompensas Manuales: Evidencia empírica de que las recompensas manuales fallan en alinearse con el juicio humano (60.7% de acuerdo), validando la necesidad de enfoques basados en preferencias.

4. Resultados Experimentales

• Entorno de Simulación (Flightmare):
  • Se evaluó la tarea de powerloop continuo. REC superó significativamente al Preference PPO estándar en términos de recompensa media y consistencia (menor varianza entre semillas).
  • En el benchmark Walker-Walk (DM Control Suite), REC también mostró mejoras, confirmando su aplicabilidad más allá de la robótica aérea.
• Feedback Humano vs. Sintético:
  • Se entrenaron políticas tanto con preferencias sintéticas (basadas en recompensas manuales) como con preferencias de un anotador humano.
  • A pesar de la baja concordancia (60.7%) entre la recompensa manual y el humano, la política entrenada con preferencias humanas logró ejecutar maniobras acrobáticas exitosas en el mundo real.
• Despliegue Real:
  • Las políticas se desplegaron en un cuadricóptero real de 220g a 50 Hz.
  • Se logró ejecutar un powerloop continuo y una Figura-8 Vertical (doble powerloop) aprendida puramente a partir de feedback humano, sin modificar hiperparámetros ni diseñar recompensas manuales para la nueva maniobra.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Superación de la Ingeniería de Recompensas: Demuestra que para tareas con objetivos subjetivos (como la estética en vuelo acrobático), el aprendizaje basado en preferencias es superior a la ingeniería manual de recompensas, que es propensa a errores y limitaciones.
• Gestión de la Incertidumbre: REC introduce un mecanismo robusto para manejar la incertidumbre en las preferencias, lo cual es crucial para la estabilidad del entrenamiento en sistemas físicos complejos donde el feedback puede ser ruidoso o ambiguo.
• Viabilidad Sim2Real: Proporciona una de las primeras demostraciones exitosas de transferencia zero-shot de políticas de vuelo acrobático aprendidas exclusivamente mediante preferencias (sin demostraciones de expertos) desde simulación a hardware real.
• Generalización: El marco permite a usuarios no expertos especificar nuevas habilidades acrobáticas simplemente comparando trayectorias, eliminando la necesidad de conocimientos técnicos profundos en diseño de recompensas.

En conclusión, REC establece un nuevo estado del arte para el control de drones ágiles mediante aprendizaje por refuerzo basado en preferencias, resolviendo problemas de inestabilidad y demostrando que el feedback humano directo es una fuente viable y potente para el aprendizaje de comportamientos complejos en el mundo real.