🤖 machine learning

Distributionally Robust and Safe Imitation Learning

Este artículo propone un marco unificado de aprendizaje por imitación seguro y distribucionalmente robusto que combina el Aprendizaje por Imitación de la Serie de Taylor y el control adaptativo distribucionalmente robusto para mitigar tanto los desplazamientos de distribución inducidos por la política como los inducidos por la incertidumbre, asegurando un desempeño seguro y efectivo en entornos inciertos, tal como lo demuestra un estudio de caso de un VANT.

Autores originales: Ahmed Aboudonia, Naira Hovakimyan

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ahmed Aboudonia, Naira Hovakimyan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a realizar una tarea compleja, como volar un dron a través de un bosque o conducir un coche por el tráfico de una ciudad. No quieres escribir miles de líneas de código diciéndole al robot exactamente qué hacer en cada segundo; en su lugar, quieres que aprenda observando a un experto humano. Esto es el mundo del Aprendizaje por Imitación. Piensa en ello como un estudiante que hace sombra a un maestro chef: el estudiante observa al maestro picar verduras y voltear panqueques, y luego intenta copiar los movimientos.

Sin embargo, hay un problema espinoso. Si el estudiante comete un error diminuto al principio —por ejemplo, cortar una zanahoria ligeramente demasiado gruesa—, podría confundirse más tarde, lo que provocaría una cascada de errores que arruinaría toda la comida. En el mundo de los robots, esto se llama desplazamiento de la distribución (distribution shift): el robot termina en situaciones que el experto nunca vio y, como solo aprendió a copiar al experto en condiciones perfectas, entra en pánico. Además, el mundo real es desordenado. El viento puede soplar, el suelo puede estar resbaladizo o los sensores pueden fallar. Estas son las incertidumbres. Si un robot aprende solo en una simulación tranquila y soleada, podría estrellarse en el momento en que se enfrente a una ráfaga de viento. Es por esto que los investigadores están desesperados por construir robots que no solo copien a los expertos, sino que los copien de manera segura y robusta, incluso cuando las cosas salen mal.

La gran idea del artículo: El dron "Súper-Estudiante"

En este artículo, Ahmed Aboudonia y Naira Hovakimyan proponen una nueva forma de enseñar a los robots que actúa como un "súper-estudiante" que no solo aprende a copiar, sino a entender el porqué y el qué pasaría si detrás de los movimientos. Llaman a su método un marco de Aprendizaje por Imitación Seguro y Distribucionalmente Robusto.

Para entender lo que hicieron, imagina que estás aprendiendo a montar en bicicleta.

Aprendizaje Estándar (Clonación de Comportamiento): Observas a un ciclista profesional e intentas copiar sus movimientos corporales exactos. Si te tambaleas, podrías caerte porque no aprendiste cómo corregir el tambaleo.
El primer truco del artículo (TaSIL): Los autores utilizan una técnica llamada Aprendizaje por Imitación de la Serie de Taylor (TaSIL). En lugar de solo copiar la posición del ciclista, el robot aprende a copiar sus derivadas. En lenguaje sencillo, aprende no solo dónde está el ciclista, sino qué tan rápido está girando, qué tan rápido está acelerando y cómo están cambiando esos cambios. Es como aprender el "flujo" del movimiento, no solo la instantánea. Esto ayuda al robot a mantenerse en su trayectoria incluso si se desvía ligeramente del camino.
El segundo truco del artículo (L1-DRAC): Pero, ¿y si hay una ráfaga de viento repentina? El robot necesita una red de seguridad. Los autores añaden una capa llamada Control Adaptativo Distribucionalmente Robusto L1 (L1-DRAC). Piensa en esto como un copiloto invisible y súper rápido. Si el viento empuja al dron, este copiloto calcula instantáneamente la corrección necesaria para mantener al dron en su trayectoria prevista, efectivamente "cancelando" el viento antes de que el dron siquiera note su presencia.

El nuevo giro: Aprendiendo con una red de seguridad

La verdadera innovación en este artículo es cómo combinaron estas dos ideas para manejar la incertidumbre y la seguridad simultáneamente.

Normalmente, cuando un robot aprende de un experto, intenta igualar la trayectoria del experto exactamente. Pero, ¿qué pasa si la trayectoria del experto pasa justo al lado de un acantilado y el viento está soplando? Un robot inteligente no debería copiar ciegamente al experto hacia el acantilado. Los autores se dieron cuenta de que los métodos de aprendizaje estándar no tienen en cuenta el hecho de que el "mundo real" podría ser ligeramente diferente al "mundo de entrenamiento".

Crearon un nuevo juego de entrenamiento para el robot:

La "Bola del Peor Escenario": En lugar de aprender solo de la trayectoria exacta que tomó el experto, el robot imagina una "bola" de trayectorias posibles alrededor de la trayectoria del experto. Esta bola representa todas las formas posibles en que el viento o los errores de los sensores podrían desviar al robot de su curso.
La Restricción de Seguridad: El robot es entrenado para desempeñarse bien incluso en el peor escenario dentro de esa bola. Es como un piloto practicando para una tormenta, no solo para un día soleado.
La Penalización de Seguridad: Añadieron un "término de seguridad" especial a la tarea del robot. Si el plan del robot lo coloca demasiado cerca de una zona peligrosa (como una zona de no vuelo), recibe una gran penalización. Esto obliga al robot a aprender: "Puedo seguir al experto, pero si el viento me empuja hacia la zona de peligro, debo alejarme para mantenerme seguro".

Lo que encontraron (La Simulación)

Los autores probaron su idea en un Vehículo Aéreo No Tripulado (UAV), básicamente un dron. Configuraron una simulación donde el dron tenía que volar en un círculo mientras evitaba una "región insegura" específica (una zona en la que no debería entrar). Introdujeron incertidumbre epistémica (como fuerzas aleatorias e impredecibles que actúan sobre el dron) e incertidumbre aleatoria (ruido aleatorio, como fallos en los sensores).

Esto fue lo que sucedió en sus simulaciones:

El Robot Estándar: Cuando utilizaron un robot de aprendizaje por imitación estándar en un mundo perfecto, voló el círculo perfectamente. Pero tan pronto como añadieron viento y ruido, el robot empezó a tambalearse y finalmente chocó contra la zona insegura. Era demasiado rígido.
El Robot con un Copiloto (L1-DRAC): Cuando añadieron el "copiloto invisible" al robot estándar, manejó mucho mejor el viento y se mantuvo más cerca del círculo. Sin embargo, todavía no sabía cómo evitar la zona insegura si el viento lo empujaba hacia ella. Era robusto al viento, pero no era "seguro" en el sentido estricto.
El "Súper-Estudiante" (El Nuevo Marco): El robot entrenado con el nuevo método Distribucionalmente Robusto y Seguro fue el ganador. En las simulaciones, voló el círculo tan bien como el experto. Pero cuando el viento lo empujó hacia la zona insegura, no entró en pánico. En su lugar, se desvió intencionadamente de la trayectoria exacta del experto para alejarse del peligro, y luego regresó suavemente al círculo una vez que el peligro pasó.

El artículo demuestra que, al enseñar al robot a esperar el peor escenario dentro de un cierto rango de incertidencia, y al penalizarlo explícitamente por acercarse demasiado al peligro, se puede crear un sistema que es tanto altamente hábil como increíblemente seguro.

Conclusión

Este artículo no pretende haber resuelto todos los problemas de aprendizaje de los robots para siempre. En cambio, los autores demuestran, a través de simulaciones extensas, que su nuevo marco de trabajo funciona. Demostraron que al combinar un método que aprende el "flujo" del movimiento (TaSIL) con un método que lucha activamente contra la incertidumbre (L1-DRAC), y al añadir una regla de seguridad que obliga al robot a pensar con antelación, se puede construir un dron que vuela con confianza incluso cuando el mundo es desordenado e impredecible. Es un paso hacia robots que no solo nos copian, sino que aprenden a ser tan inteligentes y cuidadosos como esperamos que lo sean.

Resumen Técnico: Aprendizaje por Imitación Distribucionalmente Robusto y Seguro

Planteamiento del Problema
El Aprendizaje por Imitación (IL, por sus siglas en inglés) ha demostrado éxito en tareas complejas de toma de decisiones, pero sigue siendo altamente sensible a los cambios de distribución, lo que plantea riesgos significativos de seguridad. El artículo identifica dos fuentes primarias de estos cambios:

Cambio de distribución inducido por la política: Pequeñas desviaciones en una política aprendida pueden acumularse con el tiempo, provocando errores en cascada (la "brecha de imitación").
Cambio de distribución inducido por la incertidumbre: Variaciones menores en el entorno, modeladas como incertidumbres epistémicas (incertidumbre del modelo) y aleatorias (ruido estocástico), se propagan a través del sistema, degradando el rendimiento.

Los métodos existentes suelen abordar estos problemas por separado. Por ejemplo, el Aprendizaje por Imitación de la Serie de Taylor (TaSIL) mitiga los cambios inducidos por la política alineando las derivadas de orden superior de la política, mientras que el Control Adaptativo L1-Distribucionalmente Robusto (L1-DRAC) gestiona los cambios inducidos por la incertidumbre. Sin embargo, el TaSIL estándar no tiene en cuenta los cambios inducidos por la incertidumbre ni incorpora explícitamente restricciones de seguridad durante el entrenamiento.

Metodología
Los autores proponen un marco unificado que integra TaSIL con L1-DRAC para abordar ambos tipos de cambios de distribución, garantizando al mismo tiempo la seguridad. El enfoque se estructura de la siguiente manera:

Modelado del Sistema: El sistema se modela como un sistema dinámico incierto gobernado por un proceso de Itô, incorporando incertidumbres de deriva (epistémicas) y de difusión (aleatorias).
Robustez mediante L1-DRAC: Para manejar los cambios inducidos por la incertidumbre, el marco emplea L1-DRAC. Esta capa de control adaptativo aumenta la entrada de control nominal, proporcionando un límite teórico para la distancia de 2-Wasserstein entre la distribución del sistema incierto real y un sistema nominal. Este límite ( $\rho$ ) cuantifica la desviación máxima causada por las incertidumbres.
TaSIL Distribucionalmente Robusto (Rendimiento): La innovación central es la reformulación del objetivo de TaSIL. En lugar de minimizar la pérdida únicamente a lo largo de las trayectorias del experto, los autores definen una función de pérdida distribucionalmente robusta. Esta función optimiza el rendimiento sobre un "conjunto de ambigüedad" de distribuciones de estado centradas alrededor de la trayectoria del experto.
- La función de pérdida alinea la política aprendida y sus derivadas (hasta el orden $p$ ) con las del experto, no solo en la trayectoria del experto, sino también en las peores trayectorias muestreadas de una bola de distribuciones (definida por la distancia de Wasserstein $\rho_L$ ).
- Dado que las derivadas del experto no están disponibles en estas trayectorias muestreadas, el marco aproxima la política del experto localmente utilizando una expansión de Taylor alrededor de la trayectoria conocida del experto.
Integración de la Seguridad: Para abordar la seguridad, el marco incorpora Restricciones de Probabilidad (específicamente el Valor en Riesgo Condicional, CVaR) para asegurar que el sistema permanezca dentro de una región segura con alta probabilidad.
- Se añade un término de seguridad a la función de pérdida, penalizando las violaciones de estas restricciones.
- El término de seguridad utiliza el límite de Wasserstein establecido previamente para aproximar el CVaR del peor caso sobre el conjunto de ambigüedad, asegurando que la política respete los requisitos de seguridad incluso bajo incertidumbre distributiva.
Objetivo Unificado: El objetivo de entrenamiento final combina el término de TaSIL distribucionalmente robusto con la penalización de seguridad, creando una política que es robusta tanto a los cambios de distribución inducidos por la política como por la incertidumbre, al tiempo que cumple con las restricciones de seguridad.

Contribuciones Clave

Marco Unificado: El artículo presenta una arquitectura novedosa que aborda simultáneamente los cambios de distribución inducidos por la política y por la incertidumbre, basándose en la arquitectura DRIP pero reformulando el objetivo de entrenamiento.
Formulación Distribucionalmente Robusta: Los autores generalizan TaSIL para optimizar el rendimiento sobre un conjunto de ambigüedad de distribuciones de estado, contabilizando explícitamente la incertidumbre distributiva durante la fase de aprendizaje.
Entrenamiento Consciente de la Seguridad: A diferencia de los enfoques estándar de IL que dependen de la seguridad de las demostraciones del experto, este marco incorpora explícitamente restricciones de seguridad (vía CVaR) en la función de pérdida, asegurando que la política aprendida evite regiones inseguras incluso cuando el entorno difiere de las condiciones de entrenamiento.
Límites Teóricos: El enfoque aprovecha las garantías teóricas de L1-DRAC para definir el tamaño del conjunto de ambigüedad (la bola de Wasserstein) utilizado en la optimización robusta.

Resultos
El marco fue evaluado en un caso de estudio de un Vehículo Aéreo No Tripulado (UAV) que involucra una tarea de trayectoria circular en un entorno incierto con regiones inseguras definidas.

TaSIL Estándar: Logró imitar al experto en entornos libres de incertidumbre, pero se desvió significativamente cuando se introdujeron incertidumbres.
TaSIL + L1-DRAC: Mejoró el seguimiento de la trayectoria bajo incertidumbre en comparación con el TaSIL estándar, pero aun así falló en evitar las regiones inseguras.
TaSIL Distribucionalmente Robusto y Seguro Propuesto: Demostró la capacidad de seguir de cerca la trayectoria del experto mientras se desvía intencionalmente cerca de las regiones inseguras para mantener la seguridad. Las simulaciones de Monte Carlo confirmaron que este enfoque equilibra eficazmente el rendimiento y la seguridad bajo cambios de distribución inducidos tanto por la política como por la incertidumbre.

Significancia
El artículo afirma que el marco propuesto ofrece un enfoque sistemático para aprender políticas de control seguras en entornos inciertos. Al contabilizar explícitamente la incertidumbre distributiva y las restricciones de seguridad durante la fase de entrenamiento, el método supera las limitaciones del IL estándar y de las variantes existentes de IL robusto. Los resultados sugieren que este enfoque permite que los sistemas autónomos adquieran políticas que no solo son robustas a las imprecisiones del modelo y al ruido ambiental, sino que también son inherentemente seguras, lo que las hace adecuadas para aplicaciones críticas como las operaciones de UAV en condiciones de incertidumbre. Los autores señalan que, si bien la implementación actual utiliza un límite elegido empíricamente para el codiseño de TaSIL y L1-DRAC, el marco proporciona una base para futuros trabajos en el diseño conjunto de estos componentes utilizando la teoría de codiseño.

La gran idea del artículo: El dron "Súper-Estudiante"

El nuevo giro: Aprendiendo con una red de seguridad

Lo que encontraron (La Simulación)

Conclusión

Más como este