OnDeFog: Online Decision Transformer under Frame Dropping

Resumen Técnico: OnDeFog: Decision Transformer en línea bajo la caída de fotogramas

Planteamiento del problema
En aplicaciones de aprendizaje por refuerzo (RL) del mundo real, como la conducción autónoma o el control de drones, los agentes se encuentran frecuentemente con observaciones incompletas debido a retrasos en la comunicación o fallos en los sensores, un fenómeno conocido como caída de fotogramas (frame dropping). Esto provoca que el agente pierda estados y recompensas asociadas, lo que conduce a una degradación significativa del rendimiento. Aunque se desarrolló el Decision Transformer bajo Caída de Fotogramas Aleatoria (DeFog) para abordar esto mediante la incorporación de mecanismos específicos en el Decision Transformer (DT), este es un método de RL offline. En consecuencia, DeFog tiene dificultades para generalizar a nuevos estados que no estén adecuadamente representados en sus conjuntos de datos de entrenamiento pre-recolectados y depende de conjuntos de datos extensos y de alta calidad, lo que incurre en altos costes de recolección. Por el contrario, el Online Decision Transformer (ODT) permite el aprendizaje mediante la interacción directa con el entorno, pero carece de mecanismos inherentes para gestionar la caída de fotogramas, lo que lo hace susceptible a caídas de rendimiento cuando se pierden las observaciones.

Metodología: OnDeFog
Los autores proponen OnDeFog (Online DeFog), un nuevo método de RL online que integra los mecanismos de robustez de DeFog en el marco de ODT. OnDeFog tiene como objetivo lograr un entrenamiento estable en entornos con caída de fotogramas, manteniendo al mismo tiempo la capacidad de explorar y aprender de nuevas interacciones.

El método propuesto emplea un enfoque de entrenamiento de dos etapas:

1. Pre-entrenamiento offline: La política se entrena inicialmente utilizando un conjunto de datos pre-recolectado mediante RL offline.
2. Ajuste fino online (Fine-tuning): La política se mejora posteriormente mediante la interacción directa con el entorno.

Para gestionar la caída de fotogramas durante el entrenamiento, OnDeFog incorpora dos técnicas clave de DeFog:

• Caída de fotogramas en tiempo de entrenamiento: Durante el entrenamiento, los inputs (estados y retornos) se eliminan intencionadamente en pasos de tiempo específicos con una probabilidad definida ($p$). Para los fotogramas eliminados, se transfiere el estado y el retorno del fotograma precedente. Esto simula el entorno de caída, permitiendo que el modelo aprenda la robustez contra la pérdida de datos.
• Codificación de la extensión de la caída (Drop Span Embedding): El método calcula el número de fotogramas eliminados consecutivamente ($D$) en cada paso de tiempo. Este conteo se codifica en un vector mediante un codificador de extensión de caída (drop span encoder) y se añade a los tokens de estado y de retorno. Esto permite al modelo aprender explícitamente a manejar patrones de ausencia.

A diferencia de DeFog, OnDeFog no utiliza el "ajuste fino de tronco congelado" (freeze-trunk fine-tuning), ya que los experimentos indicaron que esto no producía resultados sustanciales en el entorno online. En su lugar, OnDeFog utiliza un búfer de repetición (replay buffer) donde se almacenan las trayectorias recolectadas durante la interacción online. Durante el aprendizaje online, el retorno objetivo se escala (se establece en el doble del retorno óptimo) para fomentar una exploración agresiva, y se utiliza el retorno real medido (reetiquetado de retorno retrospectivo o hindsight return relabeling) para corregir las discrepancias entre el retorno objetivo y el observado.

Contribuciones clave

• Integración de robustez y aprendizaje online: OnDeFog logra cerrar la brecha entre la robustez offline y la adaptabilidad online al integrar los mecanismos de gestión de caída de fotogramas de DeFog en la arquitectura de ODT.
• Mitigación de la dependencia de los datos: Al aprovechar la interacción online, OnDeFog reduce la dependencia de conjuntos de datos offline extensos y de alta calidad, abordando una limitación primaria de DeFog.
• Marco de entrenamiento de dos etapas: El método establece un protocolo de pre-entrenamiento sobre datos offline seguido de un ajuste fino online, adaptado específicamente para manejar la caída de fotogramas mediante la simulación en tiempo de entrenamiento y las codificaciones de extensión de caída.

Resultados experimentales
Los autores evaluaron OnDeFog en el benchmark D4RL (tareas Gym-MuJoCo: Hopper, Walker2d y HalfCheetah) a través de diversas tasas de caída de fotogramas (de 0 a 0.9).

• Vs. ODT: En entornos con altas tasas de caída de fotogramas, OnDeFog demostró un rendimiento superior y una curva de degradación más gradual en comparación con ODT, que sufrió descensos bruscos de rendimiento. En entornos de baja tasa de caída, OnDefog funcionó de manera comparable o ligeramente inferior a ODT, un resultado que los autores atribuyen a que las altas tasas de caída utilizadas durante el entrenamiento podrían dificultar la adaptación a escenarios de baja caída.
• Vs. DeFog: En los conjuntos de datos de media repetición (medium-replay datasets, caracterizados por una alta proporción de datos de baja recompensa), OnDeFog a menudo superó a DeFog. Esto se atribuye a la capacidad de OnDeFog para adquirir trayectorias de alta recompensa mediante la exploración online, mientras que DeFog está limitado por la baja calidad de los datos en el conjunto de datos offline.
• Limitaciones: En el conjunto de datos medium-replay de HalfCheetah y en el conjunto estándar medium (excluyendo Hopper), OnDeFog funcionó ligeramente inferior a DeFog. Los autores atribuyen esto a una exploración insuficiente en espacios de acción grandes (HalfCheetah) y a la incapacidad de la exploración online para descubrir trayectorias con recompensas superiores a las ya presentes en el conjunto de datos medium, lo que podría degradar la calidad del búfer de repetición.

Significancia y afirmaciones
El artículo afirma que OnDeFog proporciona una solución robusta para agentes de RL que operan en entornos del mundo real propensos a retrasos en la comunicación y fallos en los sensores. Demuestra que integrar mecanismos de caída de fotogramas en un marco de aprendizaje online permite a los agentes mantener el rendimiento donde los métodos online convencionales (ODT) fallan y donde los métodos offline (DeFog) están limitados por la calidad del conjunto de datos.

Los autores señalan modestamente que, si bien OnDeFog mitiga eficazmente la degradación del rendimiento en entornos de alta tasa de caída y en conjuntos de datos de baja recompensa, enfrenta desafíos en escenarios con trayectorias de recompensa extremadamente bajas o espacios de acción grandes donde la exploración es difícil. Se identifica como trabajo futuro el desarrollo de métodos para ajustar automáticamente el momento del cambio entre el aprendizaje offline y el online basándose en la calidad del conjunto de datos y el rendimiento de la política.