Resumen Técnico: Cuando la Dinámica Cambia, la Inferencia Robusta de Tareas Gana

Enunciado del Problema

Los Modelos Fundacionales de Comportamiento (BFM, por sus siglas en inglés) han surgido como una solución escalable para el aprendizaje por imitación (IL), permitiendo que los agentes se adapten rápidamente a nuevas tareas mediante el preentrenamiento de representaciones agnósticas a la tarea sobre datos offline diversos. Sin embargo, los BFM estándar operan bajo un supuesto crítico: que las dinámicas del entorno durante el preentrenamiento y la implementación son idénticas. En escenarios del mundo real, este supuesto se viola frecuentemente debido a discrepancias de simulación a realidad, desgaste mecánico, ruido de sensores y variaciones ambientales (por ejemplo, cambios en la fricción, límites de actuación o gravedad).

Los remedios existentes para esta fragilidad, como los codificadores de creencia condicionados a la dinámica o las arquitecturas aumentadas con memoria, generalmente requieren datos de preentrenamiento que abarquen una amplia variedad de regímenes dinámicos. Este requisito suele ser costoso, consume mucho tiempo y es inviable en entornos prácticos donde solo se dispone de datos offline de un único entorno nominal. La pregunta central que aborda este trabajo es: ¿Pueden los BFM hacerse robustos ante cambios en las dinámicas del entorno cuando solo se dispone de datos offline de un único entorno nominal?

Metodología

Los autores proponen un marco que traslada la carga de la robustez desde la fase de preentrenamiento a la fase de inferencia de tareas. En lugar de modificar el BFM preentrenado o requerir datos de preentrenamiento con múltiples dinámicas, formulan el problema de inferencia de tareas como una optimización minimax robusta sobre un conjunto de incertidumbre de dinámicas del entorno.

El enfoque central implica aprender una incrustación latente de tarea $z$ que minimice la pérdida de imitación frente a un adversario. El adversario, a su vez, selecciona un modelo de transición dentro de un conjunto de incertidumbre especificado (definido por una bola de variación total o $f$-divergencia alrededor de las dinámicas nominales) que maximiza dicha pérdida. Esto produce una incrustación de tarea que "se protege" contra cambios plausibles en la dinámica sin alterar el procedimiento de preentrenamiento.

Se introducen dos algoritmos específicos para equilibrar la eficiencia computacional y la robustez:

1. RBFM-Light: Esta variante relaja las perturbaciones de la dinámica en un conjunto de incertidumbre de ocupación de estados. Caracterizando la sensibilidad de la medida de ocupación de estados descontada frente a perturbaciones del núcleo de transición, los autores derivan un objetivo offline tratable. Este enfoque introduce un único parámetro de robustez optimizado conjuntamente con la incrustación de tarea $z$, logrando robustez con una sobrecarga computacional mínima.
2. RBFM-Heavy: Esta variante impone robustez mediante restricciones explícitas de flujo de Bellman. Garantiza que las medidas de ocupación perturbadas correspondan a distribuciones estacionarias válidas inducidas por la política experta bajo la estructura subyacente del MDP. Al incorporar restricciones de realizabilidad y utilizar $f$-divergencia (específicamente un generador SmoothTV suave), este método evita soluciones excesivamente conservadoras que podrían surgir de perturbaciones de ocupación sin restricciones. Resuelve un problema de optimización de dos niveles que implica la estimación de variables duales (multiplicadores de Lagrange) y el vector de tarea $z$.

Ambos métodos dependen exclusivamente de datos offline del entorno nominal para el preentrenamiento y de un pequeño conjunto de demostraciones expertas para la inferencia de tareas. No se requieren datos expertos de entornos perturbados en ninguna etapa.

Contribuciones Clave

1. Formulación Robusta: El artículo propone una formulación robusta de la inferencia de tareas en BFM mediante optimización minimax sobre un conjunto de incertidumbre de dinámicas del entorno. Esto permite la robustez ante cambios en la dinámica sin ninguna modificación al proceso de preentrenamiento del BFM.
2. Variantes Algorítmicas: Los autores introducen RBFM-Light y RBFM-Heavy, dos algoritmos que ofrecen un equilibrio entre eficiencia computacional y robustez, preservando al mismo tiempo la propiedad de inferencia de tareas rápida inherente a los BFM.
3. Eficiencia de Datos: El enfoque requiere únicamente un único conjunto de datos exploratorio recopilado en el entorno nominal para el preentrenamiento y un pequeño conjunto de demostraciones expertas para la inferencia. Esto contrasta con trabajos anteriores que dependen de datos de múltiples entornos diversos para aprender representaciones robustas.
4. Novedad: Hasta donde llega el conocimiento de los autores, este es el primer trabajo que logra robustez ante la variación de las dinámicas del entorno dentro del marco de BFM sin requerir preentrenamiento ni datos expertos de múltiples regímenes dinámicos.

Resultados Experimentales

Los autores evaluaron sus métodos en la plataforma de referencia ExORL a través de tres entornos morfológicamente diversos: Walker, Quadruped y Cheetah, utilizando conjuntos de datos generados por estrategias de exploración no supervisada (RND, APS, PROTO). Introdujeron diversas perturbaciones físicas, incluidos cambios en la gravedad, escalado de la masa corporal, fricción de las articulaciones, gravedad inclinada y recorte del rango de control de los actuadores.

• Robustez frente a BFM Estándar: En todos los entornos y tipos de perturbación, ambas variantes de RBFM superaron consistentemente a la línea base estándar FB-IL. A medida que aumentó la severidad de la perturbación, la brecha de rendimiento se amplió, mostrando FB-IL la degradación más pronunciada. RBFM-Heavy generalmente logró los retornos más altos, seguido por RBFM-Light.
• Comparación con IL Robusto de Tarea Única: Los métodos propuestos se compararon frente a líneas base de IL offline robusto distribucionalmente de tarea única (DRBC y BE-DROIL). Aunque las líneas base de tarea única superaron a FB-IL en niveles altos de perturbación, el marco RBFM mantuvo una superioridad consistente sobre tanto FB-IL como las líneas base de tarea única en todo el barrido de perturbaciones. Esto resalta la ventaja del preentrenamiento de múltiples tareas combinado con una inferencia robusta.
• Eficiencia Computacional: Un hallazgo crítico es la eficiencia del enfoque. Las líneas base robustas de tarea única requirieron horas (5–6 horas) por tarea para la optimización. En contraste, las variantes de RBFM redujeron el tiempo de inferencia específico de la tarea a minutos (5–10 minutos), haciéndolas órdenes de magnitud más rápidas mientras logran una robustez superior.
• Sensibilidad a Datos y Parámetros: El estudio mostró que la inferencia robusta de tareas depende críticamente de la calidad de las representaciones FB aprendidas, requiriendo suficientes datos de preentrenamiento (por ejemplo, 1 millón de transiciones) para volverse expresivas. Además, se encontró que el parámetro de robustez $\epsilon$ controla el equilibrio entre el rendimiento nominal y la robustez, siendo un valor intermedio ($\epsilon=0.8$) el que produce el mejor equilibrio general.

Significado y Afirmaciones

El artículo afirma que las políticas robustas pueden lograrse enteramente en el momento de la inferencia de tareas, mejorando significativamente la practicidad de los BFM en entornos dinámicos. Al desacoplar la robustez del preentrenamiento, el marco propuesto permite que un único modelo preentrenado se adapte de manera robusta a nuevas tareas utilizando solo datos offline de un único entorno nominal.

Los autores enfatizan que este enfoque aborda una limitación fundamental de los BFM actuales: su fragilidad ante la discrepancia de dinámicas—sin incurrir en los costos prohibitivos del preentrenamiento multi-entorno ni en la ineficiencia computacional de la optimización robusta por tarea. Los resultados demuestran que la robustez puede "incorporarse" durante la etapa de inferencia, ofreciendo una vía escalable para desplegar modelos fundacionales en entornos del mundo real no estructurados donde las dinámicas están sujetas a cambios impredecibles.