Resumen Técnico: Transporte Óptimo Basado en Video para el Aprendizaje por Refuerzo Offline Eficiente en Preferencias

Declaración del Problema

Los agentes de Aprendizaje por Refuerzo (RL) requieren funciones de recompensa adecuadas para resolver tareas de toma de decisiones. En escenarios del mundo real, la ingeniería manual de recompensas densas e informativas es un desafío, ya que a menudo requiere una instrumentación extensa (por ejemplo, captura de movimiento, sensores táctiles) y conlleva el riesgo de una especificación errónea de la recompensa donde los agentes explotan atajos no deseados. El RL basado en preferencias (PbRL) ofrece una alternativa al aprender funciones de recompensa a partir de la retroalimentación humana sobre pares de trayectorias de comportamiento. Sin embargo, la escalabilidad del PbRL se ve obstaculizada por el alto costo del etiquetado humano, que a menudo requiere miles de consultas para aprender funciones de recompensa efectivas. Aunque trabajos previos han explorado el aprendizaje semisupervisado y el meta-aprendizaje para mitigar esto, el potencial de aprovechar la percepción visual humana —específicamente el espacio de representación estructurada de los Modelos de Fundación de Video (ViFMs)— para inferir preferencias en datos no etiquetados sigue siendo poco explorado.

Metodología: Transporte Óptimo de Preferencias Basado en Video (VOTP)

Los autores proponen VOTP, un marco semisupervisado diseñado para aprender funciones de recompensa efectivas a partir de un número mínimo de etiquetas de preferencia humanas (por ejemplo, 10 consultas) aprovechando datos no etiquetados de conjuntos de datos offline. El método opera en dos etapas principales:

1. Representación de Trayectorias mediante ViFMs

En lugar de depender de pares estado-acción crudos, VOTP modela segmentos de trayectoria como clips de video cortos. Estos clips se integran en un espacio latente utilizando un Modelo de Fundación de Video (ViFM) preentrenado, específicamente S3D preentrenado en HowTo100M. Esta elección está motivada por la capacidad de los ViFMs para capturar tanto detalles espaciales como la dinámica temporal, proporcionando incrustaciones (embeddings) actor-agnósticas y semánticamente ricas que son robustas a variaciones de molestia (iluminación, perspectiva) y generalizan a entornos robóticos no vistos.

2. Generación de Etiquetas de Pseudo-Preferencia mediante Transporte Óptimo

La innovación central de VOTP es el uso de Transporte Óptimo (OT) para alinear pares de segmentos etiquetados y no etiquetados dentro del espacio latente del ViFM para generar pseudo-etiquetas.

• Configuración: Sea $L$ el conjunto de segmentos etiquetados con relaciones de preferencia conocidas codificadas en una matriz antisimétrica $R$, y $U$ el conjunto de segmentos no etiquetados.
• Plan de Transporte Óptimo: VOTP calcula un plan de OT $\mu^*$ que minimiza el costo de transporte (distancia euclidiana o de coseno en el espacio latente) entre las medidas empíricas de $L$ y $U$. Este plan $\mu_{ii'}$ representa la probabilidad de que un segmento no etiquetado $\bar{\sigma}_{i'}$ corresponda a un segmento etiquetado $\sigma_i$.
• Inferencia: La puntuación de preferencia para un par no etiquetado $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ se infiere agregando las preferencias de todos los pares etiquetados, ponderadas por sus fuerzas de alineación relativa derivadas del plan de OT:
  $$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$$
  Esta puntuación se normaliza y se aplica un umbral para asignar una pseudo-etiqueta ($\tilde{y} \in \{0, 1, 0.5\}$).
• Aprendizaje de Recompensa: La función de recompensa se entrena utilizando tanto los datos etiquetados originales como los nuevos datos pseudo-etiquetados. Durante la fase de RL offline, la función de recompensa aprendida reemplaza las recompensas originales en el conjunto de datos para optimizar la política.

Contribuciones Clave

1. Marco VOTP: Introducción de un marco semisupervisado que utiliza el Transporte Óptimo sobre el espacio latente de los Modelos de Fundación de Video para asignar automáticamente etiquetas de preferencia a pares de trayectorias.
2. Eficiencia de Retroalimentación: Demostración de que VOTP puede aprender funciones de recompensa y políticas efectivas a partir de un puñado de consultas de preferencia humana (por ejemplo, 10), reduciendo significativamente la carga de anotación en comparación con los métodos de estado del arte de PbRL offline.
3. Robustez a la Variación Visual: Validación de que el aprovechamiento de los ViFMs permite al método mantener el rendimiento ante distractores visuales (cambios de iluminación, variaciones de textura, fondos dinámicos) donde otros métodos podrían tener dificultades.
4. Aplicabilidad en el Mundo Real: Aplicación exitosa del marco a tareas de manipulación robótica en el mundo real (Lift Banana, Drawer Open) utilizando un brazo Sawyer de 7 DoF, logrando tasas de éxito superiores a las de las líneas base mediante un mínimo de entrada humana.

Resultados Experimentales

Los autores evaluaron VOTP en locomoción (D4RL), manipulación (MetaWorld) y tareas robóticas del mundo real.

• Rendimiento en Benchmarks: En D4RL y MetaWorld, VOTP superó consistentemente a las líneas base de PbRL offline de estado del arte (incluyendo P-IQL, SURF, LiRE y FTB) bajo presupuestos de retroalimentación limitados. Notablemente, VOTP logró un rendimiento comparable a una línea base "Oracle" (que tiene acceso a las recompensas reales para los datos no etiquetados) en las tareas de D4RL.
• Régimen de Pocos Datos: En experimentos variando el número de etiquetas, VOTP requirió significativamente menos etiquetas para alcanzar el rendimiento de la tarea en comparación con las líneas base. En la tarea door-open, VOTP con solo 10 etiquetas superó a las políticas entrenadas con recompensas reales.
• Estudios de Ablación:
  • ViFMs vs. IFMs: Los Modelos de Fundación de Video (S3D, VideoCLIP, InternVideo) superaron a los Modelos de Fundación de Imagen (R3M, CLIP), resaltando la importancia de capturar la dinámica temporal para el aprendizaje de preferencias.
  • OT vs. Similitud: La estrategia de pseudo-etiquetado basada en OT superó significativamente a las líneas base que dependían de métricas de similitud simples (SIM-individual, SIM-mean, SIM-weighted), demostrando la eficacia del plan de transporte en la agregación de información de preferencia.
  • Correlación de Recompensa: La función de recompensa aprendida por VOTP mostró una correlación de Pearson significativamente mayor con las recompensas reales en comparación con P-IQL, lo que indica una mejor cobertura de los espacios de estado y acción.
• Evaluación con Robot Real: En un robot Sawyer físico, VOTP logró un 80% de éxito en "Lift Banana" y un 70% en "Drawer Open", superando a Behavior Cloning (20-40%) y P-IQL (50%). Crucialmente, VOTP distinguió correctamente entre trayectorias exitosas y fallidas en las salidas de recompensa, mientras que P-IQL asignó recompensas altas a comportamientos fallidos.

Significado y Reivindicaciones

El artículo afirma que VOTP representa una solución escalable y práctica para el Aprendizaje por Refuerzo basado en Preferencias offline. Al aprovechar el espacio de representación expresivo de los Modelos de Fundación de Video preentrenados y el rigor matemático del Transporte Óptimo, el método cierra eficazmente la brecha entre la supervisión humana limitada y la necesidad de una amplia cobertura de recompensas. Los autores sostienen que este enfoque reduce sustancialmente la necesidad de supervisión humana manteniendo la robustez contra distractores visuales, lo que lo convierte en una vía viable para desplegar agentes de RL en entornos complejos del mundo real donde la ingeniería de recompensas es inviable.

Los autores reconocen limitaciones respecto a los posibles sesgos heredados de los ViFMs preentrenados y el costo computacional de resolver el plan de OT para conjuntos de datos muy grandes, sugiriendo trabajo futuro en métodos de transporte aproximados. Sin embargo, dentro del alcance de sus experimentos, el método demuestra ser altamente efectivo para el aprendizaje eficiente en retroalimentación.