Value Explicit Pretraining for Learning Transferable Representations

A continuación se presenta un resumen técnico detallado del artículo "Value Explicit Pretraining for Learning Transferable Representations" de Lekkala et al.

1. Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo Visual (RL) luchan para generalizar entre tareas cuando se enfrentan a variaciones en la dinámica del entorno y la apariencia visual. Mientras que los humanos pueden extraer información relevante para la tarea independientemente de estos cambios, los robots requieren representaciones aprendidas que sean invariantes a dichas variaciones.

Los enfoques actuales de aprendizaje de representaciones enfrentan dos limitaciones principales:

1. Objetivos Desalineados: Muchos métodos utilizan objetivos de preentrenamiento (por ejemplo, reconstrucción de imágenes, consistencia temporal) que son distintos de la tarea de control aguas abajo (predicción de acciones).
2. Requisitos de Datos: Los métodos existentes de aprendizaje por transferencia a menudo requieren demostraciones expertas de alta calidad, etiquetadas, o trayectorias exitosas. Existe una falta de métodos que puedan aprender eficazmente representaciones transferibles a partir de datos subóptimos y sin etiquetar (secuencias de observaciones y recompensas dispersas donde el agente a menudo falla en completar la tarea).

El desafío central es: ¿Cómo podemos aprender un codificador que produzca representaciones útiles para el control sin entrenar en la tarea de control en sí misma, utilizando únicamente datos imperfectos y sin etiquetar?

2. Metodología: Preentrenamiento Explícito en Valor (VEP)

Los autores proponen el Preentrenamiento Explícito en Valor (VEP), un método de aprendizaje contrastivo auto-supervisado que aprende representaciones agnósticas a la tarea codificando explícitamente la "propensión al éxito" (valor) en lugar de solo la proximidad visual o temporal.

Idea Central

La función de valor $V(s)$ de un estado representa el retorno esperado (propensión al éxito) bajo una política óptima. Los autores hipotetizan que los estados con estimaciones de valor similares entre diferentes tareas (incluso con diferentes apariencias visuales) comparten una estrategia óptima similar. Por lo tanto, las representaciones deben agruparse basándose en la similitud de valor en lugar de la similitud visual.

Descripción General del Algoritmo

1. Fuente de Datos: El método utiliza conjuntos de datos offline, subóptimos y sin etiquetar ($D_{train}$) de un conjunto de tareas de entrenamiento. Estos conjuntos de datos contienen secuencias de observaciones y señales de recompensa dispersas, pero ninguna etiqueta de acción.
2. Estimación de Valor Monte Carlo:
   • Dado que la función de valor óptima verdadera es desconocida, VEP calcula una estimación Monte Carlo (MC) $G$ para cada fotograma en el conjunto de datos utilizando las recompensas dispersas:
     $$G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$$
   • Los fotogramas con una estimación de valor de 0 (indicando que nunca se logró ninguna recompensa en ese segmento de trayectoria) se descartan.
3. Objetivo de Aprendizaje Contrastivo:
   • El codificador $f_\phi$ se entrena utilizando una función de pérdida contrastiva (InfoNCE o pérdida de Triplete).
   • Estrategia de Muestreo:
     • Ancla ($z_{an}$): Una observación de la Tarea $T_i$ con una estimación de valor $g$.
     • Positivo ($z_{ps}$): Una observación de una diferente tarea $T_j$ con una estimación de valor dentro de un umbral $v_{thresh}$ de $g$.
     • Negativo ($z_{ng}$): Una observación de una tarea $T_k$ con una estimación de valor significativamente diferente de $g$ (más allá de $v_{thresh}$).
   • Objetivo: La función de pérdida minimiza la distancia entre el ancla y el positivo (valor/propensión al éxito similar) y maximiza la distancia al negativo, forzando al codificador a aprender representaciones invariantes a la apariencia y dinámica específicas de la tarea.

Detalles de Implementación

• Preprocesamiento: Un diccionario mapea las estimaciones de valor ordenadas a los índices de fotogramas para permitir un muestreo eficiente mediante búsqueda binaria.
• Entrenamiento de la Política: Después del preentrenamiento, el codificador se congela. Un algoritmo de RL online (PPO) se entrena en las tareas de prueba utilizando las representaciones latentes $z_t$ como entrada. No se produce ningún ajuste fino del codificador.

3. Contribuciones Clave

1. Representación Explícita en Valor: Un marco de preentrenamiento novedoso que utiliza explícitamente estimaciones de valor para organizar el espacio latente, asegurando que las representaciones reflejen el progreso de la tarea en lugar de solo la consistencia visual o temporal.
2. Utilización de Datos Subóptimos: El método aprende con éxito representaciones transferibles utilizando datos sin etiquetar y subóptimos (episodios que no siempre resuelven la tarea), una desviación significativa de los métodos que requieren demostraciones expertas.
3. Generalización Agnóstica a la Tarea: Al centrarse en la similitud de valor, el método aprende representaciones que generalizan a tareas fuera de distribución (OOD) con dinámicas visuales diferentes pero objetivos similares.
4. Comparaciones de Ablación y Línea Base: El artículo compara rigurosamente VEP contra:
   • VIP (Preentrenamiento Implícito en Valor): Que depende de la consistencia temporal.
   • TCN (Aprendizaje Contrastivo Temporal): Que muestrea positivos basándose en la distancia temporal.
   • SOM (Medida de Ocupación de Estados): Que utiliza medidas de ocupación para el muestreo.
   • Regresión de Valor (VR): Una línea base que simplemente regresa la estimación de valor (demostrando que el muestreo contrastivo de tripletes es superior a la regresión simple).

4. Resultados Experimentales

Los autores evaluaron VEP en tres puntos de referencia: Atari, Navegación Visual (StreetLearn) y Locomoción de Ant (Ant Locomotion).

• Punto de Referencia Atari:
  • Configuración: Preentrenado en Demon-Attack y Space Invaders; probado en 4 juegos de disparos adicionales.
  • Resultado: VEP superó a las líneas base (VIP, TCN, SOM) hasta en un 2× en recompensas en tareas fuera de distribución. Mostró una mejora de ~25% en tareas dentro de distribución.
• Navegación Visual:
  • Configuración: Preentrenado en 2 ciudades; probado en 4 ciudades no vistas.
  • Resultado: VEP logró el mismo rendimiento que el entrenamiento de extremo a extremo 2.1× más rápido (eficiencia de muestras). Superó significativamente a los modelos de visión-lingüística más avanzados (CLIP, R3M, MVP).
• Locomoción de Ant (Laberinto):
  • Configuración: Preentrenado en laberintos simples; probado en laberintos complejos con diferentes obstáculos y variaciones visuales.
  • Resultado: VEP logró un rendimiento de vanguardia tanto en laberintos dentro del dominio como en OOD.
  • Visualización: Los gráficos t-SNE mostraron que, mientras que los incrustamientos de TCN se agrupaban por la apariencia del laberinto (sobreajuste), los incrustamientos de VEP se agrupaban por el progreso de la tarea (valor), demostrando un verdadero aprendizaje agnóstico a la tarea.
• Estudios de Ablación:
  • Suboptimalidad: El rendimiento de VEP se mantuvo robusto incluso al utilizar datos de episodios que solo completaron el 10% de la tarea.
  • Umbralización: Se identificó un umbral de valor óptimo ($v_{thresh} \approx 0.03$); un umbral demasiado alto degradó el rendimiento.
  • Contrastivo vs. Regresión: Simplemente regredir el valor (línea base de Regresión de Valor) falló en producir representaciones transferibles, confirmando que el muestreo contrastivo de tripletes es el mecanismo crítico.

5. Significado e Impacto

• Eficiencia: VEP mejora drásticamente la eficiencia de muestras (hasta 3×) para el RL aguas abajo, reduciendo la necesidad de interacción online costosa.
• Accesibilidad de Datos: Al eliminar el requisito de demostraciones expertas, etiquetadas o exitosas, VEP reduce la barrera de entrada para el aprendizaje por transferencia, permitiendo el uso de grandes cantidades de datos "desordenados" del mundo real o simulados.
• Generalización: El método aborda la brecha "sim-to-real" y "task-to-task" aprendiendo representaciones que capturan el objetivo de la tarea (progreso hacia una meta) en lugar de características visuales superficiales.
• Direcciones Futuras: Los autores sugieren extender esto a algoritmos de control continuo (como SAC) y aprendizaje por imitación de pocos disparos, así como escalar a escenarios de preentrenamiento más complejos y a gran escala.

En resumen, VEP representa un cambio de paradigma en el aprendizaje de representaciones para la robótica, pasando de "cómo se ve el mundo" a "qué tan cerca está el agente del éxito", permitiendo una transferencia robusta incluso con datos imperfectos.