Resumen Técnico: RMTL – Aprendizaje de Microtareas Reforzado para Manipulación de Largo Horizonte con Recompensas de VLM

Planteamiento del Problema

El aprendizaje por refuerzo (RL) para la manipulación robótica de largo horizonte enfrenta un cuello de botella fundamental en el diseño de recompensas. Las recompensas densas diseñadas a mano son frágiles y a menudo requieren estados privilegiados del simulador, mientras que aprender recompensas a partir de demostraciones humanas es costoso y difícil de escalar. Los enfoques recientes utilizan Modelos de Visión-Lenguaje (VLM) congelados como modelos de recompensa zero-shot, reemplazando el diseño manual por un único prompt de texto que describe el objetivo final.

Sin embargo, los autores identifican un modo de fallo crítico en este régimen de "prompt único": para tareas de largo horizonte con condiciones iniciales aleatorizadas, un prompt global único produce una recompensa casi plana durante la mayor parte de la trayectoria. Debido a que el robot debe pasar por etapas cualitativamente diferentes (por ejemplo, aproximarse, alinear, agarrar) antes de alcanzar el estado final, los estados intermedios tempranos suelen tener una similitud semántica débil con el prompt del objetivo final. En consecuencia, el agente recibe poco o ningún gradiente de señal para guiar la exploración temprana. Además, la puntuación de un VLM de vista única es susceptible al ruido de oclusión (por ejemplo, la pinza bloqueando el objeto), lo que degrada aún más la señal.

Metodología: RMTL

Los autores proponen el Aprendizaje de Microtareas Reforzado (RMTL), un pipeline diseñado para descomponer la tarea de manipulación en una secuencia de microtareas descritas mediante lenguaje, creando así un paisaje de recompensa más informativo. El método opera en el entorno de manipulación Fetch utilizando un VLM congelado (PE-Core-bigG-14-448) y consta de los siguientes componentes principales:

1. Descomposición de Microtareas y Recompensa por Fases

En lugar de un único prompt global, RMTL descompone la tarea en $K$ prompts cortos y específicos de cada etapa (por ejemplo, "aproximarse", "alinear", "agarrar").

• Selección Activa de Prompts: En cualquier instante de tiempo dado, el agente es evaluado únicamente contra el prompt correspondiente a la microtarea activa actualmente.
• Cálculo de la Recompensa: La recompensa se calcula como la similitud de coseno entre el embedding de la imagen y el embedding de texto de la microtarea activa, proyectada a lo largo del eje semántico definido por la diferencia entre el prompt objetivo y un prompt de línea base de "sin progreso".
• Transformación de la Señal: Esta descomposición transforma la señal de prompt único, casi plana, en una señal de monotonía por tramos, permitiendo que el agente reciba gradientes positivos a medida que progresa a través de cada etapa específica.

2. Agregación Multi-Vista

Para mitigar la oclusión y la ambigüedad específica de la vista, el sistema renderiza $V=6$ puntos de vista de cámara fijos. El VLM puntúa cada vista de forma independiente contra el prompt de la microtarea activa, y estas puntuaciones se agregan mediante la media aritmética para producir la recompensa escalar. Este enfoque suaviza las fluctuaciones por vista y el ruido de oclusión sin fusionar los datos de píxeles previamente.

3. Aprendizaje de Currículo Inverso

Entrenar directamente con condiciones iniciales totalmente aleatorizadas es frágil porque la recompensa del VLM no es informativa cuando el agente comienza lejos del objeto. RMTL emplea un currículo inverso que ensancha gradualmente la distribución de las poses iniciales de la pinza desde una región "fácil" (cerca del objeto) hasta el espacio de trabajo totalmente aleatorizado. La progresión hacia condiciones iniciales más difíciles está controlada por estadísticas de éxito en línea, asegurando que el agente solo enfrente desafíos más difíciles una vez que resuelva de forma fiable el nivel actual.

4. Aprendizaje de Política Jerárquica (Dos Etapas)

El sistema entrena en dos etapas distintas para transicionar de una selección basada en reglas a una selección de fase totalmente aprendida:

• Etapa 1 (Basada en Reglas): Se entrena un trabajador PPO utilizando una regla determinista basada en la distancia para seleccionar la microtarea activa. Esto proporciona una línea base estable y genera datos para la siguiente etapa.
• Etapa 2 (Gestor Aprendido): Se introduce un pequeño gestor de acción discreta jerárquica (un pequeño MLP) para reemplazar el selector basado en reglas.
  • Warmstart: El gestor se inicializa mediante Aprendizaje por Imitación (BC) utilizando las etiquetas de la regla de la Etapa 1.
  • Refinamiento: El gestor se refina posteriormente mediante REINFORCE sobre los retornos de segmento, mientras que el actor del trabajador PPO se mantiene inicialmente congelado para estabilizar el objetivo de aprendizaje.
  • Resultado: Esto convierte la selección de fases heurística en una política jerárquica totalmente aprendida.

Contribuciones Clave

El artículo reclama cuatro contribuciones primarias:

1. Descomposición de Microtareas: Demostrar que dividir la recompensa del VLM en tres prompts específicos de etapa convierte una señal casi plana en una señal de monotonía por tramos escalable, permitiendo que PPO converja donde las líneas base de prompt único fallan.
2. Gestor Jerárquico Aprendido: Mostrar que un pequeño gestor aprendido, con warmstart de un selector basado en reglas, puede igualar o exceder el rendimiento de la regla manteniendo la estabilidad, automatizando efectivamente la selección de fases.
3. Agregación Multi-Vista: Probar que el promedio de las puntuaciones del VLM a través de múltiples vistas reduce el ruido de oclusión y produce una señal de entrenamiento más suave que cualquier vista única, sin penalizar la forma del gradiente.
4. Currículo Inverso: Establecer que un currículo inverso es necesario para cerrar la brecha entre las condiciones iniciales fáciles y el régimen de inicialización aleatoria, ya que las recompensas de lenguaje por sí solas son insuficientes para impulsar la exploración en los escenarios más difíciles.

Resultados Experimentales

Los experimentos se realizaron en el entorno FetchPickAndPlace-v4 con condiciones iniciales aleatorizadas.

• Rendimiento: El stack completo de RMTL con el gestor aprendido logró una tasa de éxito de ~98% en inicializaciones aleatorias.
• Comparaciones:
  • Línea Base de Prompt Único: Las variantes que utilizan un único prompt global (con vista única o multi-vista) no lograron converger (0% de éxito).
  • Regla vs. Gestor Aprendido: El gestor aprendido superó a la regla basada en la distancia (98% vs. 94%), a pesar de coincidir con la regla solo el 73% de las veces. Esto sugiere que la regla es un sesgo inductivo útil pero subóptimo.
  • PPO No Jerárquico: Un trabajador PPO estándar sin descomposición jerárquica logró un 89% de éxito.
• Calidad de la Recompensa: El análisis mostró que la agregación multi-vista produjo trayectorias de recompensa más suaves que las vistas únicas, y que la descomposición de microtareas proporcionó gradientes significativamente más informativos que el enfoque de prompt único.

Significancia y Reclamaciones

El artículo postula que descomponer las recompensas de VLM en prompts de lenguaje específicos de microtareas mejora sustancialmente la escalabilidad del RL guiado por lenguaje para la manipulación robótica. Al abordar el modo de fallo de "recompensa casi plana" de los enfoques de prompt único, RMTL permite que los agentes aprendan tareas complejas de largo horizonte utilizando únicamente observaciones visuales y lenguaje natural, sin requerir estados privilegiados del simulador o costosas demostraciones humanas.

Los autores señalan que, si bien el enfoque es efectivo, hereda las limitaciones perceptivas del VLM subyacente (por ejemplo, sensibilidad a la iluminación y la textura) y actualmente depende de prompts escritos a mano. El trabajo futuro apunta a automatizar el proceso de generación de prompts utilizando Modelos de Lenguaje Grande (LLM) para desglosar tareas de alto nivel en microtareas, eliminando el último elemento manual del pipeline.