Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning

Resumen Técnico: GRPO Temporal

Planteamiento del Problema: Aliasing de Crédito a Nivel de Trayectoria

En el aprendizaje por refuerzo (RL) orientado a resultados para modelos de Visión-Lenguaje-Acción (VLA), las políticas se post-entrenan típicamente utilizando la Optimización de Política Relativa de Grupo (GRPO). El GRPO estándar toma múltiples trayectorias completas para una tarea, calcula una ventaja relativa al grupo basada en el éxito o fracaso final de toda la trayectoria, y transmite este escalar único de ventaja a cada acción dentro de esa trayectoria.

El artículo identifica un fallo crítico en este enfoque para tareas de manipulación de largo horizonte, denominado aliasing de crédito a nivel de trayectoria. En tareas complejas que involucran etapas secuenciales (por ejemplo, agarrar, mover, colocar), un despliegue puede completar con éxito varias etapas previas pero fallar en una etapa posterior. Bajo el GRPO estándar, este despliegue recibe la misma ventaja negativa a nivel de trayectoria que un despliegue que falló inmediatamente en la primera etapa. Consecuentemente, la señal negativa se asigna uniformemente a todas las acciones, incluyendo aquellas que ejecutaron exitosamente las etapas precedentes. Este "aliasing" suprime comportos válidos previos, desalinea la actualización de la política con el progreso local de la tarea y debilita la eficiencia de muestreo y la estabilidad de las sub-habilidades.

Metodología: GRPO Temporal

Para resolver el aliasing de crédito, los autores proponen el GRPO Temporal, un marco que desplaza la asignación de crédito del nivel de trayectoria al nivel de etapa. El método opera a través de tres mecanismos centrales:

1. Construcción de Etapas Detectables

Dado un conjunto de instrucciones de la tarea y una observación inicial, el sistema construye una secuencia ordenada de etapas de la tarea detectables ($m_1, m_2, \dots, m_K$).

• Generación: Un modelo de lenguaje de gran tamaño congelado (RynnBrain-4B) propone candidatos a etapas semánticas.
• Compilación: Un "Compilador de Etapas" normaliza estos candidatos en una estructura de prerrequisitos lineales ($m_1 \to m_2 \to \dots \to m_K$). Traduce descripciones abstractas en condiciones de completitud verificables y resuelve ambigüedades.
• Alineación: Un detector de relaciones evalúa el despliegue frente a estas condiciones. Identifica el paso de tiempo específico ($T_{i,k}$) donde una etapa se completa de forma estable. Esto alinea la secuencia de acciones continuas con intervalos de etapa discretos ($B_{i,k}$).

2. Agrupación Condicionada por Etapa

En lugar de comparar todos los despliegues en un grupo, el GRPO Temporal realiza una comparación condicionada por etapa.

• Filtrado de Prerrequisitos: Para una etapa $k$ específica, solo los despliegues que han completado con éxito todas las etapas previas ($m_1$ hasta $m_{k-1}$) se consideran como "entrados" e incluidos en el grupo de comparación. Los despliegues que fallaron anteriormente se excluyen del cálculo para la etapa $k$ en lugar de ser tratados como fallos para esa etapa específica.
• Estimación de Resultado: Para el grupo válido que entra en la etapa $k$, se computa un resultado binario (éxito o fracaso en completar $m_k$). Se calcula una ventaja relativa al grupo ($\hat{A}_{i,k}$) basada en estos resultados específicos de la etapa.

3. Asignación de Crédito Temporal por Partes

La ventaja de etapa calculada se asigna únicamente al intervalo de acción correspondiente a esa etapa.

• Si un despliegue tiene éxito en la etapa $k$, la ventaja positiva se aplica a las acciones en el intervalo $B_{i,k}$.
• Si falla en la etapa $k$, la ventaja negativa se aplica solo a $B_{i,k}$, dejando las ventajas para las etapas exitosas precedentes ($B_{i,1} \dots B_{i,k-1}$) intactas (o derivadas de sus propias comparaciones de etapa).
• La función objetivo final reemplaza la ventaja uniforme de la trayectoria con esta ventaja segmentada y temporalmente variable, optimizando una única política VLA.

Contribuciones Clave

1. Caracterización del Aliasing de Crédito: El artículo define formalmente el aliasing de crédito a nivel de trayectoria en el RL de VLA orientado a resultados, demostrando cómo distintos patrones de progreso de etapa se colapsan en una única señal de fallo, lo que provoca la supresión de sub-habilidades exitosas.
2. Marco de GRPO Temporal: La introducción de un marco de asignación de crédito condicionado por etapa que construye etapas detectables ordenadas, agrupa los despliegues por la etapa en la que entraron y asigna ventajas estrictamente a los intervalos de acción correspondientes.
3. Validación Empírica: Demostración de que el GRPO Temporal mejora el éxito de la tarea y la eficiencia de muestreo sin modificar la arquitectura VLA ni introducir un nuevo modelo de valor.

Resultados Experimentales

El método fue evaluado en RoboTwin 2.0 y LIBERO-Long.

• Rendimiento en RoboTwin 2.0: Bajo presupuestos de entrenamiento equivalentes, el GRPO Temporal logró una tasa de éxito promedio macro de 75.8%, superando al baseline controlado más fuerte (SimpleVLA-RL con 68.8%) por 7.0 puntos porcentuales. Mostró ganancias consistentes (6.2–8.3 puntos) en horizontes de tarea Cortos, Medios y Largos/Extra-Largos.
• Eficiencia de Muestreo: Las curvas de aprendizaje indican que el GRPO Temporal logra tasas de éxito más altas con el mismo número de interacciones con el entorno en comparación con Trajectory-GRPO, particularmente en tareas de largo horizonte donde los resultados retardados complican la asignación de crédito.
• Análisis de Crédito Controlado (LIBERO-Long): El análisis de las actualizaciones de la política reveló que el Trajectory-GRPO estándar induce cambios negativos en las probabilidades de completitud de las etapas precedentes compartidas (degradando habilidades previamente aprendidas). En contraste, el GRPO Temporal mantuvo los cambios en las etapas precedentes cerca de cero y concentró las actualizaciones positivas en la etapa específica donde divergieron los resultados de los despliegues.
• Estudios de Ablación: Eliminar componentes como el "Compilador de Etapas" o el "filtrado de etapa de entrada" resultó en caídas significativas de rendimiento, confirmando la necesidad de los prerrequisitos ordenados y la lógica estricta de agrupación.

Significado y Limitaciones

El artículo afirma que el GRPO Temporal ofrece una forma escalable de post-entrenar políticas VLA reconstruyendo el crédito a nivel de trayectoria en crédito temporal específico de cada etapa. Su principal significancia radica en preservar los comportamientos precedentes adquiridos mientras concentra las actualizaciones de la política en las acciones específicas responsables de las diferencias de resultado, mejorando así la estabilidad en la manipulación de largo horizonte.

Los autores señalan limitaciones modestas: el enfoque actual depende de predicados de etapa fiables y un orden de etapa lineal predefinido. Podría enfrentar desafíos cuando los límites de las etapas sean ambiguos, o cuando el progreso de la tarea involucre ramificaciones, etapas repetidas o recuperación mediante etapas anteriores. Se sugiere como trabajo futuro explorar la detección de etapas con conciencia de incertidumbre y grafos de etapas dinámicos.