Resumen Técnico: Rank-Then-Act (RTA)

Declaración del Problema

El aprendizaje de políticas de control a partir de observaciones visuales sin recompensas extrínsecas del entorno es un desafío fundamental para los agentes generalistas. Esto es particularmente crítico en dominios como los juegos retro, simuladores con APIs débiles y la robótica del mundo real, donde el diseño de recompensas es frágil, no está disponible o es susceptible al "specification gaming" (manipulación de la especificación). Los enfoques existentes enfrentan tres obstáculos principales:

1. Atajos Triviales: Las entradas cronológicas suelen llevar a los modelos a aprender atajos de "lo más tardío es lo mejor", lo que resulta en puntuaciones de progreso vacuas y monótonamente crecientes que no logran capturar la semántica de la tarea.
2. Ambigüedad de Escala: Las escalas de progreso absolutas son ambiguas y difíciles de calibrar entre diferentes tareas y episodios.
3. Restricciones de Aprendizaje en Línea: El aprendizaje por refuerzo (RL) requiere señales de recompensa que sean económicas de computar, informativas para la exploración y robustas ante cambios en la distribución.

Los métodos actuales, como los modelos de recompensa basados en video o las cabezas de recompensa de Modelos de Lenguaje-Visión (VLM), a menudo requieren texto de objetivo diseñado mediante ingeniería, ajuste por tarea o producen valores escalares no calibrados que son difíciles de reutilizar. Además, muchos métodos de imitación a partir de la observación requieren etiquetas de acción o recompensas del entorno, las cuales no están disponibles en el entorno de "solo video" abordado por este trabajo.

Metodología: Rank-Then-Act (RTA)

RTA es un marco de dos etapas que convierte la comprensión de un modelo sobre el orden de los frames en videos de expertos en una señal de aprendizaje acotada e invariante a la escala para el control sin recompensas.

Etapa 1: Calificador de Progreso Listwise Offline

La primera etapa consiste en entrenar un Modelo de Lenguaje-Visión (VLM) como un "calificador de progreso" utilizando Optimización de Política Relativa de Grupo (GRPO).

• Preparación de Datos: Las demostraciones de video de expertos se segmentan en frames. Para evitar el atajo de "lo más tardío es lo mejor", el primer frame se ancla como un punto de partida fijo ($s_{anc}$), y los frames restantes se barajan aleatoriamente.
• Objetivo: Se le solicita al VLM que genere un rastro de razonamiento y asigne un rango de progreso predicho ($p_i$) a cada frame barajado (donde un rango más alto implica un tiempo posterior en la secuencia original).
• Señal de Recompensa: La recompensa de entrenamiento es la correlación de rango de Spearman ($\rho$) entre los rangos predichos ($p$) y los índices temporales reales ($q$).
  $$R = \text{spr}(p, q)$$
  Este objetivo obliga al modelo a recuperar el orden temporal basado en la semántica visual en lugar de pistas de tiempo absoluto. El VLM se ajusta (por ejemplo, usando LoRA) y luego se congela para la segunda etapa.

Etapa 2: Control Online mediante Correlación

En la segunda etapa, el calificador congelado se utiliza para generar recompensas para un agente que interactúa con el entorno.

• Mecanismo de Ventana Deslizante: En pasos de consulta específicos (por ejemplo, cada $N$ pasos), se construye una ventana de estados recientes $W_t$. El estado más antiguo en la ventana sirve como ancla.
• Cómputo de la Recompensa: Los frames que no son el ancla en la ventana se barajan $L$ veces. El VLM congelado predice los rangos de progreso para estas permutaciones. La recompensa $r_t$ es el promedio de la correlación de Spearman entre los rangos predichos y los timestamps reales de la ventana.
• Optimización de la Política: El agente (usando PPO o DrQv2) se entrena para maximizar esta señal de correlación. La recompensa está acotada en $[-1, 1]$, es invariante a la escala y depende únicamente del acuerdo de la estructura de ordenamiento, no de la magnitud de la recompensa calibrada. No se utilizan recompensas extrínsecas del entorno.

Contribuciones Clave

1. Calificador de Progreso VLM: Introducción de un calificador VLM simple y efectivo entrenado offline en clips barajados con un objetivo GRPO para producir rangos de progreso por frame, el cual se mantiene congelado durante el aprendizaje de la política.
2. Señal de Recompensa Basada Solo en Correlación: Propuesta de un mecanismo de retroalimentación denso, modelado y sin recompensas basado en la correlación de Spearman entre los rangos de progreso predichos y los índices de tiempo sobre ventanas deslizantes. Esto desacopla el aprendizaje de la recompensa de la calibración absoluta.
3. Validación Empírica: Demostración de que esta señal de recompensa permite un control efectivo a través de benchmarks discretos (GameBoy: Catrap, Kirby) y continuos (PointMaze, MetaWorld), superando a bases sólidas basadas en video.
4. Transferencia entre Tareas: Evidencia de que un único calificador preentrenado puede transferirse entre tareas y entornos, lo que sugiere una fuerte generalidad de la supervisión de video ordinal.

Resultados

• Control Discreto (GameBoy): En niveles de Catrap y Kirby, RTA consistentemente igualó o superó a bases como Rank2Reward, VLM-RM y formulaciones de GVL no entrenadas. Notablemente, RTA fue el único método en lograr una tasa de éxito distinta de cero en la tarea de Kirby sin recompensas del entorno.
• Control Continuo: En entornos PointMaze-UMaze y MetaWorld, RTA superó a Rank2Reward (R2R) en tasas de éxito. Mientras que R2R requiere el entrenamiento de un modelo por tarea, RTA utilizó un único calificador compartido.
• Generalización entre Dominios: Un calificador entrenado en diversas fuentes (por ejemplo, conjuntos de datos de YouTube, MetaWorld, COIN AssembleSofa) se transfirió con éxito a tareas de GameBoy, logrando un rendimiento comparable o superior al de las bases entrenadas con datos específicos de la tarea.
• Ablaciones: Los experimentos confirmaron que las ganancias de rendimiento son impulsadas por el diseño de la recompensa más que por el backbone específico de la política (MLP vs. VLM). El análisis de los tamaños de ventana reveló que las ventanas intermedias proporcionan la señal más estable, equilibrando la consistencia local contra la detección de progreso global.

Significado y Afirmaciones

El artículo afirma que la supervisión estructurada por correlación sobre señales ordinales derivadas de video es suficiente para el aprendizaje de políticas, ofreciendo una alternativa escalable al diseño explícito de recompensas. Al confiar en la correlación de rango en lugar de la regresión escalar, RTA evita los problemas de "reward hacking" y manipulación de la especificación asociados con funciones de recompensa frágiles.

Los autores posicionan a RTA como un paso hacia agentes generalistas robustos capaces de comprender y actuar en entornos abiertos, dinámicos y subespecificados. El método reduce la necesidad de diseñar recompensas manualmente y demuestra que un único calificador ordinal preentrenado puede soportar la inferencia de dominio general a través de diversas tareas, desde juegos retro hasta manipulación robótica. El trabajo sugiere que aprender únicamente de video experto, a través de la consistencia entre el progreso y el tiempo, es un camino viable para la agencia multimodal en entornos sin recompensas.