Resumo Técnico: Rank-Then-Act (RTA)

Declaração do Problema

Aprender políticas de controle a partir de observações visuais sem recompensas extrínsecas do ambiente é um desafio fundamental para agentes generalistas. Isso é particularmente crítico em domínios como jogos retrô, simuladores com APIs fracas e robótica no mundo real, onde o design de recompensas é frágil, indisponível ou suscetível ao specification gaming (jogar com a especificação). As abordagens existentes enfrentam três obstáculos primários:

1. Atalhos Triviais: Entradas cronológicas frequentemente levam os modelos a aprender atalhos de "o final é melhor", resultando em pontuações de progresso monotonicamente crescentes e vazias que falham em capturar a semântica da tarefa.
2. Ambiguidade de Escala: Escalas de progresso absolutas são ambíguas e difíceis de calibrar entre diferentes tarefas e episódios.
3. Restrições de Aprendizado Online: O aprendizado por reforço (RL) requer sinais de recompensa que sejam baratos de computar, informativos para exploração e robustos a mudanças de distribuição.

Métodos atuais, como modelos de recompensa baseados em vídeo ou cabeças de recompensa de Modelos de Linguagem-Visão (VLM), muitas vezes exigem texto de objetivo projetado, ajuste por tarefa ou produzem valores escalares não calibrados que são difíceis de reutilizar. Além disso, muitos métodos de imitação por observação exigem rótulos de ação ou recompensas do ambiente, que não estão disponíveis no cenário "apenas vídeo" abordado por este trabalho.

Metodologia: Rank-Then-Act (RTA)

O RTA é um framework de dois estágios que converte a compreensão de um modelo sobre a ordem dos frames em vídeos de especialistas em um sinal de aprendizado limitado e invariante de escala para controle livre de recompensa.

Estágio 1: Pontuador de Progresso de Lista Offline

O primeiro estágio envolve o treinamento de um Modelo de Linguagem-Visão (VLM) como um "pontuador de progresso" usando Group Relative Policy Optimization (GRPO).

• Preparação de Dados: Demonstrações de vídeo de especialistas são segmentadas em frames. Para evitar o atalho "o final é melhor", o primeiro frame é ancorado como um ponto inicial fixo ($s_{anc}$), e os frames restantes são embaralhados aleatoriamente.
• Objetivo: O VLM é instruído a gerar um rastro de raciocínio e atribuir um ranking de progresso previsto ($p_i$) para cada frame embaralhado (onde um ranking maior implica um tempo posterior na sequência original).
• Sinal de Recompensa: A recompensa de treinamento é a correlação de postos de Spearman ($\rho$) entre os rankings previstos ($p$) e os índices temporais reais ($q$).
  $$R = \text{spr}(p, q)$$
  Este objetivo força o modelo a recuperar a ordenação temporal baseada em semântica visual, em vez de pistas de tempo absoluto. O VLM é ajustado (ex: usando LoRA) e então congelado para o segundo estágio.

Estágio 2: Controle Online via Correlação

No segundo estágio, o pontuador congelado é usado para gerar recompensas para um agente interagindo com o ambiente.

• Mecanismo de Janela Deslizante: Em etapas de consulta específicas (ex: a cada $N$ passos), uma janela de estados recentes $W_t$ é construída. O estado mais antigo na janela serve como a âncora.
• Computação da Recompensa: Os frames que não são a âncora na janela são embaralhados $L$ vezes. O VLM congelado prevê os rankings de progresso para essas permutações. A recompensa $r_t$ é a média da correlação de postos de Spearman entre os rankings previstos e os carimbos de tempo reais da janela.
• Otimização da Política: O agente (usando PPO ou DrQv2) é treinado para maximizar este sinal de correlação. A recompensa é limitada em $[-1, 1]$, invariante de escala e depende apenas do acordo da estrutura de ordenação, não da magnitude de calibração. Nenhuma recompensa extrínseca do ambiente é utilizada.

Principais Contribuições

1. Pontuador de Progresso VLM: Introdução de um pontuador VLM simples e eficaz, treinado offline em clipes embaralhados com um objetivo GRPO para fornecer rankings de progresso por frame, mantido congelado durante o aprendizado da política.
2. Sinal de Recompensa Baseado Apenas em Correlação: Proposta de um mecanismo de feedback denso e estruturado, livre de recompensa, baseado na correlação de postos de Spearman entre os rankings de progresso previstos e os índices de tempo sobre janelas deslizantes. Isso desacopla o aprendizado da recompensa da calibração absoluta.
3. Validação Empírica: Demonstração de que este sinal de recompensa permite o controle eficaz através de benchmarks discretos (GameBoy: Catrap, Kirby) e contínuos (PointMaze, MetaWorld) sem recompensas do ambiente, superando fortes baselines baseados em vídeo.
4. Transferência entre Tarefas: Evidência de que um único pontuador de progresso pré-treinado pode ser transferido entre tarefas e ambientes, sugerindo uma forte generalidade da supervisão ordinal de vídeo.

Resultados

• Controle Discreto (GameBoy): Nos níveis de Catrap e Kirby, o RTA consistentemente igualou ou superou baselines como Rank2Reward, VLM-RM e formulações GVL não treinadas. Notavelmente, o RTA foi o único método a alcançar uma taxa de sucesso diferente de zero na tarefa Kirby sem recompensas do ambiente.
• Controle Contínuo: Nos ambientes PointMaze-UMaze e MetaWorld, o RTA superou o Rank2Reward (R2R) em taxas de sucesso. Enquanto o R2R requer treinamento de modelo por tarefa, o RTA utilizou um pontuador compartilhado único.
• Generalização Cross-Domain: Um pontuador treinado em diversas fontes (ex: conjuntos de dados do YouTube, MetaWorld, COIN AssembleSofa) transferiu-se com sucesso para tarefas de GameBoy, alcançando desempenho comparável ou superior aos baselines treinados com dados específicos da tarefa.
• Ablações: Experimentos confirmaram que os ganhos de desempenho são impulsionados pelo design da recompensa, e não pelo backbone específico da política (MLP vs. VLM). A análise dos tamanhos de janela revelou que janelas intermediárias fornecem o sinal mais estável, equilibrando consistência local contra detecção de progresso global.

Significância e Alegações

O artigo afirma que a supervisão estruturada por correlação sobre sinais ordinais derivados de vídeo é suficiente para o aprendizado de políticas, oferecendo uma alternativa escalável ao design explícito de recompensas. Ao confiar na correlação de postos em vez da regressão escalar, o RTA evita as armadilhas de reward hacking e specification gaming associadas a funções de recompensa frágeis.

Os autores posicionam o RTA como um passo em direção a agentes generalistas robustos, capazes de compreender e agir em ambientes abertos, dinâmicos e subespecificados. O método reduz a necessidade de recompensas projetadas manualmente e demonstra que um único pontuador ordinal pré-treinado pode suportar inferência de domínio geral através de diversas tarefas, desde jogos retrô até manipulação robótica. O trabalho sugere que aprender apenas a partir de vídeos de especialistas, via consistência entre progresso e tempo, é um caminho viável para a agência multimodal em configurações livres de recompensa.