Resumo Técnico: Aprendendo Mais com Menos: Aprendizado por Reforço a partir de Perspectiva Posterior (Hindsight)

Declaração do Problema

O Aprendizado por Reforço (RL) é cada vez mais utilizado para o pós-treinamento de modelos de Visão-Linguagem-Ação (VLA) para melhorar o controle robótico. No entanto, existe um gargalo crítico: as atualizações de RL dependem de execuções (rollouts) físicas de robôs, que são lentas, caras e difíceis de escalar. Isso torna a eficiência de amostragem uma preocupação primária.

O desafio é exacerbado em tarefas de manipulação onde as recompensas são tipicamente esparsas. Uma execução recebe uma recompensa (sucesso) apenas se o robô completar exatamente a instrução comandada; todos os outros comportamentos recebem recompensa zero. No início do treinamento, quando a política é fraca, quase todas as execuções falham no comando específico. O RL padrão trata essas trajetórias inteiras como falhas, descartando-as como dados "inúteis". Isso ignora o fato de que uma execução falha frequentemente executa um comportamento coerente e significativo relevante para uma tarefa diferente (por exemplo, um robô instruído a "fechar o micro-ondas" pode conseguir com sucesso "pegar uma xícara"). O RL padrão falha em extrair sinais de aprendizado desses "fracassos", levando à convergência lenta ou estagnação em cenários fora da distribuição (OOD).

Metodologia: Aprendizado por Perspectiva Posterior (Learning from Hindsight - LfH)

Os autores propõem o Aprendizado por Perspectiva Posterior (LfH), um método que adapta o conceito de Hindsight Experience Replay (HER) para o pós-treinamento de RL de VLAs. Em vez de descartar as execuções falhas, o LfH utiliza um Modelo de Visão-Linguagem (VLM) para rotulá-las novamente com base no que o robô realmente alcançou.

Mecanismo Central

O LfH opera dentro de um framework de Otimização de Política de Grupo Relativa (GRPO). O processo envolve duas etapas principais para grupos de trajetórias que falham na instrução original:

1. Relabelagem de Instrução:

   • Para um grupo de trajetórias que falham na instrução comandada $g$, o sistema seleciona uma trajetória "âncora" (uma execução falha).
   • Um VLM ($M_\psi$) analisa as observações visuais e ações da âncora para gerar uma instrução de perspectiva posterior ($g'$) que descreve o comportamento realmente executado (por exemplo, mudando de "fechar o micro-ondas" para "pegar a caneca").
   • O VLM primeiro filtra trajetórias "pouco interessantes" (por exemplo, aquelas sem contato físico com objetos) para evitar prompts ruidosos.

2. Relabelagem de Recompensa:

   • O mesmo VLM avalia todas as trajetórias no grupo em relação à nova instrução de perspectiva posterior $g'$.
   • Ele atribui uma recompensa $\tilde{R}_i \in \{0, 0.5, 1\}$, onde 1 indica sucesso em alcançar $g'$, 0 indica falha, e 0.5 representa um resultado ambíguo.
   • Crucialmente, uma única instrução de perspectiva posterior compartilhada é usada para todo o grupo para garantir que as recompensas sejam comparáveis para o cálculo de vantagem.

Objetivo de Otimização

A política é treinada conjuntamente nas execuções originais e nas contrapartes relabeladas por perspectiva posterior. A função de perda combina o objetivo padrão de GRPO ($L_{GRPO}$) com um objetivo de perspectiva posterior ($L_{H-GRPO}$):
$$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$$

Para lidar com o deslocamento de distribuição (trajetórias executadas sob $g$, mas otimizadas para $g'$), o LfH aplica uma razão de correção de importância:
$$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$$
Isso permite que a política aprenda com os comportamentos "não pretendidos, mas significativos", mantendo o alinhamento com a distribuição da tarefa original.

Principais Contribuições

1. Relabelagem por Perspectiva Posterior para VLAs: O artigo introduz um algoritmo único que aproveita as capacidades de generalização de linguagem dos VLAs para rotular novamente as execuções falhas no espaço da linguagem, convertendo falhas de recompensa zero em demonstrações bem-sucedidas de tarefas alternativas.
2. Relabelagem Conjunta de Instrução e Recompensa: Ao contrário de trabalhos anteriores que poderiam apenas reformular instruções ou moldar recompensas, o LfH acopla ambos. Os autores demonstram que nem a aumentação de instrução nem a relabelagem de recompensa sozinhas são suficientes; a sinergia de ambas é necessária para ganhos significativos.
3. Eficiência de Amostragem em Regimes de Recompensa Esparsa: O método visa especificamente o problema do "cold start" (início a frio), onde as políticas iniciais têm taxas de sucesso próximas de zero, recuperando sinais de aprendizado de dados que o RL padrão descartaria.

Resultados Experimentais

Os autores avaliaram o LfH em tarefas fora da distribuição (OOD) do conjunto de dados LIBERO-PRO e em um robô físico Franka FR3.

• Eficiência de Amostragem: Nas tarefas LIBERO-PRO, o LfH alcançou uma melhoria de 5× na eficiência de amostragem em comparação ao GRPO padrão. Ele atingiu a taxa de sucesso final do GRPO padrão em aproximadamente um quinto dos passos de treinamento.
• Comparação com Recompensas Densas: O LfH superou um baseline utilizando recompensas de progresso densas (RoboMETER). Isso sugere que, em regimes de baixo sucesso, mudar qual tarefa uma execução é creditada é mais valioso do que simplesmente densificar o feedback para o comando original.
• Utilização de Dados: Enquanto o GRPO padrão descarta ~60-80% dos grupos de trajetórias devido à variância de recompensa zero, o LfH retém 70–80% dos grupos ao relabelar as falhas, utilizando efetivamente os dados coletados.
• Generalização: As melhorias mantiveram-se em diferentes backbones de VLA (incluindo GR00T e OpenVLA-OFT) e transferiram-se com sucesso para experimentos robóticos físicos reais, onde o LfH dobrou a taxa de sucesso do GRPO padrão em 128 execuções.
• Estudos de Ablação: Experimentos confirmaram que os ganhos não se devem à injeção de recompensa aleatória ou simples reformulação de instrução. O método também mostrou que o LfH beneficia e ajuda a manter distribuições comportamentais diversas durante o treinamento, evitando que a política colapse em modos de falha repetitivos.

Significância e Alegações

O artigo afirma que o LfH muda fundamentalmente a utilidade dos dados robóticos no pós-treinamento de RL. Ao tratar uma trajetória como evidência para todos os objetivos de linguagem consistentes com o comportamento observado, o LfH extrai "mais bits por amostra de robô".

Os autores enfatizam que esta abordagem é particularmente natural para VLAs pré-treinados, que já possuem a capacidade de generalizar através de instruções de linguagem. O Lf ich permite que esses modelos aprendam com o que eles realmente fizeram, em vez de apenas o que lhes foi pedido para fazer. Isso oferece um caminho prático para o pós-treinamento de VLA: em vez de apenas coletar mais execuções ou otimizar por mais tempo nos mesmos rótulos, os pesquisadores podem reinterpretar cada execução através da linguagem para transferir o aprendizado entre as tarefas suportadas.

O artigo reconhece limitações, observando que o LfH depende da diversidade e interpretabilidade das falhas nos dados coletados. Se a política produzir trajetórias repetitivas ou pouco informativas, há poucos objetivos de perspectiva posterior significativos para recuperar. Além disso, o método depende da qualidade do relabeler VLM, onde prompts incorretos ou excessivamente genéricos poderiam introduzir supervisão ruidosa.