ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

Título: ViVa: Um Modelo de Valor Generativo de Vídeo para Aprendizado por Reforço em Robótica

1. O Problema

Os modelos de Visão-Linguagem-Ação (VLA) avançaram significativamente na manipulação robótica através de pré-treinamento em larga escala. No entanto, a implantação no mundo real enfrenta dois desafios críticos:

1. Observabilidade Parcial e Feedback Atrasado: As consequências das decisões robóticas muitas vezes só se manifestam em horizontes temporais longos.
2. Limitações dos Modelos de Valor Atuais: Os modelos de valor existentes, baseados em Modelos de Visão-Linguagem (VLMs) discriminativos, são treinados principalmente em dados estáticos (imagem-texto). Eles capturam o "que" está presente em uma cena, mas falham em modelar explicitamente "como" as interações transformam o ambiente ao longo do tempo. Isso resulta em estimativas de valor pouco confiáveis para tarefas de longo prazo, onde é crucial antecipar o futuro para avaliar o progresso da tarefa.

O artigo identifica que a estimativa de valor é, fundamentalmente, um problema de antecipação futura. Modelos discriminativos estáticos não conseguem capturar a dinâmica temporal necessária para distinguir comportamentos benéficos de indesejáveis em trajetórias complexas.

2. Metodologia (ViVa)

Os autores propõem o ViVa (Video-generative Value model), uma abordagem inovadora que reutiliza um gerador de vídeo pré-treinado como uma função de valor para aprendizado por reforço (RL).

Arquitetura e Funcionamento:

• Base: O modelo é construído sobre o Wan2.2, um Transformer de Difusão de Vídeo pré-treinado.
• Entrada: O modelo recebe a observação atual (imagens multiview) e a propriocepção do robô (posição/velocidade das juntas).
• Saída Conjunta: Diferente de modelos tradicionais que apenas classificam o estado, o ViVa realiza uma previsão conjunta de:
  1. Propriocepção Futura: O estado das juntas/efetor final em um horizonte futuro ($t+K$).
  2. Valor Escalar: Um valor escalar ($0$a$1$) representando o progresso da tarefa em direção à conclusão bem-sucedida.
• Mecanismo de Injeção Latente:
  • A propriocepção atual e o valor escalar são mapeados para "frames latentes" através de operações de repeat-padding e broadcast.
  • Durante o treinamento, o modelo recebe uma sequência de frames limpos (condicionamento: imagem atual + propriocepção atual) e frames ruidosos (alvo: propriocepção futura + valor).
  • O modelo aprende a denoising (remover ruído) para prever o futuro e o valor simultaneamente, utilizando a função de perda de Flow Matching.
• Definição de Recompensa: A recompensa é definida para distinguir claramente entre sucesso e falha. Episódios bem-sucedidos têm um retorno cumulativo normalizado em $[0, 1)$, enquanto episódios falhos recebem uma penalidade terminal que os desloca para $[1, 2)$, criando uma margem clara para o modelo aprender.

Integração com RL:

O ViVa é integrado no pipeline RECAP (Reinforcement Learning with Experience and Corrections via Advantage-conditioned Policies). Ele substitui a função de valor baseada em VLM, fornecendo sinais de vantagem (advantage) mais precisos para refinar a política do robô.

3. Contribuições Principais

1. Reformulação do Problema de Valor: Identificação de que a estimativa de valor em RL robótico é inerentemente um problema de antecipação futura, tornando os modelos generativos de vídeo (treinados em evolução temporal) uma base superior aos VLMs estáticos.
2. Arquitetura ViVa: Introdução de um modelo que acopla intrinsecamente o valor com a "previsão" (foresight), prevendo a dinâmica corporal futura (propriocepção) junto com o valor da tarefa.
3. Generalização Robusta: Demonstração de que o uso de priores espaço-temporais de grandes corpora de vídeo permite que o modelo generalize para objetos e cenários não vistos durante o treinamento, algo onde métodos baseados em VLM falham.

4. Resultados Experimentais

Os experimentos foram conduzidos em três tarefas do mundo real: dobragem de camisas, embalagem de caixas e organização de papel higiênico.

• Sinal de Valor Mais Confiável (Análise Qualitativa):
  • Em comparação com VLMs, o ViVa detecta erros de execução (ex.: alinhamento incorreto, quedas) com quedas agudas no valor estimado, enquanto os VLMs tendem a ser insensíveis ou mostrar flutuações erráticas.
  • O ViVa mostra um progresso suave e monotônico alinhado com marcos reais da tarefa, mesmo em objetos não vistos (ex.: dobragem de calças, que não estava nos dados de treino).
• Desempenho em Tarefas Reais (Embalagem de Caixas):
  • O ViVa integrado ao RECAP alcançou uma taxa de sucesso de 73%, superando significativamente o modelo base sem RL (42-53%) e o RECAP com VLM (58%).
  • A produtividade (throughput) aumentou para 14 tarefas/hora com ViVa, contra 11 com VLM e 10 com Gigabrain-0.
• Eficiência Computacional:
  • O ViVa é mais eficiente que a base VLM: tempo de treinamento de 4 GPU-dias (vs. 6 do VLM) e latência de inferência de 0.18s (vs. 0.32s do VLM).

5. Significado e Conclusão

O trabalho demonstra que modelos generativos de vídeo oferecem um caminho escalável para o aprendizado robótico no mundo real. Ao fundamentar a estimativa de valor na dinâmica corporal antecipada (embodiment dynamics), o ViVa supera as limitações de modelos estáticos, fornecendo sinais de aprendizado mais robustos para tarefas de longo horizonte.

A principal conclusão é que a capacidade de "imaginar" o futuro (prever estados físicos e visuais) é essencial para avaliar corretamente o progresso de uma tarefa. Isso permite que os robôs não apenas reconheçam o estado atual, mas entendam se suas ações estão levando a um resultado desejado, facilitando a correção de erros e a generalização para novos objetos sem necessidade de retreinamento massivo.