Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

Resumo Técnico: Modelagem de Preferência Humana via Predição de Movimento Visual para Aprendizagem de Habilidades Robóticas

1. Problema

O artigo aborda o desafio de transferir habilidades de demonstrações humanas em vídeo para robôs, visando reduzir drasticamente a quantidade de dados de demonstração on-robot (no próprio robô) necessária para o aprendizado.

• O "Gap" de Embodiment: Existe uma discrepância significativa entre a forma como humanos realizam tarefas (vídeos egocêntricos) e como os robôs operam (diferentes morfologias, ambientes e sensores).
• Limitações das Abordagens Atuais: Métodos anteriores de aprendizado de recompensa baseados em vídeo geralmente estimam o valor de longo prazo de um estado visual como a distância temporal até o estado final (objetivo) em um vídeo de demonstração.
  • Essas abordagens são sensíveis a ruídos, hesitações ou ações não ótimas dos humanos (que enviesam negativamente o valor de estados anteriores).
  • Elas sofrem com a transferência do espaço de estados humanos para robóticos (mudança de distribuição), muitas vezes recompensando movimentos que parecem corretos visualmente, mas não alcançam o resultado físico desejado (ex: mover a mão sem mover o objeto).

2. Metodologia

Os autores propõem uma nova abordagem que modela as preferências humanas de curto prazo através da predição do movimento de pontos visuais em objetos relevantes para a tarefa, em vez de estimar valores de longo prazo baseados em contagem de quadros.

O pipeline consiste em três etapas principais:

A. Aprendizado do Modelo de Predição de Movimento (Reward Learning)

• Entrada: Um grande conjunto de vídeos egocêntricos humanos (ex: Ego4D, Epic Kitchens) para uma tarefa específica.
• Processamento:
  1. Extração de máscaras de objetos relevantes e rastreamento de uma grade de pontos sobre esses objetos.
  2. Correção do movimento da câmera (subtraindo o movimento médio do fundo).
• Modelo: Um Transformer de Predição de Movimento (baseado na arquitetura DiT - Diffusion Transformer) é treinado para prever a localização futura de um conjunto de pontos ($P_{t+1}$) dado o estado atual ($o_t, P_t$) e um indicador de progresso da tarefa.
• Função de Recompensa: Para cada passo de uma trajetória do robô, a recompensa é calculada pela alinhamento (similaridade de cosseno) entre o vetor de movimento predito pelo modelo e o vetor de movimento observado (rastreado) no vídeo do robô.
  • Se o robô move o objeto de forma consistente com a "preferência" humana (predição), a recompensa é alta.
  • Isso incentiva o robô a replicar os resultados (movimento do objeto) e não apenas as ações humanas brutas.

B. Framework de Aprendizado por Reforço Residual (Residual RL)

• Política Base: Um modelo de "Behavior Cloning" (ex: Diffusion Policy) é treinado com um pequeno conjunto de demonstrações no robô (10 demonstrações) para fornecer uma política inicial ($\pi_{base}$).
• Ajuste Fino Online: Utiliza-se um algoritmo modificado de Soft Actor-Critic (SAC) para aprender uma política residual ($\pi_{RL}$) que corrige a política base.
  • A ação final é $\pi(s) = \pi_{base}(s) + \alpha \cdot \pi_{RL}(s)$.
  • O framework é projetado para ser estável e eficiente em amostras, congelando a política base e aprendendo apenas as correções, evitando que o robô se afaste demais da distribuição de dados de demonstração.

C. Arquitetura Visual

• Utiliza-se um encoder visual pré-treinado (DinoV2) para extrair características visuais robustas, alimentando o Transformer de predição.

3. Contribuições Chave

1. Novo Paradigma de Recompensa: Substituição da estimativa de valor baseada em distância temporal por uma recompensa densa baseada na predição de movimento de pontos em objetos. Isso torna a recompensa robusta a hesitações humanas e foca no resultado físico da tarefa.
2. Redução do Gap de Embodiment: Ao focar no movimento de objetos (que é invariante ao agente), a função de recompensa transfere-se mais facilmente de vídeos humanos para dados de robôs do que funções baseadas em estados absolutos ou trajetórias de mãos.
3. Eficiência de Amostra: O método permite que um robô aprenda e melhore significativamente sua performance com apenas 10 demonstrações iniciais e cerca de 1 hora de interação real (100 episódios).
4. Estabilidade no Mundo Real: A combinação de RL residual com uma política base congelada e regularização demonstrou ser estável em hardware real, evitando o colapso da política comum em métodos de RL puro.

4. Resultados

Os autores avaliaram o método em simulação (Franka Kitchen) e em hardware real (Braço Franka Research 3 com câmeras Realsense) em três tarefas: "Abrir Micro-ondas", "Dobrar Toalha" e "Limpar Bancada".

• Comparação com Baselines: O método (denominado MPR - Motion Prediction Reward) foi comparado contra:
  • Recompensa Esparsa (sucesso/falha).
  • Recompensa Densas Manual (usando informações privilegiadas).
  • VIP (Value Implicit Pretraining): Um método de ponta baseado em distância temporal.
• Desempenho em Simulação: O MPR superou o VIP na tarefa "Abrir Micro-ondas" e acompanhou de perto a recompensa manual densa, enquanto o VIP mostrou viés e convergência para mínimos locais.
• Desempenho em Hardware Real:
  • Abrir Micro-ondas: MPR alcançou 76.7% de sucesso (vs. 23.3% do VIP e 45% da política base).
  • Dobrar Toalha: MPR alcançou 73.3% (vs. 8.3% do VIP).
  • Limpar Bancada: MPR alcançou 56.7% (vs. 21.7% do VIP).
• Análise de Falhas: O VIP frequentemente falhava em distinguir tentativas fracassadas de bem-sucedidas (ex: recompensando o robô por ir até o local errado sem pegar o objeto), levando ao "esquecimento" da política durante o treino. O MPR, ao focar no movimento do objeto, não recompensava falhas onde o objeto não se movia, permitindo uma aprendizagem mais robusta.

5. Significância e Conclusão

Este trabalho representa um avanço significativo na aprendizagem de robôs a partir de dados não estruturados da internet.

• Viabilidade Prática: Demonstra que é possível criar políticas de robôs competitivas com poucos dados de demonstração no robô, superando a dependência de grandes conjuntos de dados on-robot.
• Robustez: A abordagem de modelar preferências de curto prazo via movimento de objetos resolve problemas fundamentais de ruído e viés presentes em métodos de distância temporal.
• Futuro: Os autores sugerem que este método pode evoluir para um "modelo fundamental de recompensa densa" para robótica, potencialmente adaptável a múltiplas tarefas via condicionamento por linguagem e integrado a modelos de mundo para busca de políticas.

Em suma, o artigo propõe que prever como os objetos devem se mover é uma forma mais eficaz e robusta de ensinar robôs a partir de vídeos humanos do que tentar estimar o quão "perto" eles estão do objetivo final.