Resumo Técnico: Recuperar, Não Retreinar (RECAP)

Definição do Problema

Estender políticas de Visão-Linguagem-Ação (VLA) para novas tarefas ou novos corpos robóticos (por exemplo, de uma mão humana para um braço robótico específico) normalmente requer a coleta de demonstrações teleoperadas específicas para a tarefa, que são caras, e a realização de ajuste fino (fine-tuning) por tarefa. Esse processo acarreta dois custos significativos:

1. Custo de Coleta de Dados: Dados de robôs teleoperados são lentos para adquirir (aproximadamente 18× mais lentos que demonstrações de mãos humanas) e limitados ao hardware.
2. Custo de Computação: O ajuste fino de modelos modernos de Mundo-Ação (WAMs) ou de grandes políticas VLA para cada nova tarefa é computacionalmente intensivo (ex: ~24 horas de GPU por tarefa para a Cosmos Policy) e escala com o tamanho do modelo e o comprimento do contexto.

Os autores argumentam que esse custo de adaptação por tarefa é evitável. Em vez de retreinar, o conhecimento comportamental de uma fonte rica em dados e barata (o corpo "pool", ex: mãos humanas) pode ser transferido para o corpo alvo (o "query") por meio de um paradigma de recuperação (retrieval).

Metodologia: RECAP

O artigo propõe o RECAP (Retrieval-Conditioned Action Policy), um framework que desloca a adaptação da otimização de parâmetros para a recuperação de dados. A premissa central é que, embora os corpos difiram em dinâmica de execução, eles concordam amplamente nas exigências de alto nível de uma tarefa.

1. Fase de Treinamento

• Backbone: O método utiliza um Modelo de Mundo-Ação (WAM), especificamente a Cosmos Policy, que trata ações e observações visuais futuras como uma única sequência de vídeo denoisada.
• Condicionamento por Recuperação Aumentada: A política é treinada uma única vez em demonstrações pareadas do corpo de consulta (robô alvo) e do corpo de pool (ex: mão humana).
• Parametrização Residual: Em vez de prever a sequência de ação completa, a política prevê um resíduo ($\Delta a$) sobre a trajetória recuperada do pool.
  • $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
  • Isso força o modelo a aprender apenas as correções específicas do corpo (dinâmica, geometria de contato) em vez de todo o plano de movimento.
• Objetivo Conjunto: O modelo é treinado com uma perda de correspondência de fluxo (flow-matching loss) que supervisiona conjuntamente a ação prevista e o estado futuro previsto (imagem). O objetivo da imagem futura atua como um sinal de consistência visual, garantindo que a trajetória recuperada se alinhe com a evolução física da cena no robô alvo.

2. Adaptação em Tempo de Teste (Inferência)

• Política Congelada: Uma vez treinada, os parâmetros da política permanecem congelados. Não ocorrem atualizações de gradiente para novas tarefas.
• Pool de Recuperação Dinâmico: Novas tarefas são gerenciadas anexando demonstrações relevantes do corpo do pool (ex: vídeos humanos) a um pool de recuperação.
• Recuperação Passo a Passo: A cada passo de controle $t$, o sistema:
  1. Observa o estado atual da consulta $s^{query}_t$.
  2. Recupera o chunk de estado-ação mais semelhante $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ do banco de dados do pool baseado em um descritor composto (objetivo de linguagem, pose do objeto, propriocepção e características visuais).
  3. Alimenta a observação atual e o chunk recuperado na política congelada.
  4. A política gera o próximo chunk de ação para o robô alvo, condicionado ao plano de alto nível recuperado.

Principais Contribuições

1. Paradigma de Adaptação em Tempo de Teste: Um método para adaptar políticas a novas tarefas inteiramente em tempo de teste, estendendo um pool de recuperação com demonstrações baratas, mantendo a política congelada.
2. Política Residual Condicionada por Recuperação em WAMs: Uma arquitetura específica onde a recuperação fornece o movimento grosseiro de alto nível, e o WAM aprende apenas a correção específica do corpo. Os autores destacam que o objetivo de previsão de imagem futura do WAM é unicamente benéfico, fornecendo um sinal de alinhamento visual que fortalece as ações condicionadas pela recuperação.
3. Validação Empírica: Demonstrou ganhos consistentes sobre baselines de cross-embodiment em três configurações:
   • PushT (2D): Generalização para ângulos de meta não vistos.
   • RoboTwin 2.0 (Simulação): Manipulação multi-tarefa e de braços duplos.
   • Robô Real: Transferência de vídeos de mãos humanas para um braço robótico físico.

Resultados Experimentais

Benchmark PushT (Generalização Cross-Embodiment)

• Configuração: Um empurrador triangular (alvo) treinado em ângulos de $\pm 45^\circ$, avaliado em 9 ângulos (7 não vistos). O pool consistiu em demonstrações de um empurrador de disco.
• Resultados:
  • Progressão do Pool: Expandir o pool de recuperação em tempo de teste sem retreinar melhorou monotonicamente o sucesso em ângulos não vistos, subindo de 6,0% (sem recuperação) para 34,9% (pool total).
  • Comparação de Backbone: A recuperação melhorou tanto o VLA padrão ($\pi0.5$) quanto os backbones WAM (Cosmos), mas o ganho foi significativamente maior para o WAM (25,1% vs 34,9%), confirmando a sinergia entre a recuperação e o objetivo de imagem futura.
  • Mecanismo: A análise de atenção mostrou que a política usa as camadas iniciais para atender à trajetória recuperada e as camadas posteriores para adaptar o plano às dinâmicas do alvo.

RoboTwin 2.0 Simulação

• Configuração: Alvo (Aloha-Agilex) vs. Pool (UR5). Treinado em 5 tarefas pareadas, avaliado em 5 tarefas não vistas.
• Resultados:
  • Desempenho: O RECAP alcançou 31,5% de sucesso em tarefas não vistas, superando o baseline mais forte (Cosmos Policy sem recuperação) com 26,0% e o "Apenas Recuperação" (execução ingênua) com 26,0%.
  • Crescimento do Pool: As taxas de sucesso aumentaram monotonicamente conforme o pool crescia de 11 para 35 tarefas, atingindo 31,5% com o pool completo.
  • Qualitativo: Em tarefas como "hand-over-mic", a recuperação ingênua falhou (colidindo com objetos), enquanto o RECAP ajustou com sucesso a orientação da pegada.

Experimentos com Robô Real

• Configuração: Robô alvo treinado em "abrir armário" (25 demos pareadas). Avaliado em tarefas não contidas: "colocar garrafa" e "fechar armário".
• Resultados:
  • O baseline (treinado apenas em abrir armário) falhou nas tarefas não contidas (0% e 10% de sucesso), apenas repetindo a trajetória de treinamento.
  • O RECAP, usando apenas 10 demonstrações de mão humana por nova tarefa adicionada ao pool, alcançou 80% de sucesso ao colocar a garrafa e 30% ao fechar o armário.

Significância e Alegações

O artigo alega que indexar dados de corpos do pool mais baratos no momento do deployment pode substituir a coleta de novas demonstrações do robô alvo.

• Redução de Custo: O método substitui o custo de ajuste fino de ~24 horas de GPU/tarefa e o custo de teleoperação 18× mais lento por um processo de recuperação.
• Escalabilidade: Ao congelar a política, o sistema pode absorver novas tarefas simplesmente adicionando dados ao pool de recuperação, evitando os custos cumulativos do ajuste fino tradicional.
• Sinergia com WAMs: O trabalho demonstra que Modelos de Mundo-Ação, quando pareados com recuperação, podem efetivamente aproveitar o planejamento "grosseiro" de um corpo para aprender a dinâmica "fina" de outro, uma capacidade que as políticas de apenas ação padrão não possuem.

Os autores reconhecem limitações, observando que o método requer espaços de ação compartilhados (ex: pose do efetuador final) e que os descritores de recuperação atuais (combinando linguagem, pose e visão) podem precisar de mais refinamento para cenários mais complexos ou temporalmente desalinhados. No entanto, os resultados sugerem um caminho viável para políticas robóticas de uso geral que se adaptam via recuperação em vez de retreino.