CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation

Resumo Técnico: CORE – Regularidades de Resultados Comuns a partir de Demonstrações Visuais Livres de Ação

Definição do Problema

O aprendizado por imitação de robôs enfrenta atualmente um gargalo de escalabilidade: políticas de alto desempenho tipicamente requerem grandes quantidades de demonstrações dispendiosas e específicas para o robô (ex: teleoperação ou ensino cinestésico). Vídeos visuais livres de ação, como vídeos humanos da internet, são abundantes e ricos em priors de tarefas, mas são difíceis de utilizar diretamente. Esses vídeos carecem de rótulos de ação executáveis pelo robô e sofrem de lacunas significativas de "embodiment" (corporificação) em termos de morfologia, espaços de ação e interfaces de controle.

Além disso, os métodos existentes que tentam condicionar políticas em objetivos de tarefa frequentemente dependem de instruções em linguagem natural. Embora a linguagem transmita a intenção de alto nível (ex: "empilhar as tigelas"), ela frequentemente falha em especificar as restrições geométricas, espaciais e de contato precisas necessárias para uma execução bem-sucedida em tarefas de manipulação ricas em contato. Essa subespecificação pode levar a políticas subótimas que falham em atingir os estados terminais necessários.

Metodologia: O Framework CORE

Os autores propõem o CORE (Common Outcome Regularities), um framework de aprendizado de política que extrai regularidades estruturais compartilhadas de estados terminais bem-sucedidos em demonstrações visuais livres de ação, em vez de tentar transferir ações explícitas ou depender apenas de linguagem. O CORE opera em três estágios distintos:

1. Estágio I: Aprendizado de Representação de Resultado Terminal
   O framework treina um codificador de resultado terminal ($f_\phi^z$) usando demonstrações visuais livres de ação. O codificador é otimizado com um objetivo contrastivo terminal para aproximar observações terminais de demonstrações bem-sucedidas da mesma tarefa, enquanto afasta resultados não terminais ou não relacionados. Isso é aumentado por duas tarefas auxiliares:

   • Regressão de Tempo até o Objetivo ($L_{ttg}$): Incentiva a representação a estar ciente do progresso temporal em direção ao objetivo.
   • Classificação Terminal ($L_{term}$): Melhora a discriminação entre estados terminais e não terminais.
     O objetivo é aprender representações que foquem em estruturas terminais compartilhadas (configurações de objetos, relações espaciais) em vez de detalhes de movimento específicos da trajetória.

2. Estágio II: Construção de Protótipo de Objetivo
   Embeddings terminais bem-sucedidos são agregados para formar um protótipo de objetivo visual ($z_{goal}$). Para garantir a robustez, o método agrupa embeddings terminais bem-sucedidos usando K-Means e seleciona os modos dominantes (Top-K) para computar uma condição de objetivo estática ao nível da tarefa. Essa agregação suprime observações terminais ruidosas ou raras, gerando uma representação estável do estado físico final desejado.

3. Estágio III: Injeção de Objetivo Independente de Backbone
   Durante o treinamento e inferência da política, a observação atual é codificada em um embedding de resultado ($z_t$). Este é concatenado com o protótipo de objetivo pré-computado ($z_{goal}$) para formar um recurso de objetivo global ($g_t = [z_t; z_{goal}]$). Este recurso é injetado no backbone da política do robô (ex: Diffusion Policy, MP1) via um operador de condicionamento. A política é então guiada para gerar blocos de ação (action chunks) que minimizem a distância entre o estado atual e o estado terminal desejado. Este módulo é projetado para ser compatível com vários backbones de política, incluindo modelos baseados em difusão e fluxo.

Principais Contribuições

• Formulação de Aprendizado ao Nível do Resultado: O artigo reformula o aprendizado de demonstração visual como a extração de Regularidades de Resultados Comuns. Em vez de lutar para mapear ações explícitas entre diferentes embodiments, o CORE extrai estruturas compartilhadas diretamente de estados terminais bem-sucedidos.
• Framework de Três Estágios: Os autores propõem um pipeline inovador que converte dados visuais livres de ação em condições de objetivo visual robustas através do aprendizado de representação terminal e construção de protótipos. O design é independente de backbone, permitindo integração contínua em diversas políticas de downstream.
• Superioridade sobre o Condicionamento por Linguagem: O trabalho demonstra que protótipos de objetivos visuais fornecem restrições geométricas e físicas mais concretas do que instruções de texto, particularmente para tarefas que exigem alinhamento preciso do estado terminal.

Resultados Experimentais

Os autores avaliaram o CORE em dois benchmarks de simulação (Meta-World e RoboTwin 2.0) e em uma configuração de braço robótico no mundo real (ARX R5).

• Meta-World: O CORE melhorou a taxa de sucesso média do backbone MP1 em +3,9% (de 81,7% para 85,6%) e do backbone DP3 em +2,5% (de 81,5% para 84,0%). As melhorias foram mais pronunciadas em tarefas "Hard" e "Very Hard". Variantes condicionadas por texto mostraram ganhos negligenciáveis em comparação.
• RoboTwin 2.0: O CORE rendeu melhorias significativas, impulsionando o backbone MP1 em +11,1% (para 79,4%) e o DP3 em +4,8% (para 82,3%). Em cada tarefa avaliada, pelo menos uma política integrada ao CORE alcançou o melhor resultado.
• Mundo Real: Em um robô físico realizando tarefas ricas em contato (ex: manipulação de gavetas, empilhamento), o CORE melhorou a taxa de sucesso do backbone MP1 em +17,0% (de 69,0% para 85,0%) e do DP3 em +17,0% (de 65,0% para 82,0%). As bases condicionadas por texto forneceram melhorias negligenciáveis no cenário do mundo real.
• Estudos de Ablação: Remover as perdas auxiliares ($L_{ttg}, L_{term}$) ou o embedding de resultado atual ($z_t$) degradou significativamente o desempenho, confirmando a necessidade do design completo de três estágios. O estudo também mostrou que aprender um codificador terminal especializado supera o uso de codificadores visuais generalistas congelados (ex: Uni3D).

Significância e Alegações

O artigo afirma que o desafio central ao utilizar vídeos humanos não é meramente a disponibilidade de dados, mas a extração de supervisão que seja utilizável por políticas de robôs, apesar das lacunas de embodiment. O CORE aborda isso mudando a representação do objetivo de uma "intenção de linguagem subespecificada" para "condições de objetivo ao nível do resultado induzidas de observações bem-sucedidas".

Os autores sustentam que, ao focar em Regularidades de Resultados Comuns, o framework permite que os robôs aproveitem dados humanos abundantes e livres de ação sem a necessidade de recuperar ações explícitas ou mitigar diretamente as lacunas morfológicas. Os resultados sugerem que protótipos de objetivos visuais oferecem um sinal mais direto e fisicamente fundamentado para a conclusão de tarefas do que a linguagem, permitindo políticas de manipulação mais robustas mesmo com dados de demonstração específicos para o robô limitados.