Resumo Técnico: Aprendizado de Imitação Visuomotora Tri-manual de Políticas de Robô

Definição do Problema

A teleoperação bimanual padrão assume um mapeamento de um para um entre as duas mãos de um operador e os dois efetuadores finais de um robô. Essa premissa falha para sistemas tri-manuais, onde um robô possui três braços, mas um único operador humano pode controlar continuamente apenas dois canais simultaneamente. Para demonstrar tarefas para três braços, os operadores devem usar a troca de modo por pares, serializando movimentos independentes que poderiam, de outra forma, ocorrer de forma concorrente.

Ao treinar políticas de aprendizado de imitação (por exemplo, via clonagem de comportamento) em tais dados, a política frequentemente aprende os atrasos impostos pela interface em vez dos requisitos intrínsecos da tarefa. O robô pode reproduzir períodos de espera desnecessários onde um braço fica ocioso enquanto o operador alterna o controle para outro par, mesmo que a geometria da tarefa permita a execução simultânea. O desafio central é separar os movimentos locais demonstrados (que são válidos) do tempo de coleta (que é suboptimal devido às restrições da interface) para permitir o controle síncrono de três braços.

Metodologia: TriManPolicy e DATS

Os autores propõem o TriManPolicy, um sistema que permite que um único operador demonstre comportamentos tri-manuais ao desacoplar o conteúdo do movimento do tempo global. O pipeline do sistema consiste em três estágios principais:

1. Coleta de Demonstração com Troca de Modo

Os operadores controlam dois dos três braços (Esquerdo, Direito ou Outro) em qualquer momento, alternando entre pares ({LR, LO, RO}) conforme necessário. Todos os estados do robô, observações e comandos são registrados sob um relógio unificado, registrando o par de teleoperação ativo em cada passo de tempo (timestep).

2. Anotação de Subtareca e Construção de Grafo

Para cada episódio registrado, um Modelo de Linguagem-Visão (VLMs) propõe limites de segmentação, braços necessários e relações de predecessores. Anotadores humanos revisam e refinam esses dados em um grafo de tarefa $G_n = (V_n, E_n)$, onde:

• Nós ($V_n$): Representam subtarefas temporalmente localizadas com durações fixas, conjuntos de braços necessários e rótulos semânticos opcionais.
• Arestas ($E_n$): Codificam dependências de término-para-início (pré-requisitos da tarefa) e restrições de recursos (por exemplo, um braço não pode ser usado por dois segmentos simultaneamente).
• Distinção Chave: O grafo distingue entre ordenações exigidas pela tarefa (que devem ser preservadas) e serializações induzidas pela interface (que podem ser relaxadas).

3. Escalonamento de Três Braços Consciente de Dependências (DATS)

A principal inovação, DATS, trata o reajuste temporal das demonstrações como um problema de escalonamento com restrições. Ele recebe os segmentos sensoriomotores de duração fixa e os reposiciona em uma nova linha do tempo global para minimizar o makespan (tempo de conclusão) do episódio, satisfazendo:

• Restrições de Precedência: Se o segmento $A$ deve preceder $B$, $A$ deve terminar antes de $B$ começar.
• Exclusividade de Recurso: Um único braço não pode executar dois segmentos simultaneamente.
• Objetivo: Maximizar a concorrência de segmentos de braços disjuntos que não possuem caminho de dependência, efetivamente "paralelizando" a demonstração.

Processo de Reajuste Temporal (Retiming):
O DATS computa um escalonamento ideal usando CP-SAT (Google OR-Tools). Ele aplica um mapa de tempo progressivo para deslocar os carimbos de tempo de todas as mensagens dentro de um segmento por um deslocamento constante. Isso preserva o tempo sensoriomotor local dentro de cada segmento enquanto altera o alinhamento global entre os braços. Os dados reajustados resultantes treinam uma política síncrona única que controla todos os três braços conjuntamente.

4. Aprendizado de Política

O sistema treina uma política de transformer de blocos de ação (action-chunked transformer policy). Dada uma observação $o_t$, a política prevê uma sequência de ações sincronizadas para os três braços com horizonte-$H$. Crucialmente, o objetivo de treinamento minimiza a mesma função de perda tanto para os dados brutos quanto para os dados DATS, mas as janelas de supervisão conjunta diferem: o DATS coloca alvos de braços cruzados compatíveis dentro da mesma janela de treinamento, enquanto os dados brutos frequentemente pareiam o progresso em um braço com esperas ociosas em outros.

Principais Contribuições

1. Formulação do Problema: Estende a imitação por teleoperação para configurações onde os canais de manipulação do robô excedem a capacidade de controle simultâneo do operador, especificamente formulando o problema para três braços cooperativos.
2. Algoritmo DATS: Introduz uma abordagem baseada em escalonamento para o reajuste temporal de demonstrações. Ele preserva as dependências de tarefas e as restrições de recursos de braço enquanto relaxa as serializações impostas pela interface, permitindo que movimentos independentes de braços se sobreponham.
3. Avaliação do Sistema: Treina e avalia políticas síncronas de três braços em seis tarefas desafiadoras do mundo real, demonstrando que os dados reajustados levam a uma execução mais rápida sem sacrificar as taxas de sucesso.

Resultados Experimentais

O sistema foi avaliado em seis tarefas do mundo real (ex: TowelHang, BinTowel, BagTape) usando 237 demonstrações processadas e 300 testes com robô real (25 testes por tarefa por condição).

• Taxas de Sucesso: As políticas treinadas com DATS alcançaram contagens de sucesso iguais ou superiores em comparação com as políticas de referência (Brutas/Raw) em todas as seis tarefas.
• Tempo de Conclusão: As políticas DATS reduziram significativamente o tempo médio de conclusão para os testes bem-sucedidos em todas as tarefas, com reduções variando de 31,3% a 49,9%. O tempo macro-médio agregado caiu de 83,1s (Referência) para 47,8s (DATS).
• Análise Offline:
  • Duração: Em algumas tarefas (ex: TowelHang, BinTowel), o DATS encurtou a linha do tempo do episódio ao remover intervalos ociosos.
  • Cobertura de Janela Conjunta (Co-Window Coverage): Em todas as tarefas, o DATS aumentou significativamente a cobertura de janela conjunta (a fração de pares de segmentos de braços cruzados elegíveis que aparecem na mesma janela de treinamento). Por exemplo, em TrayWipe, a cobertura saltou de ~9,5% (Bruto) para ~71,2% (DATS) com mudança negligente na duração total. Isso indica que o DATS altera com sucesso o que a política aprende a fazer simultaneamente, não apenas quão rápido ela o faz.

Significância e Alegações

O artigo afirma que o tempo de supervisão é um fator crítico no aprendizado de imitação tri-manual. Ao tratar o estágio de troca de modo como uma propriedade da linha do tempo de treinamento, em vez de uma restrição que a política implantada deve herdar, o TriManPolicy permite que um único operador demonstre comportamentos complexos e concorrentes de três braços.

Os autores enfatizam que:

• O conteúdo sensoriomotor local das demonstrações permanece válido e útil, mesmo quando seu tempo global é suboptimal.
• O DATS reconstrói efetivamente o tempo global para alinhar-se com as dependências de tarefas e recursos disponíveis, evitando que a política aprenda atrasos desnecessários.
• A abordagem não requer grafo de dependência ou escalonador durante a implantação; a política aprendida atua diretamente em observações síncronas ao vivo, tendo internalizado os padrões de execução concorrente durante o treinamento.

Os resultados demonstram que separar o conteúdo da demonstração do tempo de coleta permite o controle tri-manual síncrono e eficiente usando dados coletados via teleoperação por pares padrão.