Resumo Técnico: Unindo Supervisão Manual e Teleoperada para Manipulação Rica em Contato via Especialistas com Portão de Estado

Declaração do Problema

O artigo aborda o compromisso fundamental entre escalabilidade e fidelidade na coleta de dados robóticos para tarefas de manipulação ricas em contato.

• Dados Manuais (ex: UMI): Sistemas como o Universal Manipulation Interface (UMI) permitem a coleta de dados escalável e "em campo" (in-the-wild), desacoplando a interface do hardware robótico específico. No entanto, eles capturam apenas ações observadas (o estado físico do dispositivo manual). Em fases sensíveis ao contato, essas ações observadas frequentemente divergem das ações desejadas (a trajetória de referência enviada ao controlador) devido à rigidez finita, filtragem e erros de rastreamento. Rastrear essas trajetórias observadas de forma ingênua com alta rigidez gera forças de contato inseguras e elevadas.
• Dados Teleoperados: Sistemas como GELLO ou ALOHA fornecem dados de alta fidelidade diretamente no robô, capturando ações desejadas. No entanto, coletar demonstrações de tarefas completas via teleoperação é proibitivamente demorado e carece da diversidade da coleta manual.

O problema central é que, embora os dados manuais sejam válidos para movimentos tolerantes a erros em espaço livre, eles falham em fornecer viabilidade dinâmica durante fases sensíveis ao contato. Por outro lado, misturar ações observadas e desejadas de forma ingênua em uma única política degrada o desempenho porque os sinais de supervisão são incompatíveis.

Metodologia: BRIDGE

Os autores propõem o BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts), uma arquitetura de política de difusão de mistura de especialistas projetada para aproveitar os pontos fortes complementares de ambas as fontes de dados.

1. Coleta de Dados de Modo Duplo (DM-UMI)

Os autores utilizam um dispositivo UMI modificado capaz de operação em modo duplo:

• Modo Manual (Handheld Mode): Coleta um conjunto de dados base de larga escala de ações observadas através de diversos ambientes para aprender o arcabouço geral da tarefa.
• Modo Teleoperado (Teleoperated Mode): Coleta um conjunto de dados de suporte esparso de ações desejadas, direcionado especificamente para segmentos da tarefa onde a política base falha (gargalos de contato).

2. Arquitetura

O modelo BRIDGE consiste em três estágios sequenciais de treinamento:

• Estágio 1: Treinamento da Política Base ($\pi_b$): Uma política de difusão é treinada no conjunto de dados base manual. A arquitetura utiliza um codificador de visão DINOv2 que retém todos os tokens de patch espacial (processados via um bloco Perceiver IO) em vez de apenas o token CLS, para raciocinar melhor sobre relações espaciais em tarefas ricas em contato. Esta política aprende a prever ações observadas.
• Estágio 2: Treinamento do Cabeçote de Suporte ($\pi_s$): Com o codificador de visão e a política base congelados, um novo adaptador latente e um cabeçote de difusão são treinados no conjunto de dados de suporte teleoperado. Este especialista aprende a prever ações desejadas (a trajetória de referência) especificamente para regimes sensíveis ao contato.
• Estágio 3: Treinamento do Roteador ($G_\psi$): Um portão (gate) MLP leve é treinado para rotear dinamicamente as observações para o especialista base ou para o de suporte. O roteador é treinado usando uma estratégia de rotulagem pseudo-etiqueta k-Vizinho Mais Próximo (k-NN) sobre representações latentes. Ele aprende a identificar quando o estado atual cai dentro do "manifold de suporte" (fases sensíveis ao contato) e alterna para o especialista de ação desejada.

3. Inferência

Durante a execução, o roteador realiza uma troca brusca (hard-switch) baseada no estado atual do robô. Se o estado for identificado como pertencente a uma fase sensível ao contato, o sistema roteia para o especialista de suporte para executar a trajetória de ação desejada. Caso contrário, utiliza o especialista base para movimento em espaço livre. Isso evita a média de distribuições de ação incompatíveis.

Principais Contribuições

1. Formalização da Validade da Ação: O artigo demonstra que ações observadas são suficientes para movimentos em espaço livre tolerantes a erro, mas falham durante fases sensíveis à força, onde ações desejadas são necessárias para uma execução precisa e complacente.
2. Arquitetura BRIDGE: A introdução de uma política de difusão de mistura de especialistas com portão que aprende conjuntamente de fontes de supervisão heterogêneas (ação observada vs. desejada) ao rotear com base na validade local da ação.
3. Estratégia Híbrida Eficiente: Evidência empírica de que aumentar os dados manuais escaláveis com um pequeno número de demonstrações teleoperadas direcionadas melhora significamente as taxas de sucesso em tarefas ricas em contato sem o custo de uma teleoperação de tarefa completa.

Resultados Experimentais

O método foi avaliado em três tarefas de manipulação ricas em contato usando um braço Franka FR3: NIST Pulley Routing, Pipe Insertion e Spring-Loaded Battery Insertion.

• Ganhos de Desempenho: O BRIDGE superou consistentemente as linhas de base apenas manuais, melhorando as taxas de sucesso em até 36,7% nas três tarefas.
  • NIST Pulley: Melhorou de 44,0% (Manual) para 76,0% (BRIDGE), aproximando-se dos 84,0% da teleoperação total.
  • Pipe Insertion: Melhorou de 13,3% (Manual) para 50,0% (BRIDGE), fechando a lacuna para o limite superior de 63,3% da teleoperação.
  • Battery Insertion: Melhorou de 10,0% (Manual) para 33,3% (BRIDGE).
• Falha da Mistura Ingênua: Uma linha de base de "Mistura Ingênua" (Naive Mix), que simplesmente combinou rótulos observados e desejados em uma única política, teve um desempenho pior do que a linha de base apenas manual (ex: 0% de sucesso em Pulley Routing), confirmando a incompatibilidade dos sinais de supervisão sem o portão (gating).
• Eficiência de Dados: Os dados de suporte direcionados cobriram menos de 15% do comprimento do caminho do efetuador final em termos de distância espacial, mas recuperaram até 79% da lacuna de desempenho em relação ao limite superior da teleoperação total.
• Desempenho do Roteador: O roteador alcançou 99,0% de recall e 69,0% de precisão na tarefa de inserção de tubo, identificando efetivamente as fases de contato sem falsos negativos.

Significância e Alegações

O artigo afirma que o BRIDGE fornece um mecanismo prático para especializar o comportamento do robô através das fases da tarefa. Ao separar os cabeçotes de ação observada e desejada, a abordagem permite o uso de dados manuais escaláveis e de baixo custo para aprender a estrutura geral da tarefa, reservando a teleoperação de alta fidelidade e alto custo para os gargalos específicos onde a dinâmica de contato exige controle preciso.

Os autores enfatizam que esta abordagem reduz o "gap de incorporação" (embodiment gap) entre a coleta de dados manual e a execução no robô. Eles observam que, embora a teleoperação total permaneça como o limite superior dentro do domínio, ela é frequentemente impraticável devido aos encargos cognitivos e físicos. O BRIDGE oferece um meio-termo, permitindo a manipulação rica em contato de alto desempenho com um esforço de coleta de dados significativamente reduzido em comparação com a teleoperação total, evitando ao mesmo tempo a degradação de desempenho associada à mistura ingênua de dados.

O artigo permanece modesto quanto às suas limitações, reconhecendo que a abordagem atual depende da identificação empírica de modos de falha, que a troca brusca (hard-switching) pode introduzir descontinuidades de controle e que a escalabilidade do método para tarefas de longo horizonte com múltiplos regimes de contato requer investigação adicional.