Resumo Técnico: Transferindo Contato, Não Apenas Movimento

Declaração do Problema

A manipulação de destreza requer mais do que apenas prever o movimento dos dedos; exige a regulação ativa das forças de contato para lidar com deslizamentos, deformações e auto-oclusão. Políticas de cross-embodiment existentes unificam com sucesso a intenção de movimento por meio de poses retargetadas ou espaços de ação latentes, mas falham em transferir o feedback de contato. O feedback de força permanece vinculado à sensoriamento e atuação específicos de cada mão (por exemplo, sinais de esforço brutos ou proxies táteis), tornando impossível comparar a carga entre mãos robóticas heterogêneas. Consequentemente, políticas treinadas em uma mão não conseguem se generalizar para outra quando as pistas visuais estão ocluídas ou quando a regulação precisa de força é necessária para objetos frágeis.

Metodologia

1. Interface Unificada Força-Posição

A principal contribuição é uma interface transferível que desacopla a intenção de movimento da carga de contato, expressando ambos em unidades físicas comparáveis.

• Intenção de Movimento Compartilhada: A pose da mão é representada em um latente de pose MANO ($\psi \in \mathbb{R}^{15}$). Este vetor de baixa dimensão é aprendido uma única vez a partir de dados de luvas humanas e mapeado para a configuração de juntas de qualquer mão específica ($q^{(h)}$) via um mapa de retargeting específico da mão ($R_h$) que otimiza a posição das pontas dos dedos e a forma dos dedos.
• Canal de Contato Calibrado: Em vez de usar o esforço bruto, o sistema realiza identificação de sistema para mapear proxies de esforço específicos da mão para torques de junta físicos ($\tau^{(h)}$ em N·m). A partir desses torques, o sistema deriva:
  • Forças nas Pontas dos Dedos ($f_t$): Calculadas via a inversa de mínimos quadrados do Jacobiano translacional.
  • Descritores de Torque Espacial ($\gamma_t$): Um conjunto compacto de três escalares ($c, \rho, \ell$) que codifica a localização do contato ao longo do dedo, a distribuição da carga entre as juntas e a parcela lateral da força.
    Isso permite que a política observe "onde a mão deve se mover" e "como o objeto é carregado" em um sistema de coordenadas unificado, independentemente da implementação específica da mão.

2. MARC: Política Reativa Complacente Sensível a Máscaras

Os autores introduzem o MARC, uma política de flow-matching baseada em uma arquitetura de Diffusion Transformer (DiT).

• Entradas: A política é condicionada a uma tupla de estado unificada $s_t$ contendo pose do efetuador final, posições das pontas dos dedos, forças calibradas ($f_t$), descritores de torque espacial ($\gamma_t$) e o latente de pose compartilhado ($\psi_t$).
• Mascaramento Visual Estruturado: Durante o treinamento, tokens visuais (patches ou fluxos de câmera inteiros) são substituídos aleatoriamente por embeddings de máscara aprendidos. Isso força a política a confiar na força e propriocepção quando a evidência visual está ausente ou não confiável (por exemplo, durante a auto-oclusão), em vez de aprender a ignorar os dados de força.
• Objetivo de Treinamento: A política prevê vetores de velocidade para transportar uma fonte de ruído Gaussiano para um chunk de ação alvo, minimizando a perda de flow-matching.

3. Pipeline de Execução Híbrida

O sistema não depende de uma única política end-to-end para tarefas de longo horizonte. Em vez disso, ele compõe primitivas aprendidas com controladores baseados em modelos:

• Alcançar-e-Levantar (Reach-and-Lift): Executado pelo MARC, lidando com a fase sensível ao contato do agarrar e o levantamento inicial.
• Transporte: Gerenciado por um regulador de pegada constante que utiliza um controlador híbrido de força-posição. Ele mantém uma pegada mínima estável e se aperta automaticamente com base no torque calibrado se o transporte carregar o objeto.
• Entrega (Handover): Controlado por um controlador de admitância de efetuador final que cede ao braço e abre a mão proporcionalmente aos wrenches externos.
• Lógica do Controlador: O controlador de baixo nível rastreia uma pose comandada, mas aplica uma correção de "recuo de um lado só" baseada no torque calibrado. Se o torque de contato exceder um alvo, o controlador abre a junta; caso contrário, segue o comando de pose. Isso garante complacência sem levar a mão para dentro do objeto.

Principais Contribuições

1. Representação de Contato Transferível: Um método para converter sinais de esforço específicos da mão em torques de junta calibrados, forças nas pontas dos dedos e descritores de carga compactos, tornando o feedback de contato fisicamente comparável entre diferentes mãos destras.
2. Interface Unificada Força-Posição: Um framework que combina a intenção de pose da mão compartilhada com o feedback de contato calibrado, permitindo o controle complacente entre implementações heterogêneas.
3. Política e Pipeline MARC: Uma política de flow-matching sensível a máscaras treinada em visão, propriocepção e contato calibrado, integrada com primitivas baseadas em modelos para manipulação de longo horizonte (alcançar, transportar, entregar) sem necessidade de retreinamento específico para a tarefa.

Resultados Experimentais

O sistema foi avaliado em um humanoide Unitree G1 equipado com três mãos estruturalmente diferentes (Wuji, Wuji12 e Inspire) através de dez tarefas envolvendo objetos rígidos e complacentes/deformáveis (ex: ovos, pães brioche, copos empilhados).

• Ganho de Desempenho: O MARC melhorou a taxa de sucesso média de alcance-e-levantamento de 0.44 (baseline sDiT) para 0.71 em todas as mãos e tarefas.
• Melhorias Específicas:
  • Inspire: 0.54 $\to$ 0.84
  • Wuji: 0.48 $\to$ 0.79
  • Wuji12: 0.29 $\to$ 0.51
  • Casos Críticos: Os ganhos mais significativos foram observados na tarefa "Marker" (escorregadia, ocluída), onde as taxas de sucesso saltaram de 0.2/0.1 para 1.0/0.9 para Inspire e Wuji, respectivamente.
• Ablação: Remover o canal de contato calibrado fez o desempenho em objetos rígidos colapsar de volta para o baseline (0.48), confirmando que o ganho é impulsionado pelo canal de força, não apenas pela arquitetura ou mascaramento.
• Generalização Zero-Shot: A política transferiu-se com sucesso para uma configuração Wuji15 não vista (15-DoF) sem retreinamento, alcançando taxas de sucesso dentro de 0.1 dos resultados da Wuji in-distribution.

Significância e Alegações

O artigo afirma que o contato em si é transferível quando expresso em unidades físicas (torque e força) em vez de proxies específicos da mão. Ao unificar a intenção de movimento e a carga de contato em uma interface compartilhada, o sistema permite a transferência de habilidades de manipulação destra entre mãos estruturalmente diferentes. Os autores enfatizam que esta abordagem permite uma interação estável e complacente em tarefas de longo horizonte, particularmente em cenários onde o feedback visual é insuficiente devido à oclusão ou deformação do objeto. O trabalho demonstra que uma única política, treinada em contato calibrado, pode comandar hardware heterogêneo sem exigir treinamento de modelo por mão ou ajuste fino específico para a tarefa.