Resumo Técnico: BeingBeyond – Pré-treinamento Tátil Transferível para Manipulação Robótica Destreza

1. Declaração do Problema

Embora a percepção visual seja dominante na robótica, o sensoriamento tátil é fundamental para a manipulação complexa, detalhada e destreza, particularmente em cenários envolvendo oclusão, ambiguidade ou interações frágeis. No entanto, a área enfrenta dois gargalos primários:

1. Escassez de Dados: Coletar dados táteis em robôs reais é caro, dependente de hardware e difícil de escalar devido à integração não unificada de sensores e à intensidade de trabalho da teleoperação.
2. Limitações Arquiteturais: Os modelos existentes de Visão-Linguagem-Ação (VLA) com modalidades táteis são frequentemente limitados por um pós-treinamento agnóstico à dinâmica. Essa abordagem sofre de um descompasso de distribuição entre o pré-treinamento (frequentemente apenas visão) e o pós-treinamento (incluindo tato), limitando a capacidade do modelo de aprender a dinâmica de contato e se generalizar entre diferentes formas corporais (embodiments).

Os métodos atuais de transferência humano-para-robô negligenciam amplamente a modalidade tátil, focando em vez disso na visão e ação, deixando uma lacuna no aprendizado de controle de contato refinado a partir de demonstrações humanas.

2. Metodologia

O artigo propõe o Pré-treinamento Tátil Transferível (TTP), um sistema projetado para construir a ponte entre demonstrações humanas e execução robótica através de pré-treinamento tátil em larga escala. A metodologia consiste em três componentes principais:

A. H-Tac: Um Conjunto de Dados Tátil de Grande Escala

Para enfrentar a escassez de dados, os autores construíram o H-Tac, um conjunto de dados de grande escala contendo 160 horas de vídeos egocêntricos humanos contendo mais de 300 tarefas e 135.000 episódios. O conjunto de dados é composto por três subconjuntos:

• HOI-Tac: Derivado de 12 conjuntos de dados públicos (ex: ARCTIC, DexYCB, OakInk), gerando rótulos de contato binário por vértice na malha da mão MANO projetados em um espaço UV unificado de 351 taxels.
• DeskTask-Tac: Coletado via um sistema customizado usando câmeras RealSense e luvas táteis (pipelines RawHand e AprilTag) para capturar manipulação bimanual em cenários de mesa.
• InternData-Tac: Aumentado a partir do pipeline InternDataEngine, projetando manchas de contato em uma superfície MANO compartilhada para permitir a supervisão entre diferentes formas corporais (cross-embodiment).

B. Espaço de Ação e Tátil Unificado

Para preservar o conhecimento durante a transferência humano-para-robô, o TTP emprega um espaço de representação unificado:

• Espaço de Ação Unificado: Um espaço de 200 dimensões abrangendo poses do efetuador final, juntas de mãos destras e parâmetros da mão MANO humana (forma $\beta$ e articulação $\theta$).
• Espaço Tátil Unificado: Baseado no UniTacHand, mapeando sensores táteis heterogêneos de várias formas corporais (mãos humanas, mãos robóticas piezoresistivas, garras visuo-táteis) em uma superfície MANO padronizada de 351 taxels. Isso garante a consistência morfológica entre as fases de pré-treinamento (humano) e pós-treinamento (robô).

C. Arquitetura de Pré-treinamento de Especialista Duplo

O modelo estende o modelo fundamental VLA BeingH-0.5 com um sistema de especialista duplo treinado via flow matching:

1. Especialista de Compreensão: Processa entradas visuais, textuais e proprioceptivas.
2. Especialista de Ação: Prediz futuros blocos de ação ($A_t$).
3. Especialista Tátil: Prediz explicitamente futuros sinais táteis ($O^+_t$).

O objetivo de treinamento minimiza a perda de flow matching tanto para as predições de ação quanto de tato. Para garantir estabilidade e robustez contra mudanças de distribuição, o sistema introduz o Portão de Preservação de Manifold Tátil-Ação (MPG). O MPG computa um portão de confiabilidade baseado na distância de Wasserstein fatiada entre o contexto atual e os âncoras de ação/tato livres de ruído, modulando o aprimoramento residual para evitar predições instáveis quando o contexto é pouco confiável.

3. Principais Contribuições

1. Conjunto de Dados H-Tac: A coleta e disponibilização do H-Tac, um conjunto de dados de demonstração humana egocêntrica de grande escala com anotações densas de tato e ação, fornecendo um recurso crítico para o pré-treinamento condicionado pelo tato.
2. Framework TTP: O primeiro sistema que aproveita o pré-treinamento tátil com demonstrações centradas no humano, permitindo que modelos VLA adquiram priors fundamentados no tato em escala antes do pós-treinamento específico para robôs.
3. Desempenho de Transferência Superior: Demonstração de que o TTP alcança desempenho superior em tarefas relevantes ao tato no mundo real, exibindo fortes capacidades de transferência entre diferentes formas corporais e habilidades de manipulação refinadas que superam as linhas de base não pré-treinadas e sem tato.

4. Resultados Experimentais

Benchmarks de Simulação

Avaliado em LIBERO, LIBERO-plus e RoboCasa, o TTP alcançou desempenho estado da arte ou comparável às linhas de base (ex: OpenVLA, $\pi0.5$, BeingH-0.5), apesar do aumento do ônus computacional da modalidade tátil. Notavelmente, o TTP mostrou melhor generalização em configurações zero-shot (LIBERO-plus) e desempenho robusto através de diversas categorias de tarefas no RoboCasa.

Experimentos com Robôs Reais

Experimentos foram conduzidos em diversas plataformas (Franka, Realman) e efetuadores (mãos Inspire, garras DM-Tac, mãos DexBotic) através de nove tarefas, variando de descascamento fino ao manuseio rico em contato de itens frágeis.

• Desempenho: O TTP superou significativamente as linhas de base (incluindo $\pi0.5$ e BeingH-0.5) em todas as categorias.
  • Refinado (Fine-Grained): Alcançou 96,7% de progresso médio (vs. 57,3% para BeingH-0.5).
  • Rico em Contato e Frágil: Alcançou 79,2% de sucesso (vs. 9,2% para BeingH-0.5).
  • Defeito de Visão: Alcançou 37,8% de sucesso (vs. 15,6% para BeingH-0.5).
• Estudos de Ablação:
  • A remoção do MPG Tátil-Ação ou do Especialista Tátil aumentou os erros de predição de movimento, confirmando a necessidade de ambos os módulos.
  • Experimentos de escala mostraram que o aumento do tamanho do conjunto de dados de pré-treinamento reduziu linearmente os erros de predição, validando a escalabilidade da abordagem.
  • A comparação do TTP contra o TTP sem pré-treinamento confirmou que a fase de pré-treinamento tátil fornece o conhecimento prévio essencial para uma transferência eficaz humano-para-robô.

5. Significância e Alegações

O artigo afirma que o TTP pavimenta o caminho para o pré-treinamento tátil escalável via transferência humano-para-robô. Ao unificar os espaços tátil e de ação e aproveitar grandes volumes de dados humanos, o sistema consegue construir a ponte entre a compreensão de tarefas de alto nível e o controle de contato de baixo nível e refinado. Os autores sustentam que sua abordagem modela efetivamente a dinâmica de contato e as interações físicas, permitindo que robôs realizem tarefas delicadas (ex: descascar rabanetes, dobrar papel, manusear chips) com um nível de precisão e robustez anteriormente inalcançável com métodos baseados apenas em visão ou apenas em pós-treinamento tátil. O trabalho demonstra que os dados táteis centrados no humano são um recurso viável e poderoso para treinar políticas robóticas generalizáveis.