Resumo Técnico: Aprendizado de Imitação Tátil de Multiresolução para Manipulação Robótica Rica em Contato (MiTaS)

Declaração do Problema

A manipulação robótica em ambientes ricos em contato (ex: inserção, montagem, limpeza) frequentemente falha ao depender exclusivamente da visão devido a oclusões e à incapacidade de perceber dinâmicas de contato sutis. Embora sensores táteis baseados em visão (ex: GelSight) forneçam informações espaciais de alta resolução sobre a geometria do contato, eles operam em taxas de quadros padrão (ex: 25 Hz) e têm dificuldade em capturar eventos rápidos como impactos, deslizamento incipiente ou vibrações de alta frequência. Por outro lado, sensores táteis baseados em eventos (ex: Evetac) oferecem alta resolução temporal para capturar essas dinâmicas rápidas, mas carecem da geometria espacial densa fornecida por sensores baseados em quadros. Os atuais frameworks de aprendizado de imitação tipicamente dependem de uma única modalidade tátil, falhando em aproveitar as forças complementares de sensores heterogêneos operando em diferentes resoluções temporais.

Metodologia: Framework MiTaS

Os autores propõem o Multi-Resolution Tactile Sensing (MiTaS), um framework de representação projetado para fundir sensores táteis heterogêneos (visão RGB, GelSight e Evetac) para condicionar uma política de aprendizado de imitação por correspondência de fluxo (flow-matching).

1. Modalidades de Sensores e Entrada

O sistema integra três fluxos de sensoriamento distintos montados em uma garra:

• RGB Egocêntrico: Capturado por uma câmera montada no pulso (25 Hz), fornecendo contexto da cena e configuração mão-objeto.
• GelSight Mini: Um sensor tátil baseado em visão (25 Hz) que fornece dados espaciais de alta resolução sobre a geometria de contato local e deformação.
• Evetac: Um sensor tátil baseado em eventos (200 Hz) que captura dinâmicas de contato rápidas. Para alinhar com o passo de tempo da política, 16 quadros de eventos são empilhados por passo de observação.

2. Arquitetura

A arquitetia MiTaS emprega um caule CNN específico por modalidade seguido de fusão baseada em Transformer:

• Caules de Sensores: Cada modalidade é processada por um caule de Rede Neural Convolucional (CNN) dedicado para extrair representações de tokens.
  • RGB: Convoluções 2D com strides em quadros empilhados.
  • GelSight: Convoluções 2D espelhadas adaptadas para resolução retangular.
  • Evetac: Um caule de convolução 3D de 4 camadas que comprime conjuntamente as dimensões temporais e espaciais, refletindo a maior densidade temporal dos dados de eventos.
• Codificação Posicional e de Modalidade: Os tokens são aumentados com vetores posicionais aprendidos (codificando a localização dentro da grade do sensor) e embeddings específicos da modalidade (identificando a origem do sensor).
• Fusão de Sensores: As sequências de tokens aumentadas são processadas através de um codificador Transformer usando mecanismos de autoatenção de múltiplas cabeças (multi-head self-attention) e atenção cruzada (cross-attention). Isso permite a integração rica de características multissensoriais sem criar um gargalo de percepção.

3. Política: Correspondência de Fluxo com Diffusion-Transformer (DiT)

Os tokens sensoriais fundidos condicionam um modelo generativo de Correspondência de Fluxo (Flow-Matching) para a geração de ações:

• Espaço de Ação: A política prevê uma sequência de comandos delta (translação $\Delta x, \Delta y, \Delta z$ e yaw $\Delta \psi$) no referencial local do robô.
• Treinamento: O modelo aprende a regredir um campo de velocidade alvo ao longo de um caminho de probabilidade de linha reta, do ruído aleatório até a sequência de ação demonstrada.
• Inferência: As ações são geradas integrando o campo de velocidade aprendido via integração de Euler explícita.
• Restrição: A política é agnóstica ao estado; ela não recebe o estado absoluto do robô ou propriocepção, forçando-a a inferir o movimento relativo apenas a partir de entradas sensoriais multimodais de alta dimensão.

4. Co-Treinamento Tátil Múltiplo

Para permitir a implantação com apenas um subconjunto de sensores (especificamente Visão + GelSight) enquanto aproveita os dados de alta frequência do Evetac durante o treinamento, os autores introduzem um esquema de co-treinamento assimétrico:

• Durante o treinamento, os lotes (batches) são construídos estocasticamente: 50% das sequências incluem dados do Evetac, enquanto 50% excluem o Evetac.
• Isso força a representação visual-tátil a aprender implicitamente e compensar as características de alta frequência ausentes, regularizando o modelo para atuar de forma robusta mesmo quando o codificador do Evetac é omitido durante a inferência.

Avaliação Experimental

O framework foi avaliado em um robô Franka Panda de 7 DoF em cinco tarefas desafiadoras ricas em contato:

1. Montagem de Engrenagem: Inserir uma engrenagem entre duas outras.
2. Limpeza de Placa: Manter a pressão de contato enquanto limpa uma linha.
3. Instalação de Lâmpada: Alinhar e parafusar uma lâmpada em um soquete.
4. Chave na Fechadura: Inserção precisa de uma chave em uma fechadura.
5. Conexão de Lâmpada (GU10): Alinhar e girar uma lâmpada GU10 em um soquete.

Resultados Principais

• Desempenho Geral: O MiTaS alcançou uma taxa de sucesso média de 80% em todas as tarefas.
• Baselines:
  • Sparsh-X (um baseline de transformer multimodal usando os mesmos sensores): Alcançou 54% de sucesso médio. Notavelmente, falhou em completar a tarefa "Chave na Fechadura", ficando preso no caminho da chave apesar de múltiplas tentativas.
  • Modelos Apenas de Visão (ViT/ViT-CNN): Alcançaram apenas 31% e 26% respectivamente, falhando completamente em tarefas que exigem inserções apertadas (Chave, Lâmpada) devido à oclusão e falta de feedback de contato.
• Ablação de Sensores:
  • Remover o Evetac (Visão + GelSight) reduziu o desempenho para 51% de média, confirmando o valor dos dados de alta frequência.
  • Remover o GelSight (Visão + Evetac) resultou em 37% de média, mostrando que a geometria espacial é crítica para o alinhamento inicial.
• Impacto do Co-Treinamento: O co-treinamento da política Visão+GelSight com dados do Evetac melhorou o desempenho em >10% em tarefas específicas (ex: Limpeza de Placa +15%, Lâmpada +25%), mesmo que o Evetac não fosse usado durante a avaliação.

Análise de Atenção

A visualização das pontuações de atenção cruzada revelou que a política desloca dinamicamente a dependência dos sensores com base na fase da tarefa:

• Alcance (Reaching): Atende primariamente à visão RGB.
• Parafusamento/Inserção: Desloca o foco para o GelSight para alinhamento geométrico.
• Eventos Críticos: Atende ao Evetac durante travamentos ou estados ambíguos (ex: distinguir entre pairar e estar totalmente inserido na tarefa da Lâmpada) para resolver a incerteza.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Arquitetura Inovadora: O primeiro trabalho a combinar um sensor tátil clássico baseado em quadros (GelSight) com um sensor tátil baseado em eventos (Evetac) usando um caule CNN específico por modalidade e fusão por transformer para lidar com diferentes resoluções temporais.
2. Esquema de Co-Treinamento: Um método para aproveitar dados sensoriais de alta frequência durante o treinamento para aumentar o desempenho de políticas visual-táteis padrão no tempo de inferência, sem exigir o sensor de alta frequência durante a implantação.
3. Dataset e Benchmark: Um novo dataset tátil de multiresolução cobrindo cinco tarefas de manipulação complexas, demonstrando que a fusão de multiresolução permite o controle robusto em cenários onde abordagens de visão pura ou de modalidade única falham.

Os autores enfatizam que, embora o framework mostre um forte desempenho, ele é atualmente limitado a ações de 4-DoF e depende de coleta de dados via teleoperação. Trabalhos futuros visam escalar para controle de 6-DoF e explorar uma integração de sensores mais ampla.