Resumo Técnico: Heterogeneous Tactile Transformer (HTT)

1. Definição do Problema

A sensação tátil é essencial para a manipulação robótica rica em contato (ex: agarrar objetos frágeis, montagem de precisão), mas a escala do aprendizado tátil permanece um gargalo significativo. Diferente das câmeras, os sensores táteis são inerentemente heterogêneos: eles diferem fundamentalmente em mecanismos de transdução, estruturas de dados e formatos de saída.

• Sensores ópticos (ex: GelSight, 9DTact) capturam informações espaciais e geométricas ricas por meio da deformação do elastômero, mas são frequentemente limitados pelas taxas de quadros das câmeras.
• Sensores baseados em matrizes (ex: Xela, Tac-02) fornecem sinais temporais de alta taxa e medições diretas de força/pressão, mas oferecem menor resolução espacial.

Os métodos atuais de aprendizado de representação focam amplamente em sensores ópticos ou tratam os sensores de forma isolada. Modelos treinados em uma modalidade não podem ingerir diretamente dados de outra, impedindo a criação de políticas de manipulação unificadas e agnósticas ao sensor. Há uma carência de conjuntos de dados de larga escala e sincronizados que pareiem essas modalidades distintas, e nenhum framework existente aprende efetivamente representações compartilhadas entre elas.

2. Metodologia

2.1 O Conjunto de Dados Heterogeneous Paired Tactile (HPT)

Para enfrentar a escassez de dados, os autores construíram o conjunto de dados Heterogeneous Paired Tactile (HPT) utilizando uma configuração de Interface de Manipulação Universal (UMI).

• Escala: 1,6 milhão de quadros pareados sincronizados.
• Sensores: Quatro sensores distintos: dois ópticos (GelSight Mini, 9DTact) e dois baseados em matrizes (Xela, Tac-02).
• Coleta: Os sensores foram montados em lados opostos dos dedos de uma garra para capturar propriedades de contato simultâneas durante interações com objetos do cotidiano.
• Componentes: O conjunto de dados inclui:
  • Dados de Interação Não Rotulados: Para pré-treinamento autossupervisionado (movimentos de pressionar, girar, deslizar).
  • Classificação de Objetos: 20 objetos distintos com geometrias e texturas variadas.
  • Estimativa de Força: Rótulos de força 6-D sincronizados coletados via um dispositivo de sondagem com um sensor de força/torque (F/T) externo.
  • Detecção de Deslizamento (Slip): Rótulos derivados de séries temporais do coeficiente de fricção, categorizados em deslizamento estático, incipiente e bruto.

2.2 Arquitetura Heterogeneous Tactile Transformer (HTT)

O HTT é um framework autossupervisionado projetado para aprender um espaço latente compartilhado entre sensores heterogêneos. Ele adota um design de Autoencoder de Máscara (MAE) com os seguintes componentes:

1. Codificadores Específicos do Sensor ($E_i$):
   • Para sensores ópticos: Codificadores Vision Transformer (ViT) processando patches espaciais.
   • Para sensores de matriz: Transformers de atenção self-attention processando patches temporais de séries temporais multidimensionais.
   • As entradas são segmentadas (patchified) e normalizadas antes da codificação.
2. Tronco Transformer Compartilhado ($T$): Um backbone unificado que processa as embeddings de tokens de todos os sensores em um espaço latente comum.
3. Decodificadores Específicos do Sensor ($D_i$): Utilizados durante o pré-treinamento para reconstruir os tokens de entrada mascarados.
4. Preditores Cross-Modais ($P_{ij}$): Transformers de atenção cruzada que predizem as embeddings do sensor alvo mascarado usando as embeddings do sensor de origem e as embeddings visíveis do alvo.

2.3 Objetivo de Pré-treinamento

O modelo é treinado usando uma função de perda conjunta combinando dois objetivos:

1. Reconstrução de Máscara por Modalidade ($L_{MAE}$): Incentiva cada sensor a extrair características estruturais e físicas robustas ao reconstruir sua própria entrada mascarada.
2. Alinhamento Cross-Modal ($L_{Align}$): Treina o modelo para prever as embeddings do sensor alvo mascarado a partir da embedding completa do sensor de origem e das embeddings visíveis do alvo. Isso alinha modalidades díspares no espaço latente compartilhado.
   • Um stop-gradient é aplicado ao alvo para evitar o colapso da representação.
   • A perda de alinhamento é ponderada por um coeficiente dependente do tempo ($\alpha_t$), começando em 0 (warmup) para permitir o desenvolvimento de características específicas do sensor antes de aumentar.
     Durante as tarefas downstream, os decodificadores e preditores são descartados; apenas os codificadores de sensores e o tronco compartilhado são utilizados.

3. Principais Contribuições

1. Dataset HPT: Um conjunto de dados de larga escala (1,6M de quadros), sincronizado, pareando sensores táteis ópticos e baseados em matrizes, permitindo o estudo do aprendizado de representação tátil heterogênea.
2. Framework HTT: Uma arquitetura autossupervisionada que combina a reconstrução estilo MAE com a predição bidirecional cross-sensor para aprender representações transferíveis entre diferentes tipos de sensores.
3. Avaliação Abrangente: Validação extensa através de tarefas de percepção (classificação, estimativa de força, detecção de deslizamento) e tarefas de manipulação (simuladas e no mundo real), demonstrando a capacidade do framework de se generalizar para novos sensores e tarefas.

4. Resultados Experimentais

4.1 Tarefas de Percepção Tátil

• Classificação de Objetos: O HTT superou o baseline "Scratch" em todos os quatro sensores. Nos sensores ópticos, o HTT superou os baselines mais fortes de apenas um tipo de sensor (T3, SITR) por margens significativas (ex: +13,5% no 9DTact, +17% no GSMini). O alinhamento cross-modal melhorou o desempenho nos sensores ópticos, mas mostrou resultados mistos nos sensores de matriz (regressão leve no Xela), atribuído ao desequilíbrio de informação entre as modalidades.
• Estimativa de Força e Detecção de Deslizamento: O HTT superou substancialmente os baselines em todos os sensores. Métodos de pré-treinamento apenas de sensores ópticos (T3, SITR) frequentemente falharam em transferir para tarefas sensíveis à força, enquanto o HTT manteve um desempenho robusto. O alinhamento cross-modal foi particularmente eficaz para a detecção de deslizamento, melhorando significativamente os escores macro-F1 (ex: +12,0% no TAC-02) ao vincular pistas de força e espaciais complementares.

4.2 Tarefas de Manipulação Robótica

• Experimentos no Mundo Real (Mão Sharpa em Braço Franka):
  • Tarefas: "Toy Screw" (apertar um parafuso) e "Grasp Tofu" (levantar tofu macio sem esmagar).
  • Configuração: Adaptação zero-shot usando embeddings do HTT de um sensor (codificador 9DTact) não visto durante o pré-treinamento.
  • Resultados: Políticas usando embeddings do HTT superaram significativamente as que usavam apenas vetores de wrench 6-D ou posições de junta.
    • Toy Screw: O HTT alcançou 95% de sucesso vs. 50% para políticas baseadas em wrench. Os autores atribuem isso à capacidade do HTT de representar características de contato espacial (localização e deslocamento de contato) necessárias para o regrip cíclico, que vetores de força brutos não conseguem capturar.
    • Grasp Tofu: O HTT alcançou 55% de sucesso vs. 35% para políticas baseadas em wrench, reduzindo as taxas de deslizamento em um terço e eliminando falhas por esmagamento.
• Tarefas Simuladas (ManiFeel): As embeddings do HTT melhoraram as taxas de sucesso nas tarefas de Inserção de Pino (Peg Insertion) e Instalação de Lâmpada (Bulb Installation) em comparação aos baselines, confirmando a utilidade de embeddings de contato agnósticos ao sensor.

5. Significância e Alegações

O artigo afirma que o pré-treinamento heterogêneo pareado é um caminho prático para o aprendizado de representação tátil geral e agnóstica ao sensor.

• Transferibilidade: O HTT aprende representações que se adaptam a novas tarefas e sensores previamente não vistos sem exigir pré-treinamento específico para cada sensor.
• Aprendizado de Política: O framework fornece representações de contato mais ricas do que leituras de força brutas, impulsionando diretamente o desempenho de políticas de manipulação ricas em contato.
• Escalabilidade: Ao unir a lacuna entre sensores ópticos e baseados em matrizes, o HTT aborda um gargalo crítico na escala do aprendizado tátil, indo além das limitações de conjuntos de dados de modalidade única.

Os autores observam limitações, incluindo o foco atual apenas em famílias ópticas e de matriz, a falta de estudos de pareamento dentro da mesma família e a ausência de um alinhamento explícito do espaço geométrico entre os patches dos sensores. Trabalhos futuros visam estender o alinhamento para outras modalidades de sensoriamento e refinar a supervisão cross-modal.