Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation

1. Problema e Motivação

A tarefa de inserção robótica (como encaixar um pino em um orifício) é um desafio clássico de manipulação rica em contato. Embora as políticas baseadas apenas em visão (usando CNNs ou Vision Transformers) sejam eficazes para alinhamento global e localização de objetos, elas falham frequentemente em capturar interações físicas sutis, como micro-deslizamentos, compliance (flexibilidade) e desalinhamentos durante o contato. Além disso, a visão é sensível a oclusões e iluminação.

Por outro lado, o sensoriamento tátil fornece dados locais precisos sobre estados de contato e forças. No entanto, estudos anteriores (como o TacSL) mostraram que a fusão "naiva" (simples concatenação) de dados visuais e táteis muitas vezes não traz melhorias consistentes ou até degrada o desempenho. O desafio central reside em sincronizar representações heterogêneas e explorar a complementaridade das modalidades sem diluir os sinais específicos de cada uma.

2. Metodologia Proposta

Os autores propõem um framework de fusão visuo-tátil consciente da simetria e informado pela física, baseado em três pilares principais:

A. Codificação Tátil com Priors de Simetria

Para estabilizar as representações táteis, o modelo introduz um pré-processamento baseado em forças residuais.

• Forças Residuais: As forças brutas dos dedos esquerdo e direito são subtraídas de um sinal de referência calibrado (obtido antes do contato), permitindo que a política aprenda com base em desvios do estado nominal.
• Regularização de Simetria Bilateral: Inspirado no controle motor humano (onde o equilíbrio de forças bilaterais garante estabilidade), o modelo aplica uma perda auxiliar que força a consistência entre os mapas táteis dos dois dedos. O mapa do dedo direito é invertido verticalmente e comparado ao do esquerdo, penalizando assimetrias que não sejam fisicamente justificadas. Isso reduz o desalinhamento lateral e previne o "travamento" (jamming) durante a inserção.

B. Transformer Multimodal Cruzado (CMT)

A arquitetura central é um Cross-Modal Transformer (CMT) que substitui a concatenação simples por mecanismos de atenção estruturados:

• Auto-Atenção Intra-modal: Aplica-se atenção sobre as características táteis combinadas para normalizar a assimetria antes da fusão.
• Atenção Cruzada (Cross-Attention): A visão atua como query (fornecendo contexto global e orientação de alinhamento), enquanto o tátil atua como key e value (fornecendo correções locais de alta precisão). Isso permite que a política integre o contexto global com feedback físico local de forma hierárquica.

C. Otimização da Política

A política é treinada usando o algoritmo PPO (Proximal Policy Optimization). O objetivo de treinamento combina a recompensa da tarefa (sucesso na inserção) com a regularização de simetria física:
$$\mathcal{L} = \mathcal{L}_{PPO} + \lambda_{sym}\mathcal{L}_{sym}$$
Onde $\mathcal{L}_{sym}$ é a perda de erro quadrático médio entre as representações táteis simétricas.

3. Contribuições Principais

1. Novidade Metodológica: Introdução do CMT para fusão visuo-tátil, resolvendo desafios de sincronização através de atenção hierárquica (auto e cruzada).
2. Regularização Informada pela Física: Implementação de uma restrição de simetria de força bilateral como um viés indutivo físico. Isso estabiliza as representações táteis e melhora a robustez do agarramento e da inserção, imitando princípios de controle motor humano.
3. Validação Experimental: Demonstração de que a fusão estruturada supera significativamente as abordagens de concatenação naiva e fusão com portões (gated), alcançando desempenho próximo ao de configurações "privilegiadas" (que usam dados de força de contato de alta fidelidade não disponíveis em cenários reais).

4. Resultados Experimentais

Os experimentos foram realizados no benchmark TacSL (tarefa de inserção de pino) e em uma tarefa adicional de rosca (screw task).

• Taxa de Sucesso na Inserção:
  • A política com CMT + Regularização de Simetria alcançou 96,59% de sucesso.
  • Isso supera a fusão naiva (92,97%) e a fusão com portões (94,53%).
  • O desempenho é quase idêntico à configuração "privilegiada" de "Câmera de pulso + Força de contato" (96,09%), demonstrando que o modelo aprende a extrair benefícios equivalentes a sensores de força ideais usando apenas dados de imagem e táteis.
• Análise Qualitativa:
  • A fusão proposta mantém distribuições de força bilaterais equilibradas durante toda a inserção, resultando em trajetórias mais retas e suaves.
  • Em contraste, a fusão naiva apresenta desequilíbrios de força significativos, levando a correções instáveis e oscilações.
• Eficiência Computacional:
  • O CMT tem uma latência ligeiramente maior (6,52 ms) comparado à fusão naiva (5,42 ms), mas ainda opera bem dentro dos requisitos de tempo real (>150 fps), justificando o custo computacional pelo ganho substancial de desempenho.
• Tarefa de Rosca (Screw Task):
  • Em uma tarefa de rosca, a política apenas tátil alcançou 100% de sucesso, superando até mesmo a linha de base privilegiada, reforçando que o sensoriamento tátil de alta resolução pode ser a modalidade primária para tarefas de contato fino.

5. Significado e Conclusão

Este trabalho estabelece que o sensoriamento tátil é indispensável para o alinhamento preciso em manipulação rica em contato. A principal inovação não é apenas a fusão de dados, mas a forma como ela é feita: ao incorporar princípios físicos (simetria bilateral) diretamente no processo de aprendizado, o modelo estabiliza as representações táteis e permite que a visão e o tato trabalhem de forma sinérgica.

O framework proposto oferece uma solução robusta para a lacuna entre políticas baseadas apenas em visão e aquelas que dependem de sensores de força privilegiados, pavimentando o caminho para políticas de manipulação robótica mais gerais e adaptáveis a cenários de montagem do mundo real.