ViTac-Tracing: Visual-Tactile Imitation Learning of Deformable Object Tracing

1. Problema e Contexto

A manipulação de objetos deformáveis (como cabos, cordas, toalhas e roupas) é um desafio significativo na robótica devido à sua configuração não estruturada e graus de liberdade (DoF) efetivamente infinitos. O artigo foca especificamente na tarefa de rastreio (tracing), que consiste em deslizar um efetuador final (garra) ao longo da borda de um objeto deformável (1D linear ou 2D planar) para transformá-lo de um estado amontoado para um estado estendido.

Desafios Principais:

• Generalização: Métodos existentes baseados em modelos exigem modelagem precisa de cada objeto, dificultando a criação de um controlador único para diferentes categorias.
• Transferência Sim-to-Real: Métodos baseados em Aprendizado por Reforço (RL) frequentemente falham na transição da simulação para o mundo real devido a lacunas de modelagem e recompensas difíceis de projetar.
• Percepção Limitada: A visão sozinha é insuficiente devido a oclusões causadas pelos dedos durante a manipulação, tornando difícil manter o contato estável e evitar que o objeto escorregue.
• Sistemas de Teleoperação: A maioria dos sistemas de baixo custo não inclui feedback tátil, o que prejudica a qualidade dos dados de demonstração coletados por humanos.

2. Metodologia

O trabalho propõe uma abordagem de Aprendizado por Imitação (IL) visual-tátil unificada para rastrear tanto objetos 1D quanto 2D.

A. Sistema de Teleoperação Visual-Tátil

Para coletar dados de demonstração de alta qualidade, os autores desenvolveram um sistema de teleoperação de baixo custo e alta fidelidade:

• Robô: Um braço robótico bimanual ABB YuMi.
• Sensores: Integração de um sensor tátil baseado em visão (derivado do GelSight Wedge) nos dedos da garra do robô seguidor e uma câmera estéreo ZED 2 para visão global.
• Feedback Multimodal para o Operador: O operador humano recebe, em tempo real, o fluxo de imagens visuais e táteis. Além disso, motores de vibração são acionados quando o robô se aproxima de configurações singulares (perda de destreza), alertando o operador para evitar movimentos problemáticos.

B. Arquitetura de Aprendizado (Policy Learning)

O modelo utiliza uma rede baseada em Transformer (especificamente o algoritmo Action Chunking Transformer - ACT) que recebe observações e prevê uma sequência de ações futuras.

• Entradas: Cinemática do robô, imagens visuais e imagens táteis.
• Representação: O modelo utiliza poses do efetuador final (EE poses) em vez de ângulos das juntas, pois isso alinha melhor a entrada com o objetivo da tarefa no espaço cartesiano.

C. Funções de Perda Inovadoras

Para melhorar o desempenho, foram introduzidas duas funções de perda específicas além da perda de reconstrução padrão:

1. Perda de Centro Local (Local Center Loss):
   • Objetivo: Garantir que o ponto de contato entre o objeto e a garra permaneça próximo ao centro da imagem tátil.
   • Mecanismo: Um fator de peso é aplicado à perda de reconstrução, penalizando ações que deslocam o contato para as bordas do sensor tátil (onde o risco de deslizamento é maior). Isso incentiva ajustes finos para manter a estabilidade.
2. Perda de Tarefa Global (Global Task Loss):
   • Objetivo: Regular o progresso da tarefa e garantir que o rastreamento pare no local correto (ex: fim de um cabo ou canto de uma toalha).
   • Mecanismo: Uma ramificação adicional na rede prevê um "índice de conclusão" (com base na distância percorrida em relação ao comprimento total). Isso ajuda o modelo a aprender quando parar, evitando paradas prematuras ou excessos.

3. Contribuições Chave

1. Modelo Unificado: Primeiro trabalho a propor um modelo único capaz de rastrear tanto objetos deformáveis 1D (cabos) quanto 2D (tecidos) usando uma política de imitação.
2. Sistema de Teleoperação Multimodal: Desenvolvimento de um sistema de teleoperação acessível que integra feedback visual e tátil (imagens + vibração), melhorando a qualidade e consistência dos dados de demonstração.
3. Estratégias de Perda Específicas: Introdução da Local Center Loss e Global Task Loss para resolver problemas críticos de estabilidade de contato e precisão de término de tarefa.
4. Validação Experimental: Demonstração robusta em objetos vistos e não vistos, validando a generalização do método.

4. Resultados Experimentais

Os experimentos foram realizados em quatro objetos "vistos" (tênis, cabo trançado, toalha facial, pano de microfibra) e dois objetos "não vistos" (corda sintética, guardanapo de algodão).

• Taxa de Sucesso:
  • Objetos Vistos: 80% de taxa de sucesso média.
  • Objetos Não Vistos: 65% de taxa de sucesso média, demonstrando boa capacidade de generalização.
• Análise de Ablação:
  • A remoção da informação tátil aumentou significativamente a taxa de queda de objetos (dropping), confirmando o papel crucial do tato na estabilidade.
  • A remoção da informação visual aumentou o "over-tracing" (passar do ponto final), mostrando que a visão é essencial para o progresso global da tarefa.
  • A remoção da Center Loss aumentou a taxa de queda, enquanto a remoção da Task Loss aumentou falhas de terminação (parar cedo ou passar do ponto).
• Representação de Propriocepção: Modelos treinados com poses do efetuador final (Cartesian Space) superaram os treinados com ângulos das juntas (Joint Space), alcançando 80% de sucesso contra 70%, devido a ajustes mais finos e menos ambiguidade.

5. Significado e Conclusão

O ViTac-Tracing representa um avanço significativo na manipulação de objetos deformáveis ao demonstrar que é possível criar uma política unificada para diferentes geometrias (1D e 2D) sem depender de modelagem física complexa ou simulações perfeitas.

A integração de feedback tátil e visual em um sistema de teleoperação de baixo custo permite a coleta de dados de alta qualidade, essenciais para o aprendizado por imitação. A abordagem proposta resolve o dilema entre a necessidade de ajustes locais precisos (tato) e o planejamento global (visão), oferecendo uma solução robusta para tarefas do mundo real como gerenciamento de cabos e manuseio de tecidos. O código, dados e demonstrações estão disponíveis publicamente, facilitando a reprodução e o avanço futuro na área.