A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning

Resumo Técnico: Um Sistema de Coleta de Dados Visuo-Tátil com Feedback Háptico para Aprendizado por Imitação de Grosso para Fino

Declaração do Problema
O aprendizado por imitação (IL) para manipulação rica em contato exige demonstrações humanas de alta qualidade que capturem tanto as forças de interação física quanto a estrutura temporal das tarefas (por exemplo, distinguir entre movimentos de aproximação grosseira e ajustes finos). Pipelines convencionais de coleta de dados sofrem com duas limitações primárias:

1. Háptica Desacoplada: Interfaces cinemáticas (por exemplo, alças de pistola) separam fisicamente o operador da extremidade do efetuador do gripper. Isso impede que o operador sinta as forças de contato, dificultando a demonstração da modulação de força sutil necessária para o controle de alta granularidade.
2. Falta de Anotação Estrutural: Sistemas existentes carecem de mecanismos integrados para que os operadores marquem regiões ou transições críticas da tarefa em tempo real. Consequentemente, os conjuntos de dados frequentemente carecem dos rótulos estruturais exigidos por algoritmos de aprendizado de grosso para fino, que dependem de anotações de fase ou região para modelar tarefas como fases sequenciais.

Metodologia
Os autores propõem um novo sistema de coleta de dados visuo-tátil projetado para abordar essas limitações por meio da interação direta humano-robô e anotação em tempo real.

• Design de Hardware:

  • Gripper de Acionamento Direto: O sistema utiliza um gripper personalizado de duas mandíbulas impresso em 3D, onde o operador aciona as mandíbulas diretamente com os dedos por meio de uma ligação mecânica compacta. Isso preserva o mapeamento natural entre o movimento do dedo e a largura do gripper, permitindo que o operador perceba a resistência induzida pelo contato e module a força naturalmente.
  • Sensoriamento Visuo-Tátil:
    • Visual: Uma câmera GoPro com lente olho de peixe é montada acima do gripper para fornecer uma visão em primeira pessoa com um amplo campo de visão, garantindo que o contexto seja preservado mesmo sob oclusão parcial.
    • Tátil: Sensores 3D-ViTac personalizados são montados nas superfícies internas de ambas as mandíbulas. Cada sensor consiste em uma folha piezorresistiva entre dois conjuntos ortogonais de fios condutores, formando uma matriz densa de $16 \times 16$. Essa configuração captura a presença de contato, a força normal e permite a reconstrução da geometria de contato, incluindo formas de superfície ocluídas da visão da câmera.
  • Interface de Anotação: Um botão de pressão montado no punho permite que o operador rotule regiões críticas da tarefa em tempo real. Um microcontrolador Arduino lê o estado do botão juntamente com dados táteis e visuais, registrando sinais carimbados com data e hora para alinhamento temporal preciso.

• Pipeline de Coleta e Processamento de Dados:

  • Sincronização: Durante uma demonstração, o sistema registra simultaneamente vídeo, matrizes táteis e estados do botão com carimbos de tempo precisos.
  • Pós-processamento: Após a coleta de dados, a pose de 6 graus de liberdade (6-DoF) do efetuador é estimada usando o algoritmo ORB-SLAM3 aplicado ao vídeo gravado. A largura do gripper é rastreada separadamente usando marcadores ArUco presos às mandíbulas.
  • Construção do Conjunto de Dados: Todas as modalidades (imagens RGB, pose de 6-DoF, largura do gripper, matrizes de força $16 \times 16$ e sinais de anotação binários) são sincronizadas usando seus carimbos de tempo para criar um conjunto de dados coerente e indexado no tempo.

• Representação de Dados:
  O conjunto de dados resultante consiste em sequências alinhadas no tempo, incluindo observações visuais, dados proprioceptivos, leituras táteis e rótulos de regiões críticas. O sistema demonstra essa capacidade em uma tarefa de inserção de brinquedo (agarrar uma chave de fenda hexagonal e inseri-la em um suporte inclinado), onde o operador rotula a fase "grosseira" (aproximação e agarramento) e a fase "fina" (alinhamento de precisão e inserção).

Principais Contribuições

1. Interface de Preservação Háptica: Um design de gripper de acionamento direto que permite aos operadores realizar manipulação rica em contato enquanto retêm o feedback háptico natural, facilitando a demonstração de modulação de força sutil.
2. Anotação Temporal In-Situ: Um mecanismo de rotulagem em tempo real que permite aos operadores marcar explicitamente transições de tarefa (por exemplo, comutação de grosso para fino), gerando conjuntos de dados compatíveis com algoritmos de aprendizado de grosso para fino.
3. Sincronização Multimodal: Um pipeline que funde a percepção de força na mão (via 3D-ViTac) com anotações temporais in-situ, produzindo conjuntos de dados estruturados que capturam tanto a geometria de contato quanto informações de fase da tarefa.

Resultados e Demonstrações
O artigo apresenta um resumo de uma única demonstração de uma tarefa de inserção de brinquedo para ilustrar a saída do sistema. Os dados coletados incluem:

• Visualização de Trajetória: Trajetórias de posição 3D estimadas via SLAM, destacando intervalos críticos (por exemplo, folga apertada durante a inserção).
• Feedback Tátil: Visualizações de impressões táteis mostrando a forma da chave de fenda durante o agarramento e a aproximação, fornecendo sinais diretos para ângulos de inserção corretos que são difíceis de inferir apenas a partir de imagens.
• Estrutura Temporal: Segmentação clara da tarefa em fases grosseiras e finas com base nas entradas do botão do operador, visualizada juntamente com a largura do gripper e marcadores de evento (agarramento, aproximação, inserção).

Significado e Alegações
Os autores afirmam que este sistema fornece uma ferramenta valiosa para avançar a pesquisa em manipulação robótica ao abordar a lacuna na qualidade dos dados para tarefas ricas em contato. Especificamente, o sistema permite o desenvolvimento de políticas de manipulação de alta qualidade ao:

• Facilitar algoritmos de aprendizado de grosso para fino que exploram conhecimento estrutural da tarefa (anotações de fase/região).
• Apoiar pesquisas em aprendizado de restrições inversas, onde restrições são recuperadas a partir de demonstrações.
• Habilitar aprendizado por imitação assistido por modelos de linguagem grandes fornecendo dados multimodais ricos e estruturados.

O artigo enfatiza que, ao preservar a percepção háptica natural e capturar explicitamente a estrutura temporal, o sistema supera as limitações das interfaces desacopladas convencionais, permitindo a coleta de demonstrações que são tanto fisicamente precisas quanto estruturalmente informativas.