ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

Resumo Técnico do ShapeGrasp: Completamento de Forma e Garra Simultâneos Visuo-Hápticos para Manipulação Robótica Aprimorada

Declaração do Problema
A preensão robusta de objetos desconhecidos a priori permanece desafiadora quando os objetos são apenas parcialmente observados através de uma única visão RGB-D, resultando em grandes regiões ocluídas. Embora os métodos de completamento de forma possam inferir a geometria ausente, os modelos resultantes frequentemente contêm incerteza ou geometria alucinada, levando a falhas no planejamento da garra, particularmente com objetos complacentes. Inversamente, a preensão é uma interação informativa que fornece feedback tátil e restrições sobre o espaço ocupado pelo gripper (espaço livre). As abordagens existentes tratam o completamento de forma e a preensão como estágios separados ou dependem de loops de exploração háptica dedicados que são demorados. Os autores abordam a necessidade de um sistema que reconstrua simultaneamente um modelo 3D detalhado e execute agarres, utilizando o feedback das tentativas de preensão (sucesso ou falha) para refinar iterativamente o modelo do objeto e replanejar.

Metodologia
Os autores propõem o ShapeGrasp, um pipeline visuo-háptico iterativo que acopla o completamento de forma por superfície implícita com o planejamento de preensão baseado em física. O sistema opera em um ciclo fechado:

1. Representação do Objeto: O sistema representa o objeto como uma superfície implícita definida por uma Função de Distância com Sinal (SDF), $O = \{x \in \mathbb{R}^3 \mid f(x; \theta, z_r) = 0\}$. A entrada é uma nuvem de pontos agregada $X_r$ contendo a observação visual inicial, contatos táteis e restrições de espaço livre.
2. Completamento de Forma: O componente central é uma rede neural profunda baseada em Regularização Geométrica Implícita para Aprendizado de Formas (IGR). Ela otimiza um vetor latente $z_r$ para a instância específica do objeto para aproximar o SDF. A rede é treinada para minimizar a distância aos pontos observados e alinhar-se com as normais de superfície, enquanto um termo Eikonal regulariza a magnitude do gradiente.
3. Fusão de Dados:
   • Visual: Dados RGB-D iniciais de uma câmera fixa na mesa e dados opcionais de uma câmera no pulso.
   • Tátil: Quando os sensores do gripper entram em contato com o objeto, suas posições são computadas via cinemática direta e adicionadas como dados de nuvem de pontos.
   • Espaço Livre: O volume ocupado pelo corpo do gripper durante a aproximação é projetado como uma nuvem de pontos. Esses pontos são tratados como restrições que devem estar fora do objeto (distância com sinal positiva), impedindo que a rede alucine geometria no caminho do gripper.
4. Estimativa de Pose: Entre as iterações, a pose 6D do objeto é reestimada usando o alinhamento Iterative Closest Point (ICP) entre a nuvem de pontos segmentada atual e o referencial inicial, permitindo que novos dados sejam fundidos corretamente.
5. Geração de Garra: Um planejador de preensão baseado em física (usando PyBullet) gera candidatos a partir da malha triangular reconstruída. Ele amostra pontos de superfície, computa vetores de aproximação e simula a preensão (fechamento, levantamento e rotação) para avaliar a estabilidade. Uma pontuação de qualidade $q$ penaliza o deslizamento, o movimento do objeto e a falta de contato.
6. Loop Iterativo: O sistema tenta a preensão de maior qualidade e viável. Se a preensão falhar (o objeto desliza ou cai), o sistema detecta a falha, reestima a pose, atualiza o modelo de forma com os novos dados táteis e de espaço livre, e gera novos candidatos de preensão. O loop continua até que uma preensão bem-sucedida seja alcançada ou que o número máximo de iterações seja atingido.

Principais Contribuições

1. Pipeline Iterativo de Preensão e Completamento: Os autores apresentam a primeira abordagem, até onde se sabe, que atualiza representações de forma no mundo real após uma tentativa de preensão. O pipeline integra contatos táteis e restrições de espaço livre derivadas do gripper para refinar o modelo de objeto implícito e dispara o re-agarre após falhas.
2. Gerador de Proposta de Preensão Baseado em Física: Um gerador inovador que consome malhas triangulares reconstruídas e suporta grippers de múltiplos dedos via modelos URDF. Ele utiliza simulação de corpo rígido para avaliar a estabilidade da preensão, integrando-se estritamente com o output de completamento de forma.
3. Avaliação no Mundo Real: Experimentos extensos foram conduzidos em dois robôs diferentes (Kinova Gen3 e KUKA iiwa) com dois grippers distintos (Robotiq 2F-85 e Barrett Hand) equipados com sensores táteis. O estudo inclui uma análise de ablação de fontes de informação (apenas visual, espaço livre, tátil e combinados).
4. Código Aberto: O código e os dados foram disponibilizados publicamente.

Resultados
O método foi avaliado em 9 objetos do conjunto de dados YCB ao longo de 10 execuções por objeto.

• Taxa de Sucesso de Preensão (GSR): O ShapeGrasp alcançou taxas de sucesso superiores em comparação com as bases (HyperPCR, 3DSGrasp, VQDIF, VISHAC, etc.). Alcançou uma taxa de sucesso de 84% com a mão Barrett de três dedos e 91% com o gripper Robotiq 2F-85 de dois dedos.
• Qualidade do Completamento de Forma: O método superou as bases em métricas de Distância de Chamfer (CD) e Distância de Hausdorff (HD). Para o gripper Robotiq, o ShapeGrasp alcançou um CD de 18,64 mm comparado a 23,85 mm do melhor baseline (HyperPCR). A inclusão de dados táteis proporcionou uma melhoria estatisticamente significativa (aprox. 5,5% de melhoria média entre as métricas) em relação ao completamento apenas visual.
• Estudo de Ablação:
  • Dados Táteis: Melhoraram significativamente a qualidade da reconstrução e o sucesso da preensão.
  • Espaço Livre: Os resultados foram mistos; melhorou ligeiramente o desempenho para o gripper Robotiq, mas diminuiu o desempenho para o Barrett Hand, provavelmente porque o poderoso Barrett Hand poderia esmagar objetos complacentes, colocando restrições de "espaço livre" dentro do volume do objeto.
  • Câmera no Pulso: Forneceu as melhores métricas de reconstrução, mas não está sempre disponível; os dados táteis servem como uma alternativa robusta.
• Eficiência: Embora o método seja mais lento que alguns baselines baseados em aprendizado (aprox. 5s para completamento + planejamento vs. <1s para alguns baselines), ele oferece um pipeline unificado que não requer modelos pré-treinados para categorias específicas de objetos e lida com falhas dinamicamente.

Significância e Alegações
Os autores afirmam que o ShapeGrasp demonstra um "pipeline simbiótico" onde o completamento de forma e a preensão se reforçam mutuamente. A principal significância reside na capacidade de melhorar a representação da forma 3D após uma preensão no mundo real, uma capacidade que os autores afirmam ser única em sua abordagem. Ao tratar falhas de preensão como eventos informativos em vez de erros terminais, o sistema adapta seu modelo interno para reduzir a incerteza. Os autores observam que, embora o método atualmente priorize o recall sobre a precisão (levando a formas levemente "infladas"), ele consegue com sucesso altas taxas de sucesso de preensão e melhor qualidade de reconstrução do que métodos de estado da arte que dependem apenas de dados visuais ou loops de exploração háptica dedicados. O trabalho posiciona-se como um passo em direção à manipulação autônoma mais robusta em cenários que exigem conhecimento preciso das propriedades do objeto, como transferências de mão robô-humano ou tarefas de triagem.