Resumo Técnico: HRDexDB

Definição do Problema

Capacitar robôs a alcançarem uma destreza de nível humano é um objetivo central na robótica. Embora a manipulação humana forneça uma fonte natural de demonstrações, a transferência dessas habilidades para robôs é dificultada pelo "gap de incorporação" (embodiment gap). Mãos humanas e robóticas diferem significamente em morfologia, cinemática e atuação, levando a padrões de contato e estratégias de preensão distintos. Este gap é ainda mais complicado quando se transfere habilidades entre diferentes incorporações de mãos robóticas, pois cada uma impõe restrições físicas únicas.

Os conjuntos de dados existentes falham em abordar adequadamente este desafio. A maioria dos conjuntos de dados de interação humano-objeto (HOI) foca apenas em mãos humanas, muitas vezes carecendo de informações 3D ou rastreamento de objetos. Por outro lado, os conjuntos de dados robóticos focam tipicamente na execução robótica, frequentemente deixando o movimento do objeto parcialmente rastreado ou carecendo de demonstrações humanas pareadas. Embora alguns trabalhos recentes tentem coletar dados pareados humano-robô, eles geralmente carecem de cobertura multi-incorporação, observações RGB sem marcadores ou sinais táteis. Consequentemente, há uma falta de conjuntos de dados abrangentes e pareados que capturem comportamentos de preensão comparáveis entre mãos humanas e múltiplas e diversas incorporações robóticas sobre objetos compartilhados.

Metodologia: Construção do HRDexDB

Para abordar estas limitações, os autores introduzem o HRDexDB, um conjunto de dados de manipulação destreosa pareado e de cross-embodiment (entre diferentes corpos).

Sistema de Coleta de Dados

O conjunto de dados foi capturado usando um sistema multimodal sincronizado composto por:

• 23 Câmeras: Um suporte de 21 câmeras RGB exocêntricas sincronizadas ao redor do espaço de trabalho e 2 câmeras estéreo egocêntricas (uma para ensaios robóticos e um capacete customizado para demonstrações humanas).
• Incorporações Robóticas: Quatro mãos robóticas destreosas foram utilizadas: Allegro Hand V4, Allegro Hand V5 Plus, Inspire Hand RH56DFTP e Inspire Hand RH56F1.
• Sujeitos Humanos: Demonstrações humanas foram registradas simultaneamente às execuções robóticas.
• Teleoperação: As preensões robóticas foram realizadas via teleoperação usando um traje de captura de movimento inercial Xsens e luvas MANUS, mapeando os movimentos do pulso e dos dedos humanos para o robô.
• Protocolo: Foi empregado um protocolo de dois estágios. Um sujeito humano primeiro realizou uma preensão natural em um objeto alvo. Um teleoperador então observou esta demonstração e realizou uma preensão semanticamente correspondente com a incorporação robótica, preservando a intenção enquanto permitia diferenças de morfologia e tempo específicas da incorporação.

Pipeline de Reconstrução

As gravações multi-view brutas foram processadas para gerar uma verdade fundamental (ground truth) 3D de alta fidelidade:

1. Reconstrução da Mão Humana: Utilizando o modelo paramétrico MANO, os keypoints 2D foram detectados via HaMeR, triangulados e otimizados para parâmetros de pose. A forma específica do sujeito foi calibrada usando alinhamento de silhueta com máscaras geradas pelo SAM3.
2. Rastreamento 6D do Objeto: Um pipeline baseado em modelos estimou as poses do objeto ($SE(3)$). Mapas de profundidade densos foram estimados usando FoundationStereo, máscaras de objeto via SAM3 e poses 6D via FoundationPose. A consistência geométrica entre vistas foi imposta renderizando malhas de objetos em todas as vistas de câmera para minimizar o desalinhamento de silhueta e reduzir o drift.
3. Sinais Táteis: Sinais de força de contato foram registrados a partir de pontas de dedos com capacidade tátil.

Estatísticas do Conjunto de Dados

• Objetos: 100 objetos diversos (com malhas de alta qualidade), expandindo-se para 1.000.
• Sequências: 2.1K ensaios de preensão.
• Frames: 24 milhões de frames.
• Modalidades: RGB sincronizado (23 vistas), movimento de mão 3D (parâmetros MANO), estados do robô, poses 6D do objeto, sinais táteis e anotações de sucesso/falha.

Principais Contribuições

1. Primeiro Conjunto de Dados Destreoso Pareado Humano-Robô: O HRDexDB é o primeiro dataset a fornecer capturas de manipulação destreosa pareadas, sem marcadores, entre humano e múltiplos robôs sobre objetos compartilhados, apresentando RGB multi-view sincronizado, anotações 3D e sinais táteis.
2. Novo Sistema de Captura e Reconstrução: Os autores apresentam uma solução de hardware e software dedicada para superar os desafios do rastreamento 3D sincronizado de mão-robô-objeto sob severas oclusões, incluindo um suporte de 21 câmeras e um pipeline de reconstrução unificado.
3. Estabelecimento de Benchmarks de Aplicação (Downstream): O artigo estabelece quatro benchmarks específicos para validar a utilidade do dataset:
   • Transferência de mapa de contato humano-para-robô.
   • Recuperação de preensão cross-embodiment.
   • Estimativa de pose de mão 3D sob preensão destreosa.
   • Estimativa de pose 6D de objeto sob preensão humana e robótica.

Resultados Experimentais

1. Transferência de Mapa de Contato Humano-para-Robô

Os autores treinaram um modelo para prever mapas de contato específicos do robô a partir de padrões de contato humanos.

• Resultado: O uso de mapas de contato transferidos ("Transferred-Contact") melhorou significamente as taxas de sucesso de preensão em comparação com a otimização direta contra mapas de contato humanos ("Human-Contact").
• Métricas: Em experimentos no mundo real, as taxas de sucesso aumentaram de 66,7% para 73,3% para a mão Inspire e de 63,3% para 80,0% para a mão Allegro. Isso demonstra que aprender estratégias de contato específicas do robô a partir de dados pareados é mais eficaz do que a imitação direta.

2. Recuperação de Preensão Cross-Embodiment

Um modelo de recuperação estilo CLIP foi treinado para aprender um espaço latente compartilhado para preensões humanas e robóticas.

• Resultado: O modelo recuperou com sucesso preensões robóticas pareadas a partir de consultas humanas significativamente acima do acaso.
• Métricas: Para a recuperação Humano $\to$ Inspire, o Recall@1 foi de 36,36% e o Recall@5 foi de 100%. Para Humano $\to$ Allegro, o Recall@1 foi de 24,24% e o Recall@5 foi de 72,73%.
• Utilidade Downstream: A inicialização da otimização de preensão (BODex) com preensões recuperadas superou tanto a inicialização vanilla quanto os baselines de retargeting cinemático, particularmente em taxas de sucesso de nível de episódio (até 93,94% para Allegro).

3. Benchmark de Estimativa de Pose de Mão 3D

Modelos de reconstrução de mão estado-da-arte (ex: HaMeR, WiLoR) foram avaliados no HRDexDB.

• Resultado: Todos os modelos exibiram erros maiores no HRDexDB em comparação com o dataset FreiHAND, confirmando que o HRDexDB apresenta um benchmark mais desafiador devido às severas oclusões mão-objeto.
• Utilidade: O ajuste fino (fine-tuning) de modelos com dados do HRDexDB melhorou seu desempenho no benchmark FreiHAND, indicando que o HRDexDB fornece sinais de treinamento complementares e não redundantes.

4. Benchmark de Estimativa de Pose 6D de Objeto

Métodos de estimativa de pose 6D de objeto foram avaliados sob condições de preensão humana e robótica.

• Resultado: Todos os métodos performaram pior sob preensão robótica do que sob preensão humana, sugerindo que ligações robóticas rígidas introduzem ambiguidades visuais adicionais para a localização do objeto.
• Adaptação: O ajuste fino do refinador MegaPose com dados de preensão robótica do HRDexDB melhorou o ADD-S médio em 10,2% em um ambiente de preensão robótica mantido fora do treino (held-out), demonstrando o valor do dataset para adaptar a percepção a cenários centrados na interação.

Significância e Alegações

O artigo afirma que o HRDexDB serve como um benchmark fundamental para a manipulação destreosa cross-embodiment. Ao fornecer capturas estreitamente alinhadas da destreza humana e da execução robótica sobre os mesmos objetos alvo, ele permite o estudo de como as estratégias de preensão se transferem através de diferentes morfologias.

Os autores enfatizam que o HRDexDB não é meramente uma coleção de trajetórias, mas um recurso que suporta:

• Transferência baseada em dados: Indo além de correspondências pré-definidas para aprender estratégias de contato específicas do robô.
• Avaliação de percepção: Fornecendo um banco de testes rigoroso para estimativa de pose 3D de mão e objeto em cenários altamente ocluídos e ricos em interação.
• Expansão futura: O conjunto de dados está atualmente sendo expandido para 1.000 objetos e tarefas funcionais mais complexas, visando facilitar pesquisas futuras em manipulação destreosa e aprendizado robótico.

Os autores reconhecem modestamente as limitações, especificamente a heterogeneidade dos sensores táteis entre as plataformas e o desafio contínuo de definir correspondências de trajetória funcionalmente equivalentes através de diferentes morfologias de mãos.