HOGraspFlow: Taxonomy-Aware Hand-Object Retargeting for Multi-Modal SE(3) Grasp Generation

Resumo Técnico do HOGraspFlow

Declaração do Problema
O artigo aborda o desafio de reorientar demonstrações de interação mão-objeto (HOI) humanas para efetuadores finais de mandíbula paralela (PJ) robóticos. Abordagens existentes frequentemente dependem de um proxy simplificado "polegar-indicador", que colapsa a diversidade da taxonomia de preensão humana e negligencia o fechamento de força dependente do contato, limitando-as a preensões do tipo pinça. Por outro lado, métodos recentes de geração de preensão multi-encarnação são tipicamente centrados no objeto, exigindo priores geométricos 3D confiáveis (por exemplo, SDFs, nuvens de pontos) e estimativa de pose no momento do teste. Essas dependências geométricas tornam-nos frágeis a artefatos de sensoriamento (por exemplo, profundidade ausente, reflexos especulares) e incapazes de explorar diretamente dados de vídeo "in-the-wild", onde a geometria do objeto é desconhecida ou pouco confiável. O problema central é desenvolver um framework baseado em visão que possa gerar preensões PJ executáveis 6-DoF multi-modais a partir de um único quadro RGB sem modelos de objeto explícitos, preservando ao mesmo tempo a diversidade de intenções de preensão humana e semânticas de contato.

Metodologia
Os autores propõem o HOGraspFlow, um framework de reorientação centrado em affordance que sintetiza poses de preensão SE(3) usando correspondência de fluxo de remoção de ruído (FM). O pipeline opera da seguinte forma:

1. Percepção e Extração de Características:

   • O sistema recebe uma única imagem RGB de uma demonstração de HOI.
   • Utiliza o WiLoR, um reconstrutor fundamental de mãos, para extrair parâmetros MANO (pose e forma) e caixas delimitadoras da mão.
   • Em vez de depender de malhas de objetos, o método extrai semântica visual do recorte mão-objeto usando o DINOv2, um modelo fundamental de visão, para obter tokens de patch que são invariantes à aparência e categoria do objeto.
   • Essas características visuais são fundidas com parâmetros da mão via auto-atenção para criar um descritor compacto consciente de HOI.

2. Sinais de Condicionamento:
   O processo generativo é condicionado a três sinais complementares derivados do descritor:

   • Semântica Visual: As características do DINOv2 fornecem contexto sobre a interação.
   • Reconstrução de Contato: Um decodificador leve prevê logits de contato por vértice na malha da mão, respondendo "onde preender" sem exigir entrada explícita de contato.
   • Priori Consciente de Taxonomia: Um classificador de tipo de preensão (treinado na taxonomia GRASP) produz uma distribuição de probabilidade sobre 33 tipos de preensão. Isso é mapeado para um livro de códigos aprendível para fornecer um priori categórico, respondendo "como preender" e regularizando a distribuição de poses reorientadas.

3. Síntese Generativa (SE(3)):

   • O framework introduz dois modelos generativos: HOGraspDiff (baseado em difusão baseada em pontuação) e HOGraspFlow (baseado em correspondência de fluxo).
   • Ambos os modelos operam na variedade SE(3) para gerar poses de preensão PJ diversas e multi-modais.
   • O HOGraspFlow é destacado por sua estabilidade. Ao contrário de modelos baseados em pontuação que aprendem uma função de pontuação sob uma perturbação de explosão de variância (levando a deriva de escala), a Correspondência de Fluxo aprende um campo de velocidade determinístico. Isso desacopla a translação e a rotação, reduzindo a instabilidade de otimização e melhorando a eficiência de amostragem.
   • Orientação: O processo de geração incorpora orientação suave para alinhar o eixo de aproximação da garra com o eixo da palma da mão e usa orientação sem classificador para direcionar a distribuição.

4. Implantação:

   • As poses geradas estão inicialmente no quadro do pulso da mão.
   • Para mapear para o quadro do mundo, o sistema usa a pose global da mão do WiLoR.
   • Um refinamento "Z-only ICP" (Ponto Mais Próximo Iterativo) é aplicado para corrigir o viés de translação ao longo do raio da câmera, compensando erros de estimativa de profundidade monocular sem exigir configurações de múltiplas visões.

Principais Contribuições

1. Framework Baseado em Visão e Centr em Affordance: Uma abordagem inovadora que gera preensões PJ 6-DoF multi-modais a partir de um único quadro RGB sem exigir geometria 3D de objeto explícita ou estimativa de pose, dependendo em vez disso de características visuais fundamentais e reconstrução de mão.
2. Arquiteturas Generativas Duplas: A introdução do HOGraspDiff e do HOGraspFlow para reorientação SE(3) baseada em visão. O artigo demonstra que a Correspondência de Fluxo oferece fidelidade distribucional superior e estabilidade de otimização em comparação com a Difusão Baseada em Pontuação neste contexto.
3. Integração de Taxonomia e Contato: O método integra explicitamente o reconhecimento de taxonomia de preensão e a reconstrução de contato como sinais de condicionamento, permitindo que o sistema reconheça diversos tipos de preensão e mantenha alta precisão de contato sem entradas de contato verdadeiras durante a inferência.
4. Validação no Mundo Real: Implantação bem-sucedida em um robô UR10e com uma garra Robotiq 2F-85, demonstrando transferência robusta para objetos diversos (incluindo itens fora da distribuição) com altas taxas de sucesso.

Resultados

• Simulação (Conjunto de Dados HOGraspNet):
  • O HOGraspFlow superou o HOGraspDiff e outras bases. Com DINOv2 e o livro de códigos de taxonomia, o HOGraspFlow alcançou uma Precisão de Taxonomia (TA) de 92,5% e Precisão de Contato (CA) de 88,1%.
  • A Distância do Transportador de Terra (EMD) para o HOGraspFlow foi de 0,67, significativamente menor (melhor) do que a variante baseada em pontuação (0,80) e a base sem características visuais (0,81).
  • Estudos de ablação confirmaram que as semânticas visuais (DINOv2) são críticas para a compreensão semântica, superando um "oráculo de contato" (que usa rótulos de contato verdadeiros) na classificação de tipos de preensão, sugerindo que pistas visuais são mais discriminativas para taxonomia do que o contato sozinho.
• Experiências no Mundo Real:
  • O sistema alcançou uma taxa geral de sucesso de preensão de 83,8% (67/80 tentativas) em vários objetos, incluindo ferramentas e itens domésticos.
  • Superou significativamente uma abordagem padrão de modelo polegar-indicador (33/80) e uma base GraspNet-1B baseada em nuvem de pontos (53/80), particularmente no manuseio de objetos com geometrias desafiadoras ou artefatos de sensoriamento.
  • O método demonstrou robustez a oclusões e especularidades onde métodos centrados em geometria falharam.

Significado
O artigo afirma que o HOGraspFlow representa uma mudança da geração de preensão centrada no objeto para a centrada na intenção. Ao aproveitar a assimetria entre alta variabilidade de objetos e intenções de preensão humana restritas, o método alcança reorientação confiável sem a fragilidade de priores geométricos. Os autores enfatizam que a Correspondência de Fluxo fornece um caminho de otimização mais estável e eficiente para geração de pose SE(3) em comparação com modelos de difusão tradicionais. O trabalho demonstra que a síntese de preensão multi-modal de alta fidelidade é alcançável diretamente a partir de vídeo monocular, permitindo que robôs aprendam com demonstrações humanas diversas e "in-the-wild" sem a necessidade de reconstrução 3D precisa dos objetos-alvo.