HOGraspFlow: Taxonomy-Aware Hand-Object Retargeting for Multi-Modal SE(3) Grasp Generation

HOGraspFlow 기술 요약

문제 정의
본 논문은 인간 손 - 물체 상호작용 (HOI) 데모를 로봇 병렬 턱 (PJ) 엔드 이펙터에 재할당하는 과제를 다룹니다. 기존 접근법은 종종 단순화된 "엄지 - 검지" 프록시에 의존하여 인간 그립 분류의 다양성을 축소하고 접촉 의존적 힘 폐쇄를 간과함으로써, 핀치형 그립에 국한되는 한계를 보입니다. 반면, 최근의 다중 구현체 그립 생성 방법들은 일반적으로 물체 중심적이며, 신뢰할 수 있는 3D 기하학적 사전 지식 (예: SDF, 점 구름) 과 테스트 시 자세 추정이 필요합니다. 이러한 기하학적 의존성은 센싱 아티팩트 (예: 결손된 깊이, 정반사) 에 취약하게 만들고, 물체 기하학이 알려지지 않거나 신뢰할 수 없는 "현장 (in-the-wild)" 비디오 데이터를 직접 활용하지 못하게 합니다. 핵심 문제는 명시적인 물체 모델 없이 단일 RGB 프레임에서 다중 모달 실행 가능한 6 자유도 (6-DoF) PJ 그립을 생성하면서도 인간 그립 의도와 접촉 의미론의 다양성을 보존하는 비전 기반 프레임워크를 개발하는 것입니다.

방법론
저자들은 SE(3) 그립 자세를 딧노이징 플로우 매칭 (FM) 을 사용하여 합성하는 어포던스 중심 재할당 프레임워크인 HOGraspFlow를 제안합니다. 파이프라인은 다음과 같이 작동합니다:

1. 인지 및 특징 추출:

   • 시스템은 HOI 데모의 단일 RGB 이미지를 입력받습니다.
   • WiLoR(기초 손 재구성기) 을 활용하여 MANO 파라미터 (자세와 형태) 와 손 바운딩 박스를 추출합니다.
   • 물체 메쉬에 의존하는 대신, DINOv2(비전 기초 모델) 를 사용하여 손 - 물체 컷아웃에서 비전 의미론을 추출하여 물체 외관과 카테고리에 불변인 패치 토큰을 얻습니다.
   • 이러한 비전 특징은 자기 어텐션을 통해 손 파라미터와 융합되어 컴팩트한 HOI 인지 기술자 (descriptor) 를 생성합니다.

2. 조건부 단서:
   생성 과정은 기술자에서 유도된 세 가지 상호 보완적 단서에 조건부됩니다:

   • 비전 의미론: DINOv2 특징은 상호작용에 대한 맥락을 제공합니다.
   • 접촉 재구성: 경량 디코더는 손 메쉬에서 정점별 접촉 로그를 예측하여 명시적인 접촉 입력 없이 "어디를 그립할지"에 대한 답을 제공합니다.
   • 분류 인식 사전 지식: GRASP 분류에 대해 훈련된 그립 유형 분류기는 33 가지 그립 유형에 대한 확률 분포를 출력합니다. 이는 학습 가능한 코드북에 매핑되어 범주형 사전 지식을 제공하며, "어떻게 그립할지"에 대한 답을 제공하고 재할당된 자세의 분포를 정규화합니다.

3. 생성 합성 (SE(3)):

   • 프레임워크는 두 가지 생성 모델을 도입합니다: HOGraspDiff(점수 기반 확산 기반) 와 HOGraspFlow(플로우 매칭 기반).
   • 두 모델 모두 SE(3) 매니폴드에서 작동하여 다중 모달 PJ 그립 자세를 다양하게 생성합니다.
   • HOGraspFlow는 안정성으로 강조됩니다. 분산 폭발적 교란 하에서 점수 함수를 학습하는 점수 기반 모델 (규모 드리프트로 이어짐) 과 달리, 플로우 매칭은 결정론적 속도장을 학습합니다. 이는 병진과 회전을 분리하여 최적화 불안정성을 줄이고 샘플 효율성을 향상시킵니다.
   • 가이드: 생성 과정은 그리퍼 접근 축을 손의 손바닥 축과 정렬시키기 위해 소프트 가이드를 포함하며, 분류기 없는 가이드를 사용하여 분포를 조종합니다.

4. 배포:

   • 생성된 자세는 초기에 손의 손목 프레임에 있습니다.
   • 세계 프레임으로 매핑하기 위해 시스템은 WiLoR 의 글로벌 손 자세를 사용합니다.
   • "Z-만 ICP"(반복적 최단 거리) 정제가 카메라 광선을 따라 병진 편향을 수정하는 데 적용되어, 다중 뷰 설정 없이 단안 깊이 추정 오차를 보상합니다.

주요 기여

1. 비전 기반 어포던스 중심 프레임워크: 명시적인 3D 물체 기하학이나 자세 추정을 요구하지 않고 단일 RGB 프레임에서 다중 모달 6-DoF PJ 그립을 생성하는 새로운 접근법으로, 대신 기초 비전 특징과 손 재구성에 의존합니다.
2. 이중 생성 아키텍처: 비전 기반 SE(3) 재할당을 위한 HOGraspDiff와 HOGraspFlow의 도입. 본 논문은 이 맥락에서 플로우 매칭이 점수 기반 확산보다 우수한 분포 충실도와 최적화 안정성을 제공함을 입증합니다.
3. 분류 및 접촉 통합: 그립 분류 인식과 접촉 재구성을 조건부 신호로 명시적으로 통합하여, 추론 중 정답 접촉 입력 없이도 다양한 그립 유형을 인식하고 높은 접촉 정확도를 유지할 수 있게 합니다.
4. 실제 세계 검증: Robotiq 2F-85 그리퍼가 장착된 UR10e 로봇에서의 성공적인 배포로, 분포 외 항목을 포함한 다양한 물체에 대해 높은 성공률로 강력한 전이를 입증했습니다.

결과

• 시뮬레이션 (HOGraspNet 데이터셋):
  • HOGraspFlow는 HOGraspDiff 및 기타 베이스라인을 능가했습니다. DINOv2 와 분류 코드북을 사용하여 HOGraspFlow 는 분류 정확도 (TA) **92.5%**와 접촉 정확도 (CA) **88.1%**를 달성했습니다.
  • HOGraspFlow 의 지구 이동 거리 (EMD) 는 0.67로, 점수 기반 변형 (0.80) 과 비전 특징이 없는 베이스라인 (0.81) 보다 현저히 낮았습니다 (더 좋음).
  • 제거 분석은 비전 의미론 (DINOv2) 이 의미론적 이해에 필수적임을 확인했으며, 그립 유형 분류에서 정답 접촉 레이블을 사용하는 "접촉 오라클"보다 우수한 성능을 보였습니다. 이는 분류에 있어 접촉만으로는 구별력이 부족하며 비전 단서가 더 중요함을 시사합니다.
• 실제 세계 실험:
  • 시스템은 도구 및 가정용품을 포함한 다양한 물체에 대해 전체 그립 성공률 83.8% (80 회 중 67 회) 를 달성했습니다.
  • 표준 엄지 - 검지 템플릿 접근법 (80 회 중 33 회) 과 점 구름 기반 GraspNet-1B 베이스라인 (80 회 중 53 회) 보다 현저히 우수했으며, 특히 기하학적으로 까다롭거나 센싱 아티팩트가 있는 물체 처리에서 두드러졌습니다.
  • 이 방법은 기하학 중심 방법이 실패한 가림과 정반사에 대한 강인성을 입증했습니다.

의의
본 논문은 HOGraspFlow 가 물체 중심에서 의도 중심 그립 생성으로의 전환을 나타낸다고 주장합니다. 높은 물체 변이성과 제한된 인간 그립 의도 사이의 비대칭성을 활용함으로써, 이 방법은 기하학적 사전 지식의 취약성 없이 신뢰할 수 있는 재할당을 달성합니다. 저자들은 플로우 매칭이 전통적인 확산 모델에 비해 SE(3) 자세 생성에 더 안정적이고 효율적인 최적화 경로를 제공한다고 강조합니다. 이 연구는 고충실도 다중 모달 그립 합성이 단안 비디오에서 직접 달성 가능함을 보여주며, 로봇이 정밀한 3D 재구성이 필요 없이 다양한 현장 인간 데모에서 학습할 수 있게 합니다.