FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation

1. 문제 정의 (Problem Statement)

최근 비전 - 언어 - 액션 (VLA) 모델들은 로봇의 엔드 이펙터 (End-effector) 궤적을 생성하는 데 성공했으나, 접촉이 풍부한 (contact-rich) 장기 작업 (long-horizon tasks) 에서는 실패하는 경우가 많습니다. 그 주요 원인은 다음과 같습니다:

• 명시적 상호작용 구조의 부재: VLA 모델은 손 - 물체 상호작용 (HOI) 의 구조 (접촉 위치, 안정성, 물체의 상태 변화 등) 를 명시적으로 표현하지 못합니다.
• 기하학적 일관성 및 의미적 정합성 부족: 생성된 동작이 3D 장면의 기하학적 제약 (충돌 회피) 을 준수하지 않거나, 언어 명령과 물리적 환경 간의 의미적 연결이 약합니다.
• 데이터 부족: 고충실도 (High-fidelity) 의 HOI 데이터는 손과 물체의 접촉이 복잡하고 가려짐 (occlusion) 이 많아 수집이 어렵습니다.
• 추론 속도: 기존 확산 (Diffusion) 기반 모델들은 수백 번의 디노이징 단계를 거치며 추론 속도가 느려 실시간 로봇 제어에 부적합합니다.

2. 제안 방법 (Methodology: FlowHOI)

FlowHOI 는 조건부 흐름 매칭 (Conditional Flow Matching) 을 기반으로 한 2 단계 프레임워크로, 언어 명령과 3D 장면 컨텍스트에 기반하여 의미적으로 정합된 손 - 물체 상호작용 시퀀스를 생성합니다.

A. 핵심 아키텍처: 2 단계 생성 파이프라인

인간의 행동 패턴 (먼저 잡기, 그 후 조작하기) 에서 영감을 받아 생성 과정을 두 단계로 분해했습니다.

1. 그랩핑 단계 (Grasping Stage):

   • 목적: 물체에 접근하고 안정적인 접촉을 확립하는 초기 손 동작 생성.
   • 특징: 물체는 정지 상태로 가정하며, 손의 운동만 생성합니다.
   • 학습: 대규모 일인칭 (Egocentric) 비디오에서 재구성된 HOI 데이터로 사전 학습된 그랩핑 사전 지식 (Grasping Prior) 을 미세 조정 (Fine-tuning) 하여 사용합니다.
   • 입력: 초기 손 - 물체 상태, 그랩핑에 초점을 맞춘 텍스트 하위 명령.

2. 조작 단계 (Manipulation Stage):

   • 목적: 잡은 상태에서 언어 명령에 따라 물체를 이동시키고 상태 변화를 유도하는 장기 상호작용 생성.
   • 특징: 3D 장면 컨텍스트와 언어 명령을 조건으로 받습니다.
   • 조건부 정보:
     • 3D Scene Tokens: 3D 가우스 스플래팅 (3DGS) 으로 재구성된 장면에서 추출한 기하학적 (Geometric) 및 의미론적 (Semantic) 토큰을 융합합니다. (Concerto 와 SceneSplat 활용)
     • 텍스트 정렬: 생성된 동작과 언어 명령 간의 일관성을 보장하기 위해 동작 - 텍스트 정렬 손실 (Motion-Text Alignment Loss) 을 도입합니다.
   • 연속성 보장: 그랩핑 단계의 최종 상태를 '하드 제약 (Hard Constraint)'으로 고정하고, 이후 프레임을 생성하여 두 단계 간의 매끄러운 전환을 보장합니다.

B. 데이터 재구성 파이프라인 (Data Reconstruction Pipeline)

고품질 HOI 데이터의 부족을 해결하기 위해 대규모 일인칭 비디오 (EgoDex) 에서 데이터를 재구성하는 파이프라인을 제안했습니다.

• 과제: 손의 가려짐과 접촉 역학의 복잡성.
• 해결:
  1. 전환 프레임 탐지: 손목 궤적의 속도 최소점을 통해 '잡기'에서 '조작'으로 전환되는 시점을 감지.
  2. 물체 재구성: SAM3, DepthAnything3, SAM3D 등을 활용해 정지 상태의 물체 3D 메쉬를 복원.
  3. 손 - 물체 정렬: 역기구학 (IK) 과 접촉/침투 제약 조건을 최적화하여 손 메쉬 (MANO) 와 물체 메쉬를 정렬. 이를 통해 대규모 HOI 사전 지식을 학습 가능하게 함.

C. 생성 모델 (Flow Matching)

• 기반 기술: 확산 모델 (Diffusion) 대신 흐름 매칭 (Flow Matching) 을 사용하여 추론 속도를 획기적으로 개선 (0.16 초/시퀀스, 기존 대비 40 배 속도 향상).
• 예측 목표: 속도장 (Velocity) 대신 클린 데이터 (Clean Data, x-prediction) 를 직접 예측하여 시간적 안정성과 매끄러운 궤적을 확보.

3. 주요 기여 (Key Contributions)

1. 의미론적 정합성 (Semantic Grounding): 3D 장면 토큰과 동작 - 텍스트 정렬 손실을 통해 생성된 상호작용이 물리적 환경과 언어 명령 모두에 부합하도록 설계.
2. 효율적인 2 단계 프레임워크: 기하학적 잡기 (Grasping) 와 의미론적 조작 (Manipulation) 을 분리하여 각 단계에 최적화된 조건부 신호를 제공.
3. 대규모 데이터 재구성: 일인칭 비디오에서 고충실도 HOI 데이터를 추출하는 파이프라인을 구축하여 일반화 성능을 향상.
4. 실시간 추론: 흐름 매칭을 도입하여 확산 모델 대비 40 배 빠른 추론 속도를 달성.

4. 실험 결과 (Results)

GRAB 및 HOT3D 벤치마크에서 기존 최강의 확산 기반 모델 (DiffH2O, LatentHOI) 과 비교 평가되었습니다.

• 물리적 상호작용 품질:
  • 관통 부피 (Interpenetration Volume): 기존 모델 대비 최대 21% 감소.
  • 물리 시뮬레이션 성공률 (Physics Simulation Success Rate): GRAB 에서 55.96% (기존 DiffH2O: 33.03%, LatentHOI: 28.44%) 로 1.7 배 향상.
  • 지속 시간 (Holding Time): 물체를 안정적으로 잡고 있는 시간이 가장 김 (1.5 초).
• 의미론적 정확도:
  • 동작 인식 정확도 (Action Recognition Accuracy): 모든 데이터셋에서 가장 높은 점수 기록 (GRAB: 0.95, HOT3D: 0.78).
• 효율성:
  • 추론 시간: 0.16 초 (Diffusion 모델은 3~7 초 소요).
• 실제 로봇 적용:
  • Franka Emika Panda 로봇 (Allegro Hand 장착) 에서 4 가지 복잡한 조작 작업 (컵 마시기, 액체 따르기, 기울이기, 짜기) 을 성공적으로 수행. 생성된 HOI 시퀀스를 로봇 관절 공간으로 리타게팅 (Retargeting) 하여 실행 가능함을 입증.

5. 의의 및 결론 (Significance)

FlowHOI 는 로봇 조작 분야에서 언어, 3D 환경, 물리적 제약을 통합적으로 고려한 새로운 HOI 생성 패러다임을 제시합니다.

• Embodiment-Agnostic 접근: 생성된 HOI 표현은 특정 로봇에 구애받지 않으며, 다양한 로봇 팔과 손으로 리타게팅이 가능하여 범용성 (Generalization) 이 뛰어납니다.
• 실시간성: 빠른 추론 속도로 인해 복잡한 장기 작업의 실시간 계획 및 제어에 적용 가능합니다.
• 물리적 안정성: 단순한 궤적 생성을 넘어 물리 시뮬레이션과 실제 로봇 실험을 통해 물리적 타당성을 검증함으로써, 실제 환경에서의 적용 가능성을 크게 높였습니다.

이 연구는 복잡한 일상 환경에서의 로봇 조작을 위해 기하학적 일관성과 의미론적 이해를 동시에 달성하는 핵심적인 기술적 진보로 평가됩니다.