기술 요약: DexSynRefine

문제 정의

인간-물체 상호작용(Human-Object Interaction, HOI) 데이터로부터 숙련된 조작(dexterous manipulation)을 학습하는 것은 비용이 많이 드는 로봇 원격 제어(teleoperation)에 대한 확장 가능한 대안을 제공합니다. 그러나 HOI 데모를 로봇으로 직접 리타겟팅하는 데에는 두 가지 결정적인 병목 현상이 존재합니다:

1. 희소성(Sparsity): HOI 데이터셋은 일반적으로 규모가 작아, 배포 중에 마주치는 다양한 초기 물체 상태와 작업 구성을 모두 커버할 수 없습니다.
2. 운동학적 특성과 역학적 실제의 차이(Kinematic Nature vs. Dynamic Reality): HOI 데이터는 기하학적 움직임(운동학)은 제공하지만, 물리적 실현 가능성에 필요한 접촉력, 마찰력 및 구동 제한은 제공하지 않습니다. 또한, 인간의 손과 로봇 손 사이의 "구현체 격차(embodiment gap)"로 인해 직접적인 운동학적 리타겟팅은 특히 접촉이 빈번한 시나리오에서 신뢰하기 어렵습니다.

기존 방법들은 모든 작업 인스턴스에 적절한 참조(reference)가 존재한다고 가정하거나, 행동 표현이 물리적 접지(physical grounding)에 어떻게 영향을 미치는지 체계적으로 다루지 못합니다. DexSynRefine은 희소한 데이터로부터 작업 조건부 상호작용 사전(task-conditioned interaction priors)을 합성하고, 이를 실행 가능한 로봇 행동으로 물리적으로 접지하며, 특권 정보(privileged state)가 없는 시뮬레이션 환경에서도 배포할 수 있도록 하는 과제를 해결합니다.

방법론

DexSynRefine은 세 가지 단계가 유기적으로 결동된 결합 프레임워크입니다.

1. HOI 모션 수집 및 물체 중심 증강

시스템은 모션 캡처와 FoundationPose를 사용하여 희소한 HOI 데모(예: 작업당 7개)를 수집합니다. 희소성 문제를 해결하기 위해 **물체 중심 증강(object-centric augmentation)**을 적용합니다:

• 초기 물체 포즈는 평면 SE(2) 변환을 통해 섭동(perturbation)을 가합니다.
• 도달(reaching) 단계는 보간(interpolation)하고, 조작(manipulation) 단계는 손과 물체의 상대적 기하 구조를 유지하도록 강체 변환(rigidly transform)합니다.
• 이를 통해 약 300개의 증강된 궤적을 작업당 생성하여, 상호작용 구조를 유지하면서 포즈 커버리지를 확장합니다.

2. HOI-MMFP: 조건부 모션 사전 합성

보지 못한 물체 포즈에 대해 일관된 궤적을 생성하기 위해, 저자들은 결합된 손-물체 운동을 위한 Motion Manifold Flow Primitives의 확장판인 HOI-MMFP(HOI Motion Manifold Flow Primitives)를 도입합니다.

• 매니폴드 학습(Manifold Learning): 트랜스포머 오토인코더는 증강된 궤적을 압축된 잠재 공간($z^*$)으로 매핑하며, 이는 재구성, 정규화 및 매니폴드 연속성 손실(보간된 잠재 변수의 시간적 차이에 페널티 부여)을 통해 최적화됩니다.
• 조건부 흐름 매칭(Conditional Flow Matching): 디퓨전 트랜스포머 기반의 벡터 필드는 잠재 공간 내에서 조건부 흐름 매칭을 수행하도록 학습됩니다. 이는 작업 임베딩($u$)과 초기 물체 포즈($o_0$)를 조건 변수로 받아 잠재 코드 $z^*$를 생성합니다.
• 디코딩(Decoding): 잠재 코드는 합성된 운동학적 궤적 $\hat{\tau}$로 디코딩되며, 이는 다운스트림 정교화(refinement)를 위한 구조화된 모션 사전 역할을 합니다.

3. 접촉 및 역학 적응을 통한 작업 공간 잔차 정교화(Task-Space Residual Refinement)

합성된 운동학적 사전은 직접 실행할 수 없습니다. 이 프레임워크는 2단계 강화 학습(RL)을 사용하여 이를 정교화합니다:

• 작업 공간 잔차 RL(Task-Space Residual RL): 전체 동작을 재생성하는 대신, 정책은 합성된 손목 및 손가락 끝 타겟에 더해질 잔차 신호($\Delta a_t$)를 학습합니다. 이는 구현체 불일치와 접촉 역학을 교정하면서 상호작용 구조를 보존합니다.
• 특권 교사 정책(Privileged Teacher Policy): 비대칭 액터-크리틱(asymmetric actor-critic) 설정을 사용하여 시뮬레이션에서 PPO로 학습됩니다. 크리틱은 특권 상태(시뮬레이터 역학, 접촉력, 물체 파라미터)를 관찰하고, 액터는 고유 수용 감각(proprioception)과 합성된 참조를 사용합니다.
• 배포 가능한 학생 정책(Deployable Student Policy): 특권 정보 없이 심투리얼(sim-to-real) 격차를 메우기 위해, 학생 정책은 교사로부터 증류(distill)됩니다. 학생 정책은 다음을 사용하여 누락된 물리적 맥락(접촉 상태 및 역학 파라미터)을 추론합니다:
  • 이진 접촉 및 힘을 예측하는 GRU 기반 접촉 모듈.
  • 잠재 역학 파라미터를 추론하는 역학 모듈.
  • 학생은 교사의 행동과 추론된 역학/접촉 상태를 일치시키도록 학습됩니다.

주요 기여

1. HOI-MMFP: 희소한 데모로부터 작업 및 초기 물체 상태가 조건화된 손-물체 궤적을 합성하여 공간적 일관성과 시간적 매끄러움을 보장하는 생성적 사전(generative prior)입니다.
2. 작업 공간 잔차 정식화(Task-Space Residual Formulation): 잔차 학습이 조인트 공간이나 절대적 행동이 아닌, 작업 공간의 손목 및 손가락 끝 타겟을 정교화할 때 구현체 및 접촉 제약 조건 하에서 가장 효과적인 물리적 접지를 제공한다는 것을 밝힌 체계적인 연구입니다.
3. 접촉 및 역학 적응: 고유 수용 감각 이력만을 사용하여 숨겨진 물리적 맥락(접촉 및 역학)을 추론함으로써, 촉각 센서나 특권 시뮬레이션 데이터 없이도 견고한 실제 실행을 가능하게 하는 배포 가능한 모듈입니다.

실험 결과

프레임워크는 5가지 숙련된 조작 작업(예: 프리츠 캔(Pringles Bottle) 방향 전환, 망치질하기, 물뿌리개 들어 올리기 및 붓기)에 대해 평가되었습니다.

• 모션 합성 품질: HOI-MMFP는 포즈 섭동 하에서의 공간적 일관성(최저 손목 오차)과 시간적 매끄러움(최저 저크) 측면에서 베이스라인(TC-VAE 및 DiT-Full)보다 우수한 성능을 보였습니다. 이는 다운스트림 RL이 "망치질하기" 작업에서 DiT-Full의 49.1% 대비 60.3%의 성공률을 달eric 수 있게 했습니다.
• 행동 표현: 작업 공간 잔차 학습은 모든 작업에서 가장 높은 평균 성공률(68.1%)을 달성했습니다. 운동학적 리타겟팅 단독으로는 거의 실패(성공률 ≤5.8%)하였으며, 이는 물리적 접지의 필요성을 확인시켜 줍니다.
• 적응 Ablation 연구: 접촉 및 역학 적응 모두 공동으로 필수적임이 입증되었습니다. 어느 하나라도 제거하면 성공률이 급락했습니다 (예: "망치질하기"에서 접촉 적응을 제거하면 교사의 성공률이 60.3%에서 23.4%로 떨어짐).
• 실제 환경 배포: 7-DoF 암과 16-DoF 핸드가 장착된 실제 환경에서, 전체 DexSynRefine 파이프라인은 운동학적 리타겟팅 대비 성공률을 50~70 퍼센트 포인트 개선했습니다. 예를 들어, "그릇 들고 붓기" 작업의 성공률은 2/10에서 9/10로, "물뿌리개 들고 붓기"는 0/10에서 5/10로 상승했습니다.

의의 및 주장

본 논문은 DexSynRefine가 다음 세 가지 요소가 결합될 때, 희소하고 순수하게 운동학적인 인간 모션 프라이어를 실행 가능하고 견고한 로봇 행동으로 변환할 수 있음을 보여준다고 주장합니다:

1. 모션 합성: 보지 못한 상태에 대해 일관된 참조 생성.
2. 물리적 접지: 구현체 및 접촉 역학을 교정하기 위해 작업 공간 잔차 사용.
3. 배포 가능한 적응: 특권 시뮬레이션 데이터 없이 운영하기 위해 고유 수용 감각으로부터 물리적 맥락 추론.

저자들은 이 접근 방식이 숙련된 조작을 위한 확장 가능한 경로를 제공하며, 비용이 많이 드는 작업별 로봇 원격 제어 데이터에 대한 의존도를 크게 줄인다고 결론짓습니다.

한계점

저자들은 세 가지 주요 한계를 인정합니다:

1. 작업별 정책: 잔차 정책은 작업별로 학습됩니다. 통합된 멀티 태스크 정책은 향후 과제로 남아 있습니다.
2. 손실이 있는 접촉 재구성: 촉각 센서가 없기 때문에 접촉 추론은 오직 고유 수용 감각에 의존하며, 이는 접촉이 매우 빈번한 작업(예: 망치질)에서 빠른 변화를 놓칠 수 있습니다.
3. 정적 조건화: HOI 프라이어는 에피소드 시작 시점에 한 번만 합성됩니다. 만약 실행 중에 물체가 위치를 벗어나면, 시스템은 반응적으로 재계획(re-plan)할 수 없습니다.