기술 요약: 인간 시연으로부터 접촉 힘크(Contact Wrench) 가이던스를 이용한 숙련된 조작 학습 (CHORD)

문제 정의

인간의 시연을 로봇의 숙련된 조작(dexterous manipulation) 정책으로 전이하는 것은 여전히 중요한 과제입니다. 인간의 시연은 풍부한 기술 데이터를 제공하지만, 기존 방식들은 형태학적 차이로 인해 확장성과 전이성 측면에서 어려움을 겪는 경우가 많습니다. 단순히 인간의 손 동작을 재현하는 것은 키네마틱스(kinematics), 기하학적 구조, 접촉점의 차이로 인해 효과적인 동작을 달성하기 위해 서로 다른 움직임이 필요하기 때문에 비효율적입니다.

현재의 접근 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 취약한 가정: 많은 최적화 기반 방법론들은 시연을 전이하는 방식에 대해 경직된 가정을 기반으로 하며, 로봇의 형태가 인간 시연자와 크게 다를 경우 실패하는 경우가 많습니다.
2. 확장성 문제: 표현 학습(representation-learning) 방식은 대개 모든 특정 작업과 물체에 대해 정렬된 인간-로봇 데이터가 필요하며, 이는 일반적이고 긴 호흡의 작업을 수행하기보다는 선별된 환경에 국한되는 한계를 가집니다.

본 연구가 다루는 핵심 문제는, 강체 및 관절형 물체의 접촉이 풍부하고 긴 호흡의 조작을 고려하면서, 인간의 시연으로부터 전이 가능하고 확장 가능한 작업 지식을 어떻게 학습할 것인가 하는 점입니다.

방법론: CHORD 프레임워크

저자들은 로봇의 숙련된 조작에서 인간의 시연으로부터 **물체 중심의 접촉 힘크 공간(object-centric contact wrench space)**에 집중함으로써 인간과 로봇 사이의 간극을 메우는 강화 학습(RL) 프레임워크인 CHORD(Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation)를 제안합니다.

1. 물체 중심 힘크 공간 표현

CHORD는 3D 접촉 위치(손의 형태에 따라 달라짐)를 매칭하는 대신, 접촉이 유도하는 **힘과 토크(힘크, wrenches)**를 통해 상호작용을 표현합니다.

• 힘크 행렬(Wrench Matrix): 각 접촉점에 대해, 시스템은 단위 크기 모서리 힘들을 가진 다면체 원뿔을 사용하여 쿨롱 마찰 원뿔(Coulomb friction cone)을 근사합니다. 이는 물체의 움직임을 유도할 수 있는 힘-토크 방향을 나타내는 기본 힘크($w \in \mathbb{R}^6$)를 생성합니다.
• 서포트 함수(Support Function): 접촉점의 개수나 순서가 다르더라도 인간과 로봇의 접촉을 비교하기 위해, 이 방법은 서포트 함수를 사용합니다. 이 방법은 힘크 행렬을 사전 샘플링된 단위 방향 세트로 투영하여 서포트 벡터($\sigma$)를 생성합니다. 이를 통해 접촉의 움직임 유도 능력을 직접 비교할 수 있습니다.

2. 보상 공식 (Reward Formulation)

정책은 다음과 같은 복합 보상 함수 $r = r_{task} + r_{imit} + r_{contact} + r_{VOC}$를 사용하여 훈련됩니다:

• 작업 보상 ($r_{task}$): 롤아웃(rollout)이 참조 물체 운동(포즈 및 부품 간 관계)을 따르도록 독려합니다. 다중 물체 작업의 경우, 정밀한 기하학적 구조(예: 삽입, 붓기)를 보장하기 위해 상호작용 단계 동안 상대적 보상이 추가됩니다.

• 모방 보상 ($r_{imit}$): 로봇의 움직임을 리타겟팅된 인간의 움직임 쪽으로 정규화합니다.

• 접촉 힘크 공간 보상 ($r_{cws}$): 이것이 핵심 기여 사항입니다. 로봇의 서포트 함수($\sigma_{r,k}$)를 상대적 허용 오차 $\beta$를 사용하여 인간 참조값($\sigma_{h,k}$)과 비교합니다. 이 보상은 인간의 시연 범위 내에 있는 힘크를 유도하는 접촉에는 보상을 주고, 놓친 접촉이나 의도치 않은 추가 접촉에는 벌점을 부여합니다.
• 가상 물체 컨트롤러 (Virtual Object Controller, VOC): 훈련 초기 단계에서 참조 궤적을 따라 물체를 움직이는 힘크를 적용하여 탐색 환경을 부드럽게 만드는 보조 컨트롤러로 사용됩니다. 이는 시간이 지남에 따라 점진적으로 감소(annealing)됩니다.

3. 강건성 및 일반화

• 노이즈 데이터 처리: RGB 비디오에서 재구성된 시연 데이터의 접촉 추정치가 노이즈가 심한 경우, CHORD는 축소된 힘 폐쇄(reduced force-closure) 목적 함수로 전환합니다. 이는 정밀한 매칭을 요구하지 않고 힘크 공간 기저 방향을 따라 양의 지지력을 생성하도록 보상함으로써, 효과적으로 힘 폐쇄(force closure)를 달성하는 법을 학습합니다.
• 전신 확장 (Whole-Body Extension): 본 프레임워크는 전신 조작으로 확장됩니다. 손 중심의 참조(예: 1인칭 시점)의 경우, 인페인팅(inpainting) 모듈이 전체 신체 움직임을 예측합니다. 3인칭 참조의 경우, 손가락 재구성이 부정확한 상황을 처리하기 위해 축소된 힘 폐쇄 목적 함수를 사용합니다.

4. 벤치마크 구축

저자들은 4,739개의 양손 숙련 조작 작업을 포함하는 대규모 시뮬레이션 벤치마크를 구축했습니다. 이 작업들은 오픈 소스 모션 캡처 데이터셋과 자체 재구성된 비디오에서 파생되었으며, 다음을 포함합니다:

• 단일 및 다중 강체 물체.
• 관절형 물체.
• 긴 시간 지평(long time horizons) 및 밀집된 접촉 이벤트.

주요 기여

1. CHORD 프레임ка: 접촉 힘크 공간 가이던스를 사용하여 인간의 시연을 다양한 형태학적 구조에 걸쳐 확장 가능한 숙련된 로봇 정책으로 전이하는 새로운 RL 프레임워크를 제안합니다.
2. 대규모 벤치마크: 강체, 관절형, 다중 물체 상호작용을 아우르는 4,739개의 긴 호흡의 양손 조작 작업을 담은 큐레이션된 데이터셋을 구축했습니다. 이는 기존 벤치마크보다 훨씬 크고 복잡합니다.
3. 실증적 검증: 시뮬레이션에서의 최첨단 성능과 실제 하드웨어로의 성공적인 전이를 입증하는 종합적인 평가를 수행했습니다.

결과

논문은 다음과 같은 정량적 및 정성적 결과를 보고합니다:

• 시뮬레이션 성능: 1,831개의 벤치마크 작업에 대해 평가했을 때, CHORD는 평균 **82.12%**의 성공률을 달std했습니다. 이는 기존 베이스라인들(ManipTrans, DexMachina, SPIDER)이 각각의 원래 작업 세트와 새로운 벤치마크에서 보여준 성능을 능가했습니다.
• 전신 조작: 손 중심 또는 3인칭 시연을 사용하여 전신 조작으로 확장했을 때, CHORD는 **90.77%**의 성공률을 달성했습니다.
• 보상 절제 실험 (Ablation): "접촉 힘크" vs "위치 전용" vs "접촉 없음" 보상을 비교한 실험에서, 힘크 공간 가이던스가 필수적임을 보여주었습니다. 예를 들어, "믹서 사용(mixer use)" 작업에서 CHORD는 89.4%의 성공률을 기록한 반면, 위치 전용 방식은 62.4%, 접촉 없음 방식은 42.3%로 떨어졌습니다.
• 상관관계: 접촉-힘크-서포트 보상과 작업 성공률 사이에 강한 양의 상관관계(Pearson $r \approx 0.80$)가 관찰되어, 이 보상이 조작 품질의 신뢰할 수 있는 대리 지표임을 입증했습니다.
• 장기 호흡 안정성: CHORD는 최대 48초의 시간 지평 동안 높은 추적 정확도(ADD-AUC $\approx 0.85-0.98$)를 유지한 반면, 베이스라인 방법들은 작업 길이가 길어짐에 따라 성능이 크게 저하되었습니다.
• 실제 환경 배포: 시뮬레이션에서 훈련된 정책은 두 개의 Sharpa 데크스터러스 핸드가 장착된 실제 Dexmate 로봇으로 성공적으로 전이되었으며, 개방 루프(open-loop) 및 폐쇄 루프(closed-loop) 설정 모두에서 강체 및 관절형 물체를 처리했습니다.

의의 및 주장

본 논문은 CHORD가 숙련된 조작 학습의 근본적인 확장성 병목 현상을 해결한다고 주장합니다. 정렬 기준을 (형태학에 종속적인) 키네마틱 위치에서 (유도된 물체 운동에 대해 형태학에 무관한) 접촉 힘크로 전환함으로써, 이 프레임워크는 로봇이 작업별 로봇 데이터나 완벽한 형태학적 일치를 요구하지 않고도 인간의 시연으로부터 학습할 수 있게 합니다.

저자들은 이 접근 방식이 다음을 가능하게 한다고 강조합니다:

• 확장성: 각 보상 함수를 다시 설계할 필요 없이 수천 개의 다양한 작업에 걸쳐 학습할 수 있습니다.
• 강건성: 접촉의 기계적 효과에 집중함으로써 노이즈가 있는 시연과 형태학적 불일치(예: 인간의 5손가락 손 vs 로봇의 3손가락 손)를 처리할 수 있습니다.
• 일반화: 손 중심에서 전신 형태학으로, 그리고 시뮬레이션에서 실제 환경으로 기술을 성공적으로 전이할 수 있습니다.

이 연구는 단순한 파지(grasping)를 넘어, 조율된 긴 호흡의 전략을 필요로 하는 복잡하고 접촉이 풍부한 조작 작업으로 나아가기 위해 접촉 힘크 가이드가 필수적인 추상화임을 입증합니다.