기술 요약: 단순한 동작이 아닌 접촉(Contact)의 전이

문제 정의

숙련된 조작(Dexterous manipulation)은 단순히 손가락의 움직임을 예측하는 것 이상을 요구하며, 미끄러짐, 변형 및 자기 폐쇄(self-occlusion)를 처리하기 위한 능동적인 접촉력 조절을 필요로 한다. 기존의 교차 체형 정책(cross-embodiment policies)은 리타겟팅된 포즈나 잠재 액션 공간을 통해 동작 의도를 통합하는 데는 성공했지만, **접촉 피드백(contact feedback)**을 전이하는 데는 실패했다. 힘 피드백은 특정 손의 센싱 및 구동(예: 원시 노력 신호 또는 촉각 프록시)에 종속되어 있어, 이질적인 로봇 손 간에 부하(loading)를 비교하는 것을 불가능하게 만든다. 결과적으로, 한 종류의 손에서 학습된 정책은 시각적 단서가 가려지거나 정밀한 힘 조절이 필요한 경우 다른 손으로 일반화될 수 없다.

방법론

1. 통합 힘-포지션 인터페이스 (Unified Force-Position Interface)

핵심 기여는 동작 의도와 접촉 부하를 분리하여, 두 가지 모두 물리적으로 비교 가능한 단위로 표현하는 전이 가능한 인터페이스이다.

• 공유 동작 의도 (Shared Motion Intent): 손의 포즈는 공유된 MANO-pose 잠재 벡터($\psi \in \mathbb{R}^{15}$)로 표현된다. 이 저차원 벡터는 인간 장갑 데이터로부터 한 번 학습되며, 손가락 끝 위치와 손가락 형태를 최적화하는 손 특화 리타겟팅 맵($R_h$)을 통해 특정 손의 관절 구성($q^{(h)}$)으로 매핑된다.
• 교정된 접촉 채널 (Calibrated Contact Channel): 시스템은 원시 노력(effort)을 사용하는 대신, 시스템 식별(system identification)을 수행하여 손 특화 노력 프록시를 물리적 관절 토크($\tau^{(h)}$ in N·m)로 매핑한다. 이 토크로부터 시스템은 다음을 도출한다:
  • 손가락 끝 힘 ($f_t$): 병진 자코비안(translational Jacobian)의 최소제곱 역행렬을 통해 계산된다.
  • 공간 토크 기술자 ($\gamma_t$): 접촉 위치(손가락을 따른 위치), 관절 전체의 부하 분포, 그리고 힘의 횡방향 점유율을 인코딩하는 세 개의 스칼라 값($c, \rho, \ell$) 세트.
    이를 통해 정책은 특정 손의 형태와 관계없이 통일된 좌표계 내에서 "손이 어디로 움직여야 하는가"와 "물체가 어떻게 부하를 받는가"를 관찰할 수 있다.

2. MARC: 마스크 인식 반응형 순응 정책 (Mask-Aware Reactive Compliant Policy)

저자들은 Diffusion Transformer (DiT) 아키텍처를 기반으로 한 플로우 매칭(flow-matching) 정책인 MARC를 소개한다.

• 입력: 정책은 엔드 이펙터 포즈, 손가락 끝 위치, 교정된 힘($f_t$), 공간 토크 기술자($\gamma_t$), 그리고 공유 포즈 잠재 벡터($\psi_t$)를 포함하는 통일된 상태 튜플 $s_t$에 의해 조건화된다.
• 구조적 시각 마스킹 (Structured Visual Masking): 학습 과정 중 시각적 토큰(패치 또는 전체 카메라 스트림)이 학습된 마스크 임베딩으로 무작위 교체된다. 이는 정책이 시각적 증거가 누락되거나 신뢰할 수 없는 상황(예: 자기 폐쇄 발생 시)에서, 힘 데이터를 무시하는 법을 배우는 대신 **힘과 고유 수용 감각(proprioception)**에 의존하도록 강제한다.
• 학습 목표: 정책은 가우시안 노이즈 소스를 타겟 액션 청크(action chunk)로 운송하기 위해 속도 벡터를 예측하며, 플로우 매칭 손실을 최소화한다.

3. 하이브리드 실행 파이프라인 (Hybrid Execution Pipeline)

시스템은 장기적 과업(long-horizon tasks)을 위해 단일 엔드 투 엔드 정책에 의존하지 않는다. 대신 학습된 프리미티브(primitives)를 모델 기반 컨트롤러와 결합한다:

• 도달 및 들어올리기 (Reach-and-Lift): 잡기(grasping)의 접촉 민감 단계와 초기 들어올리기를 처리하는 MARC에 의해 실행된다.
• 운반 (Transport): 교정된 토크 피드백을 사용하여 하이브리드 힘-포지션 컨트롤러를 사용하는 **안정적 파지 조절기(steady-grasp regulator)**에 의해 관리된다. 이는 최소한의 안정적인 움켜씸을 유지하며, 운반 중 부하가 발생할 경우 스스로 조임 강도를 조절한다.
• 핸드오버 (Handover): 외부 렌치(wrench)에 비례하여 팔을 양보하고 손을 여는 엔드 이펙터 어드미턴스(admittance) 컨트롤러에 의해 제어된다.
• 컨트롤러 로직: 저수준 컨트롤러는 명령된 포즈를 추적하면서, 교정된 토크를 기반으로 "일방향 후퇴(one-sided retreat)" 보정을 적용한다. 접촉 토크가 목표치를 초 exceed하면 컨트롤러는 관절을 열고, 그렇지 않으면 포즈 명령을 따른다. 이는 손이 물체 안으로 더 깊이 파고들지 않으면서도 순응성을 보장한다.

주요 기여

1. 전이 가능한 접촉 표현: 손 특화 노력 신호를 교정된 관절 토크, 손가락 끝 힘, 압축된 부하 기술자로 변환하는 방법으로, 서로 다른 데생터러스 핸드 간에 접촉 피드백을 물리적으로 비교 가능하게 만든다.
2. 통합 힘-포지션 인터페이스: 공유된 손 포즈 의도와 교정된 접촉 피드백을 결합하여, 이질적인 체형 간에도 순응 제어 전이를 가능하게 하는 프레임워크를 제공한다.
3. MARC 정책 및 파이프라인: 시각, 고유 수용 감각, 교정된 접촉에 기반해 학습된 마스크 인식 플로우 매칭 정책으로, 별도의 태스크별 재학습 없이 장기 조작(도달, 운반, 핸드오버)을 위한 모델 기반 프리미티브와 통합된다.

실험 결과

시스템은 세 가지 구조적으로 다른 손(Wuji, Wuji12, Inspire)을 장착한 Unitree G1 휴머노이드를 통해 강체 및 유연/변형 가능한 물체(예: 달걀, 브리오슈 번, 쌓여 있는 컵)를 다루는 10가지 과업에서 평가되었다.

• 성능 향상: MARC는 모든 핸드와 과업에 걸쳐 평균 도달 및 들어올리기 성공률을 0.44(베이스라인 sDiT)에서 0.71로 개선했다.
• 세부 개선 사항:
  • Inspire: 0.54 $\to$ 0.84
  • Wuji: 0.48 $\to$ 0.79
  • Wuji12: 0.29 $\to$ 0.51
  • 결정적 사례: 가장 큰 성능 향상은 "마커(Marker)" 과업(미끄럽고 폐쇄된 상황)에서 관찰되었으며, 여기서 Inspire와 Wuji의 성공률은 각각 0.2/0.1에서 1.0/0.9로 급증했다.
• 어블레이션 (Ablation): 교정된 접촉 채널을 제거하면 강체 물체에 대한 성능이 베이스라인(0.48)으로 다시 떨어졌으며, 이는 성능 향상이 단순히 아키텍처나 마스킹 때문이 아니라 힘 채널에 의해 유도되었음을 확인시켜 준다.
• 제로샷 일반화 (Zero-Shot Generalization): 정책은 학습되지 않은 Wuji15 구성(15-DoF)으로 성공적으로 전이되었으며, 인-디스트리뷰션(in-distribution) Wuji 결과와 0.1 이내의 차이로 성공률을 달성했다.

의의 및 주장

본 논문은 접촉이 손 특화 프록시가 아닌 물리적 단위(토크 및 힘)로 표현될 때 접촉 자체가 전이 가능하다고 주장한다. 동작 의도와 접촉 부하를 공유 인터페이스로 통합함으로써, 시스템은 구조적으로 다른 손들 사이에서 숙련된 조작 기술을 전이할 수 있게 한다. 저자들은 이 접근 방식이 시각적 피드백이 폐쇄나 물체 변형으로 인해 불충분한 시나리오에서도 안정적이고 순응적인 상호작용을 가능하게 한다고 강조한다. 본 연구는 교정된 접촉을 통해 학습된 단일 정책이 별도의 핸드별 모델 학습이나 태스크별 미세 조정 없이도 다양한 하드웨어를 구동할 수 있음을 입증한다.