기술 요약: UniDexTok: 실제 데이터를 활용한 통합 데커러스 핸드 토크나이저 (A Unified Dexterous Hand Tokenizer from Real Data)

1. 문제 정의

정교한 조작을 위해서는 데커러스 핸드(Dexterous hands)가 필수적이지만, 하드웨어 설계의 상당한 이질성으로 인해 이러한 시스템의 학습 진전이 저해되고 있습니다. 평행 그리퍼와 달리, 데커러스 핸드는 운동학(kinematics), 관절 정의, 제어 컨벤션 및 자유도(DoF) 측면에서 크게 다릅니다. 이러한 불일치는 공유된 상태 표현(shared state representation)의 생성을 방해하며, 결과적으로 공동 학습에 사용하기 어려운 파편화된 데이터셋을 초래합니다.

기존의 데이터 통합 방식은 대개 다음과 같은 방식에 의존합니다:

• 리타겟팅(Retargeting): 인간의 움직임(예: MANO)을 로봇 손으로 변환합니다. 이는 기하학적 불일치를 유발하고 로봇 고유의 상태를 변화시킵니다.
• 시뮬레이션(Simulation): 대규모로 데이터를 합성합니다(예: Isaac Gym). 이는 심투리얼(sim-to-real) 간극 문제를 겪으며, 기존 실세계 로봇 로그의 표준화 문제를 해결하지 못합니다.
• 핸드 특화 토크나이저(Hand-Specific Tokenizers): 각 로봇 손에 대해 별도의 인코더와 디코더를 학습시킵니다(예: UniHM). 이는 다양한 형태(embodiment) 간의 공유된 구조적 사전 지식(structural priors)을 활용하지 못하며, 새로운 손으로의 제로샷 전이(zero-shot transfer)를 방해합니다.

또한, 기존의 실세계 데이터셋은 관절 순서, 차원, 단위(라디안, 도, 이산화된 빈)가 서로 달라 단순한 데이터 양의 문제를 넘어 사용성 측면의 병목 현상을 일으킵니다.

2. 방법론

제안된 프레임워크는 두 가지 핵심 구성 요소인 통합 데커러스 핸드 모델(UDHM)과 통합 토크나이저(UniDexTok)로 구성됩니다.

2.1 통합 데커러스 핸드 모델 (UDHM)

UDHM은 인간 및 다양한 로봇 손의 상태를 공유된 액티브 관절 공간(active-joint space)으로 매핑하면서도, 형태별(embodiment-specific) 운동학적 정보를 보존하는 표준화된 22-DoF 시맨틱 인터페이스입니다.

• 운동학적 파라미터화(Kinematic Parameterization): 이 모델은 인간의 손을 추가적인 데커러스 형태(embodiment)로 취급합니다. 해부학적 제약 조건을 기반으로 팔레임 평면(palm plane)과 국소 운동 축을 정의합니다.
  • 손가락 (검지, 중지, 약지): 각각 4개의 DoF(MCP 외전/내전, MCP 굴곡/신전, PIP 굴곡/신전, DIP 굴곡/신전)로 모델링됩니다.
  • 소지 (Pinky): 측면 포즈 변화를 반영하기 위해 중수골 방향의 비틀림(twist) DoF를 추가합니다.
  • 엄지 (Thumb): 5개의 DoF(CMC 굴곡, CMC 확산, MCP 굴곡, MCP 외전, IP 굴곡)로 모델링됩니다.
• 표준화 파이프라인: 이질적인 데이터셋은 이 22차원 순서로 매핑됩니다. 관절 값은 라디안으로 변환되고 $\pi$에 의해 정규화됩니다. 누락된 관절은 제로 패딩(zero-padding) 처리되며, 가용 관절은 UDHM의 대응하는 시맨틱 좌표에 삽입됩니다 ("시맨틱 삽입").

2.2 UniDexTok 아키텍처

UniDexTok은 표준화된 실제 관절 상태로부터 이산 토큰을 학습하는 리타겟 프리(retarget-free) 상태 토크나이저입니다. 각 손마다 별도의 토크나이저를 학습시키는 베이스라인과 달리, UniDexTok은 모든 형태에 대해 단일 인코더, 코드북, 디코더를 공유합니다.

• 조건부 트랜스포머 인코더(Conditional Transformer Encoder): 정규화된 손 상태($x \in \mathbb{R}^{22}$)를 잠재 토큰으로 매핑합니다. 적응형 레이어 정규화(AdaLN)를 통해 핸드 타입 레이블($h$)을 통합하여 트랜스포머 블록의 스케일과 시프트를 조절함으로써, 공유 공간이 형태별 운동학적 컨벤션을 반영할 수 있도록 합니다.
• 인자 분해 벡터 양자화(Factorized Vector Quantization, VQ): 파라미터 수의 폭증 없이 어휘량(vocabulary capacity)을 늘리기 위해 코드북을 인자 분해합니다. 512차원의 잠재 공간은 $K=8$개의 채널 그룹으로 나뉩니다. 각 그룹은 32개의 엔트리를 가진 서브 코드북에 의해 양자화됩니다. 이를 통해 단일 토큰이 단 256개의 학습된 벡터를 사용하여 $32^8$의 조합을 표현할 수 있게 합니다.
• 조건부 디코더(Conditional Decoder): 핸드 타입에 조건화되어 양자화된 토큰으로부터 연속적인 상태를 재구성합니다.
• 학습 목표: MSE(평균 제곱 오차)와 SmoothL1 항을 결합한 재구성 손실과 표준 VQ 커밋먼트 손실을 사용하여 여러 데이터셋(인간 및 로봇)에 걸친 실제 데이터로 학습됩니다.

3. 주요 기여

1. UDHM: 인간의 손과 다양한 로봇 손을 공유된 22-DoF 관절 공간으로 매핑하여, 형태별 운동학을 보존하고 이질적인 실제 데이터에 대한 공동 학습을 가능하게 하는 통합 핸드 모델입니다.
2. UniDexTok: 단일 인코더, 코드북, 디코더를 공유하는 통합 교차 형태(cross-embodiment) 토크나이저입니다. 이 설계는 공통된 이산 토큰 공간을 학습함으로써 미학습된 손에 대한 제로샷 전이 및 효율적인 퓨샷 적응을 용이하게 합니다.
3. 리타겟 프리 파이프라인: MANO-to-robot 리타겟팅이나 시뮬레이션 없이, 여러 데이터셋에 걸친 표준화된 실제 로봇 핸드 데이터로부터 직접 상태 토크나이저를 학습시키는 최초의 파이프라인입니다.

4. 실험 결과

4.1 재구성 정확도

리타겟팅된 데이터와 핸드별 별도 토크나이저를 사용하는 최신 베이스라인인 UniHM과 비교했을 때, UniDexTok은 우수한 재구성 정확도를 보여줍니다:

• MPJAE (평균 관절 각도 오차): UniHM의 **15.63°**에서 UniDexTok의 **0.16°**로 감소하여, **98.98%**의 감소를 기록했습니다.
• MPJPE (평균 관절 위치 오차): 18.51 mm에서 0.18 mm로 감소하여, **99.03%**의 감소를 기록했습니다.
• 이러한 개선은 LinkerHand L6, L10, L20 및 Robotera XHand1 전반에서 일관되게 나타났습니다.

4.2 제로샷 및 퓨샷 일반화

모델은 학습 세트와 운동학적 구조가 다른 **Inspire hand (RH5E2)**에 대해 테스트되었습니다.

• 제로샷(Zero-Shot): 미세 조정 없이, 모델은 4.14°에서 7.85° 사이의 관절 각도 오차를 달성했습니다.
• 퓨샷(Few-Shot): 타겟 데이터의 6.2%(4,528 프레임)만 사용하여 2 에포크 동안 미세 조정을 수행한 결과, 오차가 크게 감소했습니다 (예: Index MCP 피치 오차가 78.6% 감소).
• 이는 공유 인코더가 미학습된 손을 기존 토큰 공간으로 매핑하기 위한 표현적 토대(representational foundation)를 제공함을 입증합니다.

4.3 절제 연구 (Ablation Studies)

• 인간 데이터: 인간의 손 데이터를 (단순히 리타겟팅 소스가 아닌) UDHM 처리된 학습 형태로서 포함했을 때, 모든 로봇 핸드에서 재구성 정확도가 향상되었습니다.
• 시맨틱 삽션(Semantic Insertion): 로봇 관절을 특정 UDHM 차원에 매핑하는 방식이 단순한 "추가 및 패딩(append-and-pad)" 방식보다 성능이 뛰어났으며, 이는 모델이 단순한 수치적 압축이 아닌 관절 수준의 시맨틱 정렬을 학습함을 확인시켜 줍니다.
• 표현 품질: 13개 클래스 제스처 분류 벤치마크에서, UniDexTok은 양자화된 특징을 이용한 선형 프로빙(linear probing) 및 KNN 검색에서 100% 정확도를 달ように 했습니다. 반면, UniHM의 성능은 양자화 후 (96.15%에서 84.62%로) 크게 떨어졌는데, 이는 Uni-DexTok의 인자 분해된 코드북이 단일 코드북 VQ에서 발생하는 정보 붕괴를 방지함을 나타냅니다.

5. 의의 및 주장

본 논문은 실제 손의 상태를 다른 형태로 리타겟팅하는 것보다, 공유된 시맨틱 공간 내에서 실제 손의 상태를 보존하는 것이 더 정확하다는 것을 증명함으로써 UniDexTok이 데커러스 핸드 상태 표현의 새로운 표준을 세운다고 주장합니다.

저자들이 강조한 주요 시사점은 다음과 같습니다:

• 서브 밀리미터(Sub-millimeter) 정확도: 본 시스템은 재구성 성능을 리타겟팅/시뮬레이션의 일반적인 센티미터 단위에서 서브 밀리미터 단위로 개선합니다.
• 교차 형태 학습 (Cross-Embodiment Learning): 한 형태의 데이터(인간의 손 포함)가 다른 형태의 재구성 정확도를 향상시킨다는 점은 교차 형태 토크나이징의 이점을 검증합니다.
• 실용적 보완: 저자들은 상태 토크나이징을 VLA(Vision-Language-Action) 및 월드-액션 모델을 위한 액션 토크나이징의 실용적인 보완재로 위치시킵니다. 특히 하드웨어 특화 제어를 생성하기 전에 여러 핸드 형태에 대해 추론해야 하는 시스템에 유용합니다.

6. 한계점

저자들은 UDHM이 인간의 손과 유사한 운동학적 구조를 기반으로 하고 있어, 비인간형 그리퍼, 소프트 핸드, 또는 강력한 기계적 결합/언더액추에이션(underactuation)이 있는 핸드를 완전히 표현하지 못할 수 있음을 인정합니다. 또한, 현재의 토크나이저는 상태 재구성에 집중하고 있으며 접촉 상태(contact states), 촉각 신호, 또는 시간적 액션 역학을 명시적으로 모델링하지 않으므로, 낮은 재구성 오차가 반드시 우수한 다운스트림 조작 성능을 보장하는 것은 아닙니다.