기술 요약: DexFormer

문제 정의

정교한 제어가 필요한 고자유도(DoF) 손과 팔을 다루어야 하는 로봇 공학에서 정교한 조작(Dexterous manipulation)은 여전히 중요한 과제로 남아 있습니다. 확장성을 가로막는 주요 장벽은 **형태적 가변성(embodiment variability)**입니다. 서로 다른 정교한 손들은 각기 다른 운동학, 관성, 액추에이터 응답 및 접촉 역학을 가집니다. 결과적으로 기존 방식들은 각 손마다 별도의 정책을 학습시키거나, 개별 형태용 디코더 헤드를 가진 공유 액션 공간에 의존해야 합니다. 이러한 특수성은 학습과 시뮬레이션-실제(sim-to-real) 전이를 취약하게 만들며, 새로운 플랫폼이 등장할 때마다 반복적인 시스템 식별(system identification), 재조정 또는 추가적인 실세계 데이터 수집을 필요로 합니다. 또한, 시스템 식별, 도메인 무작위화(domain randomization) 또는 잔차 모델링(residual modeling)과 같은 기존의 sim-to-real 간극 극복 방식들은 테스트 시점에 형태별 역학을 보상하는 명시적인 메커니즘이 부족하거나, 형태별 실세계 데이터 수집에 의존하며, 진정한 제로샷 교차 형태 전이(zero-shot cross-embodiment transfer)를 달ach하지 못합니다.

방법론

저자들은 수정된 트랜스포머(Transformer) 백본을 기반으로 구축된 엔드 투 엔드(end-to-end) 방식의 역학 인지형 교차 형태 정책인 Dexformer를 제안합니다. 핵심 혁신은 이력 조건화(history-conditioned) 접근 방식으로, 이는 정책이 명시적인 형태 식별자나 별도의 디코더 헤드에 의지하는 대신, 시간적 문맥(temporal context)으로부터 형태와 역학을 암시적으로 추론할 수 있게 합니다.

주요 기술 구성 요소:

1. 공유 액션 공간 (Shared Action Space): 저자들은 정형화된 형태 불변 액션 공간($D_F$ 차원)을 정의합니다. 동일한 기능적 역할(예: 엄지 벌림, 검지 굴곡)을 가진 관절들은 서로 다른 형태 간에도 고정된 인덱스로 매핑됩니다. 낮은 DoF의 손은 사용되지 않는 차원에 제로 패딩(zero-padding)을 활용하며, 높은 DoF의 손은 더 많은 인덱스를 점유합니다. 이를 통해 단일 정책이 이질적인 손들에 대한 액션을 출력할 수 있습니다.
2. 형태 생성 (Embodiment Generation): 형태 불가지론적(morphology-agnostic) 정책을 학습시키기 위해, 저자들은 광범위한 손 형태 분포를 구축합니다. 이들은 정형화된 손들(Allegro, LEAP, RAPID)에서 시작하여, 운동학적 그래프 토폴로지와 구동 구조를 유지하면서 형태 관련 물리적 파라미터(링크 길이, 질량, 관성)를 절차적으로 무작위화합니다. 이를 통해 "형태가 풍부한" 학습 세트($E_{train}$)를 생성합니다.
3. 이력 조건화 트랜스포머 (History-Conditioned Transformer): 정책은 유한한 관측-액션 쌍의 이력 윈도우($H$)를 조건으로 합니다.
   • 입력: 이력은 토큰화되어 미래 정보 누출을 방지하기 위한 인과적 셀프 어텐션 마스크(causal self-attention masks)를 가진 트랜스포머 인코더에 의해 처리됩니다.
   • 추론: 최종 임베딩은 이력의 압축된 요약본 역할을 하며, 현재의 손에 대한 잠재적 형태와 역학을 암시적으로 추론합니다. 이 임베딩은 MLP 액션 헤드로 전달되어 제어 분포를 생성합니다.
   • 관측 공간: 객체 포즈/쿼터니언, 타겟 포즈, 이전 액션, 관절 위치/속도, 손가락 끝/손바닥 상태, 접촉력, 그리고 객체 포인트 클라우드를 포함합니다.
4. 학습 프레임워크: 저자들은 (Isaac Lab 기반의) 분산 학습 프레임워크를 활용합니다. 동일한 정형화된 손의 무작위 변형들은 단일 GPU에 그룹화되는 반면, 서로 다른 정형화된 유형들은 서로 다른 GPU에 할당됩니다. All-reduce 그래디언트 동기화를 갖춘 분산 데이터 병렬 처리(DDP)를 통해, 이 다양한 형태 분포에 걸쳐 하나의 공유된 정책이 학습됩니다.

주요 기여

1. DexFormer 아키텍처: 명시적인 형태 인코딩 없이도 적응형 제어를 위해 암시적 형태 추론을 수행하며, 대규모 손 형태 학습을 통해 훈련된 이력 조건화 트랜스포머 정책을 도입했습니다.
2. 확장 가능한 학습 파이프라인: 교차 형태 정교한 손 학습을 위해 특별히 설계된 대규모 형태 무작위화 파이프라인 및 분산 학습 프레임 much를 개발했습니다.
3. 제로샷 일반화: 단일 형태 불가지론적 정책이 수동 리타겟팅, 명시적 형태 인코딩, 또는 별도의 정책 헤드 없이도 미학습된 정교한 형태들과 여러 실세계의 손(Leap, Allegro, Rapid)에 대해 강력한 제로샷 일반화 성능을 보임을 입증했습니다.

실험 결과

저자들은 광범위한 시뮬레이션 및 실세계 실험을 통해 DexFormer를 평가했습니다:

• 베이스라인 비교: DexFormer는 LEAP, Allegro, RAPID 손에 걸쳐 LSTM 및 GRU 기반 베이스라인보다 일관되게 높은 파지(grasping) 성공률을 보였습니다. 예를 들어, 정형화된 LEAP 손에서 DexFormer는 83.25%의 성공률을 기록하여, LSTM(66.81%)과 GRU(58.91%)를 상회했습니다.
• 제로샷 전이: 정책은 훈련 과정에서 제외되었던 32개의 미학습 변형 모델들과 정형화된 손 모델들에 대해 강력한 제로샷 일반화 능력을 보여주었습니다.
• 절제 연구 (Ablation Studies):
  • 시간적 문맥 (Temporal Context): 5단계 이력을 사용하는 것이 1단계 이력보다 성능을 크게 향 향상시켰으며, 특히 Allegro와 LEAP 손에서 두드러졌습니다.
  2. 형태적 다양성 (Morphological Diversity): 정형화된 손당 서로 다른 학습 형태의 수를 늘리는 것(25개에서 100개로)이 제로샷 성능을 실질적으로 개선하였으며, 이는 이질성에 대한 노출이 일반화 성능을 높인다는 것을 확인시켜 줍니다.
  3. 병렬성 (Parallelism): GPU당 병렬 환경의 수를 늘리는 것은 일반적으로 성능을 개선했으나, 형태 통계 불균형으로 인해 RAPID 손에서 일부 불안정성이 관찰되었습니다.
  4. 강건성 (Robustness): 정책은 관절 잠김(joint locking) 상황에서도 회복력을 보였으며, 잠긴 관절의 해부학적 중요도에 따라 성능이 점진적으로 저하되었습니다.
• 실세계 배포: 정책은 LEAP 핸드가 장착된 실제 Franka 암에 성공적으로 배포되었습니다. 2,000개의 전문가 시연 에피소드를 통한 오프라인 증류(offline distillation)를 사용하여, 시스템은 시뮬레이션에서 현실로의 제로샷 전이를 달성했으며, 객체를 목표 위치로 들어 올리는 데 성공했습니다.

의의 및 주장

본 논문은 DexFormer가 교차 형태 정교한 조작을 위한 확장 가능한 기초(foundation)를 구축한다고 주장합니다. 물리적 구조를 암시적으로 추론하기 위해 시간적 문맥을 활용함으로써, 이 방식은 형태별 튜닝이나 명시적인 운동학 모델링의 필요성을 제거합니다. 결과는 **역학 인지형 시간적 추론(dynamics-aware temporal inference)**이 교차 형태 일반화를 위한 효과적인 메커니즘임을 시사합니다. 저자들은 이 연구가 대규모 강화 학습(RL) 훈련과 이력 조건화 모델 사이의 간극을 메우며, 다양한 로봇 형태와 배치 시나리오에 적용 가능한 통합된 조작 정책을 향한 경로를 제시한다고 주장합니다.

저자들은 현재의 훈련이 특정 객체 기하학에 국한되어 있고, 고차 DoF 형태(예: RAPID)에서 제로샷 설정 시 여전히 다소 성능 저하가 나타난다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 또한 향-모델 스타일의 파운데이션 모델, 멀티 전문가 증류, 그리고 혼합된 운동학적 토폴로지를 위한 개선된 그래디언트 집계 전략을 향후 연구 방향으로 제시했습니다.