기술 요약: 강건한 동작 전이를 위한 토크 적응 모듈 (TAM)

1. 문제 정의

본 논문은 로봇 조작(manipulation)에서의 심투리얼(sim-to-real) 전이 및 동작 강건성(motion robustness) 문제를 다룹니다. 특정 "이상적인" 로봇 모델을 위해 학습되거나 설계된 정책(policy)은 대상 로봇의 역학(dynamics)이 다를 경우 실제 배포 시 실패하는 경우가 많습니다. 이러한 불일치는 다음과 같은 원인으로 발생합니다:

• 심투리얼 갭 (Sim-to-real gap): 모델링되지 않은 마찰, 댐핑, 액추에이터 지연 등.
• 알 수 없는 페이로드 (Unknown payloads): 추가된 질량 및 무게 중심의 변화.
• 인스턴스 간 변이 (Instance-to-instance variations): 제조 공차.

접촉이 빈번하고 역동적인 작업에서, 아주 작은 동작 불일치조차 접촉 타이밍과 모드를 방해하여 작업 실패를 초래합니다. 기존 솔루션들은 다음과 같은 상당한 한계가 있습니다:

• 시스템 식별 (System Identification, SysID): 새로운 로봇이나 페이로드 변화가 있을 때마다 지속적인 데이터 수집과 모델 재식별 과정이 필요합니다.
• 도메인 무작위화 (Domain Randomization): 종종 로봇의 전체 역학 범위를 활용하지 못하고 지나치게 보수적인 정책을 생성합니다.
• 정책 측면의 적응 (예: RMA, UPOSI): 적응 브랜치를 포함하도록 정책을 재학습하거나 증류(distilling)해야 하며, 이는 폐쇄형(closed-source), 제3자 제공 또는 모델 기반(MPC) 정책의 경우 비용이 많이 들거나 불가능합니다.

2. 방법론: 토크 적응 모듈 (TAM)

저자들은 저수준 제어기와 로봇의 물리적 액추에이터 사이의 토크 인터페이스에 삽입되는 학습된 모듈인 TAM을 제안합니다. TAM은 고수준 정책과 독립적으로 작동하므로, 기존 정책을 수정하지 않고도 모든 기존 정책(RL, BC, 또는 MPC)을 적응시킬 수 있습니다.

핵심 아키텍처

TAM은 서로 다른 시간 척도에서 작동하는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 히스토리 인코더 (5 Hz):
   • 입력: 고유 수용 감각 데이터(관절 위치 $q$, 속도 $\dot{q}$)와 인가된 토크 $\tau^a$의 장기 이력(12초).
   • 특징 증강 (Feature Augmentation): 인코더는 관측된 운동을 위해 이상적인 모델이 요구했을 토크와 실제 인가된 토크 사이의 차이로 계산된 **물리 잔차 특징(physics residual feature, $e_\tau$)**을 포함합니다. 이는 역학 불일치의 직접적인 신호를 제공합니다.
   • 처리: 고주파수(1 kHz) 이력을 압축된 잠재 상태 $z_t$로 효율적으로 처리하기 위해 인과적 트랜스포머(causal Transformer)를 사용하는 패치 단위 시계열 토큰화 전략을 사용합니다.
2. 토크 어댑터 (1 kHz):
   • 입력: 잠재 상태 $z_t$, 최근의 상태/토크 윈도우, 그리고 저수준 제어기에서 생성된 명목 토크(nominal torque) $\tau^0_t$.
   • 출력: 잔차 토크 보정값 $\Delta\tau_t$.
   • 메커니즘: $z_t$에 의해 조건화된 적응형 레이어 정규화(adaptive layer normalization)를 사용하여, 동일한 가중치가 서로 다른 역학에 대해 서로 다른 보정 법칙을 표현할 수 있도록 합니다.
   • 최종 명령: 보정된 토크 $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$가 로봇으로 전달됩니다.

학습 전략

• 태스크 불가지론적 데이터 (Task-Agnostic Data): TAM은 특정 작업 데모가 아닌, 무작위화된 자유 공간 관절 운동 롤아웃(rollouts)을 통해 학습됩니다.
• 감독 (Supervision): 학습 목표는 로컬 토크 매칭입니다. 특정 상태와 명목 토크가 주어졌을 때, 시스템은 섭동된(대상) 로봇이 이상적인 로봇과 동일한 가속도를 달기 위해 필요한 "교사(teacher)" 토크를 계산합니다.
• 2단계 파이프라인:
  1. 다중 로봇 사전 학습 (Multi-Robot Pretraining): 모듈은 공유된 보정 초기값을 학습하기 위해 다섯 가지 서로 다른 로로봇 모델(Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4)의 무작위 롤아웃에 대해 학습됩니다.
  2. 로봇 특화 미세 조정 (Robot-Specific Fine-tuning): 대상 로봇의 시뮬레이터가 있는 경우, 사전 학습된 가중치를 해당 로봇의 무작위 롤아웃에 대해 미세 조정합니다. 이 단계에서는 실세계 데이터가 필요하지 않습니다.

3. 주요 기여

1. 분리된 적응 (Decoupled Adaptation): 적응 레이어를 토크 인터페이스로 이동함으로써, TAM은 정책의 관측값, 보상 또는 내부 상태에 접근할 필요가 없습니다. 이를 통해 다양한 정책(RL, BC, MPC) 및 액션 공간(관절 목표, 말단 장치 목표, 직접 토크)에 대해 단일 세트의 TAM 가중치를 재사용할 수 있습니다.
2. 제로샷 실세계 전이 (Zero-Shot Real-World Transfer): 이 방법은 기존 정책을 재학습하거나 실세계 캘리브레이션 데이터를 수집하지 않고도, 알 수 없는 페이로드와 역학을 가진 실제 로봇에서 견고한 실행을 가능하게 합니다.
3. 고주파수 보정 (High-Frequency Correction): 1 kHz에서 작동하는 TAM은 접촉 및 관성 변화에 대한 빠른 응답이 필요한 빠르고 역동적인 조작 작업을 지원합니다.
4. 일반화 (Generalization): 다중 로봇 사전 학습 방식은 모듈이 미지의 로봇 형태에도 일반화될 수 있도록 하며, 시뮬레이션 미세 조정을 통해 추가적인 성능 향상이 가능합니다.

4. 실험 결과

저자들은 세 가지 별개의 작업과 시뮬레이션 교차 로봇 추적 연구를 통해 실제 Franka Emika Panda 로봇에서 TAM을 평가했습니다.

실세계 작업 (Franka Panda)

• 비전 기반 RL 박스 밀기 (Box Pushing): TAM은 **76.2%**의 성공률을 달 기록하며, 직접 실행(47.6%) 및 온라인 시스템 식별(57.1%)을 크게 상회했습니다.
• 행동 복제 큐브 플립 (Cube Flip): TAM은 **72.0%**의 성공률을 달성하여, 이상적인 시뮬레이션 베이스라인(73.5%)에 거의 근접했으며, 온라인 SysID(34.0%)보다 두 배 이상의 성공률을 보였습니다.
• MPC 볼-온-플레이트 밸런싱 (Ball-on-Plate Balancing): TAM은 15초 동안 13.6 ± 2.9개의 목표를 완수하여, 온라인 SysID(13.1)와 직접 실행(8.8)을 능가했으며, 이상적인 시뮬레이션 성능(15.9)에 근접했습니다.
• 알 수 없는 페이로드를 동반한 추적: 숨겨진 1kg 페이로드가 있는 말단 장치 추적 작업에서, TAM은 추적 오차(RMSE)를 약 6cm(직접 실행)에서 1.29cm(운반 상태)로 줄였으며, 명시적 파라미터 추정 베이스라인보다 우수한 성능을 보였습니다.

시뮬레이션 교차 로봇 일반화

• 다섯 대의 로봇에서 사전 학습된 TAM 가중치를 두 대의 미지의 로봇(Google Robot, Unitree Z1)에 테스트했습니다.
• 다중 로봇 사전 학습된 TAM은 직접 실행 및 온라인 SysID 베이스라인에 비해 추적 오차를 크게 줄였습니다.
• 대상 로봇의 시뮬레이션에서 미세 조정을 수행하면 오차가 더욱 감소하여, 2단계 학습 파이프라인의 효용성을 입증했습니다.

절제 연구 (Ablation Studies)

• 히스토리 인코더: 장기 이력 인코더를 제거하면 성공률이 크게 감소하여(시뮬레이션에서 84%에서 42%로), 시간적 문맥(temporal context)의 중요성을 강조했습니다.
• 물리 잔차 특징: $e_\tau$ 특징을 제거하면 교차 로봇 전이가 약화되어, 특정 형태를 넘어 일반화하는 데 있어 이 기능의 역할을 확인했습니다.
• 직접 토크 vs 파라미터 예측: 잔차 토크를 직접 예측하는 것이 명시적인 물리 파라미터를 먼저 예측하려고 시도하는 방법보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 TAM이 조작을 위한 심투리얼 전이를 다루는 방식의 변화를 나타낸다고 주장합니다. 정책이 강건성을 학습하도록 강제하거나 지속적인 시스템 식별을 요구하는 대신, TAM은 적응의 부담을 모듈화된 토크 수준의 인터페이스로 넘깁니다.

• 모듈성: 독립적으로 작성된 정책(RL, BC, MPC)에 대해 재학습 없이 "플러그 앤 플레이" 방식의 적응을 가능하게 합니다.
• 효율성: 실세계 데이터 수집 없이 무작위 시뮬레이션과 다중 로봇 사전 학습에 의존하여 적응을 수행합니다.
• 강건성: 알 수 없는 물리적 파라미터를 가진 실제 하드웨어에서 역동적이고 접촉이 많은 조작을 가능하게 하며, 전통적인 방법들이 실패하는 지점에서 이상적인 시뮬레이션 베이스라인에 근접한 성능을 달성합니다.

저자들은 TAM의 한계점도 인정합니다. TAM은 토크 인터페이스와 일치하는 기구학적 구조(kinematic structure)를 필요로 합니다. 또한 대상 로봇의 역학이 액추에이터의 토크 예산 내에서 보정될 수 있다고 가정하며, 학습 분포 외부의 역학(예: 학습에서 보지 못한 극단적인 접촉력)에 대한 장기 안정성을 공식적으로 보장하지는 않습니다.