PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation

이 논문은 시뮬레이션과 현실 간의 간극을 해소하기 위해 현실 세계의 특수 센서 데이터를 활용하여 촉각 정보를 학습한 은닉 상태 추정기를 통해, 촉각 시뮬레이션 없이도 정교한 촉각 조작 기술을 성공적으로 전이하는 PTLD(Privileged Tactile Latent Distillation) 방법을 제안합니다.

핵심

PTLD: 로봇 손이 '촉감'을 배우는 마법 같은 방법

이 논문은 로봇이 복잡한 물건을 손으로 다루는 법 (예: 열쇠를 돌리거나, 공을 손가락 사이에서 굴리기) 을 배우는 새로운 방법을 소개합니다. 제목은 **PTLD(Privileged Tactile Latent Distillation)**인데, 어렵게 들리지만 쉽게 비유하자면 **"현실 세계의 '초능력'을 시뮬레이션에서 배운 로봇에게 전수해 주는 과정"**입니다.

이 과정을 세 가지 단계로 나누어 이해해 보겠습니다.

---

1. 시뮬레이션에서의 '초능력' 훈련 (The Oracle)

보통 로봇을 훈련시킬 때는 컴퓨터 속의 가상 세계 (시뮬레이션) 에서 합니다. 하지만 여기서 큰 문제가 생깁니다.

• 문제: 가상 세계에서 로봇의 손끝이 물체에 닿을 때의 '촉감' (미세한 진동, 미끄러짐, 압력 등) 을 정확하게 재현하는 것은 매우 어렵고 비쌉니다. 마치 가상 현실에서 물감을 칠할 때 실제 물감의 끈적임까지 완벽하게 구현하는 것과 비슷합니다.
• 해결책: 연구자들은 일단 촉감을 무시하고, **"물체의 위치, 모양, 속도"를 정확히 알고 있는 초능력 (Privileged Sensor)**을 가진 로봇을 가상 세계에서 훈련시킵니다. 이 로봇은 눈이 보이지 않아도 물체가 어디에 있는지, 어떻게 움직이는지 정확히 알기 때문에 아주 잘합니다. 우리는 이 로봇을 **'오라클 (Oracle, 예언자)'**이라고 부릅니다.

2. 현실 세계로 가져오기: '감시 카메라'와 '촉각 장갑'

이제 이 잘하는 로봇을 현실 세계로 데려오려는데, 현실에는 '초능력' (물체의 정확한 위치를 실시간으로 아는 데이터) 이 없습니다.

• 아이디어: 연구자들은 현실 세계에 여러 대의 카메라와 마커를 설치하여 로봇이 물체를 잡는 모습을 정밀하게 추적합니다. 이렇게 해서 로봇이 "초능력"을 가진 것처럼 행동할 수 있게 만들었습니다.
• 데이터 수집: 이 '초능력 로봇'이 현실에서 물건을 돌리는 동안, 로봇 손에 달린 **실제 촉각 센서 (GelSight 나 Xela 같은 것)**가 느끼는 데이터를 모두 기록합니다.
  • 비유: 마치 요리 실력이 뛰어난 셰프 (초능력 로봇) 가 요리를 하는 모습을 카메라로 찍으면서, 동시에 그가 손으로 느끼는 식감 (촉각 데이터) 을 기록하는 것과 같습니다.

3. '촉각'으로 초능력을 배워라 (Distillation)

이제 가장 중요한 단계입니다. 기록된 데이터를 이용해, 촉각 센서만 있는 일반 로봇이 셰프의 능력을 배우게 합니다.

• 과정: 일반 로봇은 "물체의 정확한 위치"를 알 수 없지만, 손끝의 '촉감' 데이터는 가지고 있습니다. 연구자들은 이 촉감 데이터를 보고, 셰프가 사용하던 '초능력 데이터 (잠재적 표현, Latent)'를 추측해 내는 머신러닝 모델을 훈련시킵니다.
• 결과: 결국 일반 로봇은 "물체의 정확한 위치"를 직접 볼 수는 없지만, 손끝의 촉감만으로도 물체가 어떻게 움직이고 있는지 완벽하게 이해하게 됩니다. 마치 눈을 감고도 손끝의 느낌으로 물체의 모양과 움직임을 알아맞히는 마법사와 같습니다.

---

왜 이 방법이 놀라운가요?

1. 촉각 시뮬레이션이 필요 없습니다: 복잡한 촉각 센서를 가상 세계에 완벽하게 구현할 필요 없이, 실제 데이터를 이용해 배우기 때문에 훨씬 빠르고 정확합니다.
2. 넘어질 때를 알아챕니다: 기존 방법들은 물체가 미끄러지거나 떨어질 때를 감지하지 못해 실패하는 경우가 많았습니다. 하지만 이 방법 (PTLD) 을 쓰면, 로봇이 물체가 미끄러지는 순간을 촉감으로 알아채고 손가락을 움직여 잡을 수 있습니다.
3. 성능이 압도적입니다: 실험 결과, 촉각을 배운 로봇은 촉각을 배운 적 없는 로봇보다 물건을 돌리는 성공률이 57% 이상 향상되었고, 회전하는 동안 떨어지지 않는 시간도 훨씬 길었습니다.

한 줄 요약

**"가상 세계에서 '초능력'을 가진 로봇을 훈련시킨 뒤, 그 로봇이 현실에서 촉각 센서를 통해 느끼는 데이터를 모아, 일반 로봇에게 그 '초능력'을 촉감으로 전수해 주는 혁신적인 기술"**입니다.

이 기술은 로봇이 우리 집안일이나 복잡한 작업을 할 때, 마치 사람이 손끝으로 물체의 상태를 느끼며 자연스럽게 움직일 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

복잡한 가정용 작업 자동화를 위해서는 다관절 손 (dexterous hand) 을 이용한 정교한 촉각 조작이 필수적입니다. 그러나 이를 학습하는 데에는 다음과 같은 주요 난제가 존재합니다.

• 시뮬레이션의 한계: 촉각 센서 (Tactile sensors) 를 포함한 물리 시뮬레이션은 매우 어렵고 비용이 많이 듭니다. 기존 연구들은 단순화된 접촉 모델 (단일 점, 이진 접촉 등) 을 사용하거나, 시뮬레이션과 현실 간의 격차 (Sim-to-Real gap) 로 인해 실제 배포가 어렵습니다.
• 데이터 수집의 어려움: 다중 손가락을 사용하는 로봇의 정교한 작업을 위한 고품질 시연 데이터 (Demonstrations) 를 원격 조종 (Teleoperation) 이나 운동학적 지도 (Kinesthetic teaching) 를 통해 얻는 것은 기술적으로 매우 어렵고 비효율적입니다.
• 기존 접근법의 부족: 기존 시뮬레이션 기반 강화학습 (RL) 은 주로 시각 (Vision) 또는 고유감각 (Proprioception) 만을 사용하며, 촉각 정보를 활용하지 못하거나 촉각 시뮬레이션의 부정확성으로 인해 성능이 제한됩니다.

2. 방법론 (Methodology: PTLD)

저자들은 PTLD (Privileged Tactile Latent Distillation) 라는 새로운 프레임워크를 제안합니다. 이는 촉각 센서를 시뮬레이션하지 않고도, 현실 세계의 '특권적 센서 (Privileged Sensors)'를 활용하여 촉각 조작 정책을 학습하는 접근법입니다.

핵심 아이디어

1. 특권적 센서 활용 (Privileged Sensors in Reality):
   • 시뮬레이션에서는 물체의 자세 (Pose), 모양 (Shape) 등 완전한 상태 정보를 '특권 정보'로 접근할 수 있습니다.
   • 현실 세계에서는 로봇 셀 (Cell) 에 외부 카메라 (Realsense 등) 와 마커를 설치하여 물체의 자세와 모양을 추정한 후, 이를 현실 세계의 특권적 센서로 간주합니다.
2. 3 단계 학습 파이프라인:
   • 단계 1 (시뮬레이션 내 정책 학습): 시뮬레이션에서 비대칭 액터-크리틱 (Asymmetric Actor-Critic, AAC) 방식을 사용하여, 액터 (Actor) 는 부분 관측 (Proprioception) 만 받고 크리틱 (Critic) 은 완전한 상태 (Privileged Info) 를 받도록 정책을 학습합니다. 이를 통해 2 단계 학습을 1 단계로 단순화합니다.
   • 단계 2 (현실 세계 데이터 수집): 학습된 '특권적 정책 (Privileged Policy)'을 현실 세계의 로봇에 배포합니다. 이때 로봇은 촉각 센서와 proprioception 데이터를 수집하면서, 특권적 센서 (카메라 기반 물체 자세) 를 통해 얻은 상태 정보를 기반으로 작동합니다. 이 과정에서 정책이 생성한 잠재 표현 (Latent Representations) 과 실제 촉각 데이터를 매칭된 데이터셋으로 저장합니다.
   • 단계 3 (촉각 상태 추정기 학습): 수집된 데이터셋을 사용하여, 촉각 입력 (Tactile input) 만으로 특권적 정책의 잠재 표현 (Latent) 을 복원하는 촉각 상태 추정기 (Tactile State Estimator) 를 지도 학습 (Supervised Learning) 합니다. 이를 통해 촉각 센서만으로도 특권적 정보를 추론할 수 있는 강력한 정책을 얻습니다.

기술적 혁신

• 비대칭 액터 - 크리틱 (AAC) 기반 단일 단계 학습: 기존 Privileged Latent Distillation 이 2 단계 (Oracle 학습 $\rightarrow$ Distillation) 였다면, PTLD 는 시뮬레이션 내에서 AAC 와 잠재 표현 손실 (Latent Loss) 을 결합하여 단일 학습 단계로 최적화합니다.
• DAgger 기반 온라인 학습: 현실 세계 데이터의 분포 편이 (Distribution Shift) 를 해결하기 위해, 중간에 훈련된 촉각 인코더를 사용하여 데이터를 수집하고 이를 다시 학습하는 DAgger 방식을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 촉각 시뮬레이션 불필요: 촉각 센서의 시뮬레이션 비용을 치르지 않고도, 현실 세계의 특권적 센서를 인터페이스로 사용하여 촉각 조작 정책을 학습하는 새로운 방법론 제시.
2. 학습 아키텍처 단순화: 시뮬레이션 내 2 단계 증류 (Distillation) 과정을 비대칭 액터 - 크리틱을 통해 단일 학습 단계로 축소하는 아키텍처 개선.
3. 성능 및 강건성 입증: 시뮬레이션과 현실 세계 모두에서 proprioception 만을 사용하는 정책 및 기존 적응 (Adaptation) 기반 촉각 정책보다 뛰어난 성능과 강건성을 입증.

4. 실험 결과 (Results)

저자들은 손 안에서의 회전 (In-hand rotation) 과 손 안에서의 재배향 (In-hand reorientation) 두 가지 과제를 통해 PTLD 의 효과를 검증했습니다.

• 손 안 회전 (In-hand Rotation):
  • PTLD 는 proprioception 만을 사용하는 정책에 비해 182% 의 성능 향상을 보였습니다.
  • 물체의 미끄러짐 (Slip), 질량 변화, 손목 방향 변화 등에 대해 매우 강건한 성능을 발휘했습니다.
  • AAC 기반 단일 단계 학습이 기존 2 단계 RMA (Rapid Motor Adaptation) 방식보다 더 나은 성능을 보였습니다.
• 손 안 재배향 (In-hand Reorientation):
  • 이는 시뮬레이션에서 proprioception 만으로는 해결하기 어려운 매우 어려운 과제입니다.
  • PTLD 를 적용한 촉각 정책은 proprioception 만을 사용한 정책에 비해 목표 달성 수 (Number of goals reached) 가 57% 이상 향상되었습니다.
  • Transformer 기반의 자기회귀 (Autoregressive) 인코더를 사용하여 복잡한 다방향 재배향 작업을 성공적으로 수행했습니다.
• 상태 추정 능력:
  • 촉각 잠재 공간 (Latent Space) 에서 물체의 자세 (Orientation) 를 복원하는 실험에서, 촉각 정보를 포함했을 때 회전 오차가 proprioception 만을 사용할 때보다 절반 이상 감소했습니다 (Absolute Pose 기준 0.43 $\rightarrow$ 0.21).

5. 의의 및 결론 (Significance)

• 시뮬레이션 - 현실 격차 해소: 촉각 센서의 정확한 물리 시뮬레이션 없이도, 현실 세계의 고충실도 센서 (카메라 등) 를 '특권 정보'로 활용하여 강력한 촉각 정책을 학습할 수 있음을 증명했습니다.
• 복잡한 작업의 자동화: 단순한 접촉 작업을 넘어, 미끄러짐이나 힘의 변화를 실시간으로 감지하고 적응하는 복잡한 가정용 작업 (나사 조임, 문 손잡이 회전 등) 의 자동화 가능성을 열었습니다.
• 범용성: 이 방법론은 촉각뿐만 아니라 시각 (Vision) 등 다른 모달리티의 관측이 어려운 시뮬레이션 환경에서도 적용 가능한 일반적인 프레임워크로 확장 가능합니다.

한계점:

• 현실 세계의 특권적 센서 (카메라 등) 가 필요하므로, 완전히 비구조화된 환경 ("in-the-wild") 에서는 적용이 제한될 수 있습니다.
• 특권적 센서의 노이즈 수준이 최종 정책의 성능 상한을 결정합니다.

이 논문은 로봇이 촉각을 통해 인간과 유사한 정교한 조작 능력을 획득하는 데 있어 중요한 이정표가 되는 연구로 평가됩니다.