Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

1. 문제 정의 (Problem)

• 접촉이 풍부한 조작 (Contact-Rich Manipulation) 의 난제: 로봇이 물체를 조작할 때 시각 (Vision), 힘/토크 (Force/Torque), 고유감각 (Proprioception) 등 다양한 센서 모달리티를 통합적으로 활용해야 합니다. 특히 접촉이 발생하는 순간에는 시야에서 보이지 않는 미세한 힘 피드백이 중요해지므로, 각 센서의 중요도가 작업 수행 단계에 따라 동적으로 변화합니다.
• 강화 학습 (RL) 의 한계: 기존 RL 에이전트는 이러한 다감각 환경에서 학습하기 어렵습니다. 특히 센서 노이즈, 동적인 환경 변화, 그리고 불완전한 센서 정보 (예: 특정 센서 손실) 에 대해 취약하며, 이를 극복하기 위해 방대한 양의 데이터가 필요합니다.
• 데이터 수집의 비효율성: 모방 학습 (Imitation Learning) 은 전문가 데이터가 필요하여 확장성이 낮고, RL 은 자체 탐색을 통해 학습하지만 접촉이 풍부한 작업에서는 학습 속도가 느리고 불안정합니다.

2. 제안 방법론: MSDP (MultiSensory Dynamic Pretraining)

저자들은 MSDP라는 새로운 프레임워크를 제안하여, 접촉이 풍부한 작업을 위한 표현력 있는 다감각 표현 (Multisensory Representations) 을 학습하고 이를 RL 정책에 효과적으로 적용합니다.

A. 핵심 아키텍처 및 학습 과정

1. 마스크된 오토인코딩 기반 사전 학습 (Masked Autoencoding Pretraining):

   • 입력: 시각 (RGB), 힘/토크 (FT), 고유감각 (관절 위치/속도) 등 다양한 센서 데이터를 개별 인코더 (CNN, 선형 레이어) 를 통해 임베딩 공간으로 매핑합니다.
   • 마스크 전략: 센서 토큰의 70% 를 무작위로 마스킹 (가림) 하고, 나머지 센서 정보를 기반으로 마스킹된 부분을 재구성 (Reconstruct) 하거나 다음 상태 (Next Observation) 를 예측합니다.
   • 목적: 이 과정은 크로스-모달 예측 (Cross-modal Prediction) 을 유도하여, 한 센서가 누락되거나 노이즈가 발생하더라도 다른 센서 정보를 통해 환경 역학과 작업 상태를 추론할 수 있는 강력한 융합 표현을 학습하게 합니다.

2. 비대칭적 잠재 연결 (Asymmetric Latent Bridging):

   • 사전 학습된 고정된 (Frozen) 인코더에서 RL 에이전트 (Actor/Critic) 로 정보를 전달할 때, 단순한 연결 (Concatenation) 이나 CLS 토큰 사용 대신 비대칭 구조를 도입합니다.
   • 크리틱 (Critic): 크로스-어텐션 (Cross-Attention) 메커니즘을 사용하여 학습 가능한 쿼리 (Query) 로부터 작업별 동적 특징 (예: 물체 위치, 접촉 상태) 을 추출합니다. 이는 가치 함수 추정에 필요한 세밀한 환경 이해를 돕습니다.
   • 액터 (Actor): 평균 풀링 (Mean Pooling) 을 사용하여 모든 센서 임베딩을 안정된 저차원 표현으로 통합합니다. 이는 정책 학습의 안정성을 보장합니다.

3. RL 파이프라인:

   • 사전 학습 단계는 오프라인 데이터 (시뮬레이션 또는 제한된 실증 데이터) 로 수행됩니다.
   • 온라인 RL 단계에서는 사전 학습된 인코더를 고정하고, 크리틱의 어텐션 레이어와 정책 네트워크만 학습합니다. 시뮬레이션에서는 SAC, 실제 로봇에서는 RLPD 알고리즘을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 마스크된 오토인코딩 기반 다감각 사전 학습 전략: 다양한 센서 모달리티 간의 상호작용을 학습하여, 센서 노이즈나 일부 센서 손실 상황에서도 견고한 표현을 생성하는 새로운 전략을 제시했습니다.
2. 비대칭적 잠재 연결 아키텍처: 크리틱에는 동적 특징 추출을 위한 크로스-어텐션을, 액터에는 안정성을 위한 풀링을 적용하여 RL 학습 효율성과 안정성을 동시에 극대화했습니다.
3. 실제 로봇에서의 초고속 학습 및 실증: 시뮬레이션뿐만 아니라 실제 로봇 (Franka Arm) 에서도 6,000 번의 온라인 상호작용 (약 55 분) 만으로 거의 최적의 성능을 달성함을 증명했습니다. 이는 기존 방법들에 비해 데이터 효율성이 월등히 높습니다.

4. 실험 결과 (Results)

• 시뮬레이션 환경: 말뚝 삽입 (Peg Insertion), 큐브 밀기 (Push Cube), 서랍 닫기 등 4 가지 접촉이 풍부한 작업에서 기존 베이스라인 (Concat, PoE, VTT 등) 을 압도적으로 능가했습니다. 특히 센서 노이즈가 있는 환경에서 학습 속도가 빨랐고 최종 성공률이 높았습니다.
• 센서 제거 실험 (Ablation Study):
  • 힘/토크 센서 (FT) 가 없으면 말뚝 삽입 시 과도한 힘을 가해 실패하거나 로봇/환경을 손상시킬 위험이 있었습니다.
  • 고유감각이 없으면 시각 노이즈 하에서 정확한 말뚝 자세를 파악하기 어려웠습니다.
  • MSDP 는 모든 센서를 활용할 때 가장 빠르고 안정적인 성능을 보였습니다.
• 실제 로봇 실험 (Real-world):
  • 데이터 효율성: 말뚝 삽입 및 큐브 밀기 작업에서 6,000 번의 상호작용만으로 성공률을 80% 이상 달성했습니다.
  • FT 센서의 효과: 힘/토크 센서를 추가함으로써 실제 작업 성공률이 14% 향상되었습니다.
  • 강건성 (Robustness): 훈련 중 보지 못한 조명 변화 (역광, 디스코 조명), 가림 (Occlusion), 외부 힘 등에 대해 90~100% 의 성공률을 유지하며 뛰어난 강건성을 입증했습니다.
  • Sim-to-Real 전이: 별도의 시뮬레이션-실제 전이 (Sim-to-Real) 과정 없이, 사전 학습된 다감각 잠재 표현을 기반으로 실제 로봇에서 직접 학습하여 성공했습니다.

5. 의의 및 결론 (Significance)

이 논문은 복잡한 접촉 기반 로봇 조작 작업에서 다감각 정보의 통합과 데이터 효율성 문제를 해결하는 강력한 솔루션을 제시합니다.

• 효율성: 기존 RL 이 수백만 번의 상호작용이 필요했던 반면, MSDP 는 수천 번의 상호작용으로 고수준 작업을 습득할 수 있게 하여 실제 로봇 적용의 장벽을 낮췄습니다.
• 강건성: 다양한 센서 노이즈와 환경 변화에 적응할 수 있는 표현을 학습함으로써, 실제 불확실한 환경에서의 로봇 제어 신뢰성을 높였습니다.
• 확장성: 새로운 센서 (촉각, 오디오 등) 를 추가하거나 기존 표현을 미세 조정 (Fine-tuning) 하는 데에도 유연하게 적용 가능한 아키텍처를 제안했습니다.

결론적으로, MSDP 는 자기지도식 학습과 RL 의 장점을 결합하여, 제한된 데이터로도 복잡하고 역동적인 접촉 작업을 수행할 수 있는 적응형 로봇 에이전트 개발의 새로운 방향성을 제시합니다.