HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

이 논문은 접촉이 풍부한 (contact-rich) 작업에서 강화 학습 (RL) 정책의 시뮬레이션 - 현실 (Sim-to-Real) 전이를 가능하게 하기 위해 HydroShear라는 새로운 고충실도 촉각 전단 (shear) 시뮬레이션 모델을 제안합니다.

1. 문제 정의 (Problem)

로봇의 보행 (locomotion) 분야에서는 시뮬레이션에서 학습한 정책을 현실에 그대로 적용하는 'Sim-to-Real' 패러다임이 성공적으로 정착되었으나, 접촉이 빈번하고 정교한 조작 (manipulation) 작업에서는 여전히 큰 장벽에 직면해 있습니다.

• 촉각 센서의 시뮬레이션 한계: 기존 방법들은 주로 비전 기반 센서의 이미지 렌더링 품질에 집중하여 시각적 충실도는 높였으나, 힘과 전단 (shear) 힘에 대한 모델링은 지나치게 단순화되었습니다.
• 현실과의 괴리 (Sim-to-Real Gap): 실제 접촉 시 발생하는 복잡한 물리적 상호작용 (마찰, 미끄러짐, 점착 - 미끄러짐 전이, 히스테리시스 등) 을 정확히 모사하지 못해, 시뮬레이션에서 학습된 RL 정책이 현실에서 작동하지 않는 문제가 발생합니다.
• 기존 방법의 부족:
  • 유한 요소법 (FEM): 정확하지만 계산 비용이 너무 커서 대규모 RL 학습에 비효율적입니다.
  • 기하학적/경로 기반 접근법 (Penalty-based): 계산은 빠르지만, 센서 고무막의 변형에 따른 '촉각 그림자 (tactile shadowing)' 효과나 경로 의존적인 변형을 포착하지 못합니다.
  • FOTS (Fast Optical Tactile Simulator): SE(2) 평면 운동은 잘 처리하지만, 3 차원 공간 운동 (SE(3)) 이나 구름 (rolling) 등 복잡한 상호작용을 정확히 시뮬레이션하지 못합니다.

2. 방법론 (Methodology)

저자들은 HydroShear를 제안하여 비홀로노믹 (non-holonomic) 유체 탄성 (hydroelastic) 모델을 기반으로 한 고충실도 촉각 전단 시뮬레이션을 구현했습니다.

핵심 기술

1. SDF 기반의 경로 의존적 모델링:
   • 물체 (인덴터) 와 센서 고무막 (엘라스토머) 사이의 상호작용을 **부호 거리 함수 (Signed Distance Function, SDF)**로 표현합니다.
   • 단순히 현재 상태뿐만 아니라, 물체가 센서 표면을 이동해 온 **이력 (path-dependent)**을 추적하여 힘과 전단력을 누적합니다. 이를 통해 점착 (stick), 미끄러짐 (slip), 히스테리시스 현상을 자연스럽게 모사합니다.
2. 팽창 (Dilation) 과 전단 (Shear) 분리 모델링:
   • 팽창 (Dilation): 물체가 수직으로 침투할 때 발생하는 고무막의 변형을 모델링합니다.
   • 전단 (Shear): 물체의 접선 방향 이동이나 회전 (SO(3)) 으로 인해 발생하는 전단력을 모델링합니다. 이는 물체 표면 점들의 3 차원 변위 이력을 추적하여 계산됩니다.
3. 재귀적 힘 추적 (Recursive Force Tracking):
   • 점성 탄성 (viscoelastic) 특성을 고려하여, 이전 시간 단계의 힘과 현재 변위를 기반으로 재귀적으로 접촉 힘을 계산합니다.
   • 쿨롱 마찰 (Coulomb friction) 을 적용하여 미끄러짐 임계값을 정확히 반영합니다.
4. GPU 병렬화 및 물리 엔진 독립성:
   • 계산 과정이 GPU 병렬 처리에 최적화되어 있어 대규모 RL 학습에 효율적입니다.
   • 하부 물리 엔진 (Isaac Gym 등) 에 의존하지 않고, 임의의 watertight 기하학적 형상에서 힘장을 생성할 수 있습니다.

학습 파이프라인 (Teacher-Student Distillation)

• Teacher: 시뮬레이션 내에서 특권 정보 (Privileged State, 예: 접촉 힘, 물체 자세 등) 를 사용하여 RL 정책을 학습합니다.
• Student: 실제 로봇이 관측할 수 있는 정보 (엔드 이펙터 자세, 목표 위치, 촉각 전단 데이터) 만을 입력받아 학습합니다.
• 비대칭 액터 - 크리틱 증류 (AACD): Teacher 의 크리틱 (Critic) 을 초기화하고 Student 의 액터 (Actor) 를 학습시켜, 현실에서 특권 정보 없이도 높은 성능을 발휘하도록 합니다.
• 접촉 페널리 커리큘럼: 초기에는 접촉 페널리를 제거하여 작업을 성공하게 만든 후, 페널리를 추가하여 과도한 접촉을 방지하고 안전한 정책을 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. 고충실도 전단 시뮬레이션: 기존 방법들보다 정밀하게 마찰, 미끄러짐, 경로 의존적 변형을 모델링하여 실제 GelSight Mini 센서의 데이터와 높은 일치도를 보입니다.
2. Zero-shot Sim-to-Real 전이: 별도의 현실 데이터 수집이나 미세 조정 없이, 시뮬레이션에서 학습된 정책이 복잡한 접촉 작업에서 즉시 작동함을 증명했습니다.
3. 다양한 작업에서의 검증: 핀 삽입, 박스 포장, 책 정리, 서랍 열기 등 4 가지 다양한 접촉 풍부 작업에서 기존 방법 (TacSL, FOTS) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 정확도 평가

• 데이터: GelSight Mini 센서를 사용하여 팽창, 병진 전단, 비틀림 (twist), 구름 (rolling) 등 다양한 모션에 대한 데이터를 수집하여 모델 파라미터를 보정했습니다.
• 성능: HydroShear 는 기존 방법 (TacSL, FOTS) 대비 모든 전단 유형에서 **낮은 RMSE (평균 제곱근 오차)**와 **높은 코사인 유사도 (Cosine Similarity)**를 기록했습니다. 특히 SE(3) 운동 (tilt, roll) 이 포함된 복잡한 상호작용에서 FOTS 보다 월등히 정확한 전단 벡터장을 생성했습니다.

Zero-shot Sim-to-Real RL 성능

4 가지 실제 로봇 작업 (Franka Panda 로봇 + GelSight Mini) 에서 성공률을 비교했습니다:

• 평균 성공률: HydroShear 는 **93%**의 성공률을 기록하여, 기존 방법들 (TacSL: 34%, FOTS 계열: 58-61%) 을 크게 앞섰습니다.
• 성공 요인:
  • Bin Packing: 큰 접촉 면적과 비틀림 상호작용을 정확히 모델링하여, 전단 크기 정보를 잃어버리는 기존 Normalization 기반 방법들보다 우월했습니다.
  • Drawer Pulling: 외부 힘 교란 (perturbation) 에 따른 미끄러짐을 감지하고 그리퍼 힘을 정밀하게 조절하는 능력을 시뮬레이션에서 정확히 학습했습니다.
  • Book Shelving: 중력이 삽입 축과 수직인 상황에서, 촉각 그림자 효과와 전단 방향 정보를 통해 정확한 자세 추정을 가능하게 했습니다.

계산 속도

• FOTS 의 재구현 (Reimpl.) 이 가장 빠르지만, HydroShear 는 FOTS(Original) 보다 훨씬 빠르며, 병렬화 기술의 발전으로 인해 실시간 RL 학습에 충분히 실용적인 속도를 보입니다.

5. 의의 및 결론 (Significance)

이 연구는 접촉이 풍부한 로봇 조작 분야에서 촉각 시뮬레이션의 충실도 (Fidelity) 가 Sim-to-Real 전이의 핵심 열쇠임을 입증했습니다.

• 기술적 혁신: 단순한 이미지 렌더링을 넘어, 물리 법칙 (유체 탄성, 마찰, 점착/미끄러짐) 을 기반으로 한 전단력 모델링을 통해 로봇이 '만지는 힘'을 이해하고 적응할 수 있게 했습니다.
• 실용적 가치: 복잡한 삽입 작업, 다중 물체 조작, 미끄러짐이 발생하는 상황 등 기존에는 시뮬레이션으로 학습하기 어려웠던 고난도 작업을 성공적으로 해결할 수 있는 새로운 기준을 제시했습니다.
• 미래 전망: 이 방법은 다양한 비전 기반 촉각 센서와 로봇 조작 작업에 적용 가능하여, 더욱 정교하고 자율적인 로봇 조작 시스템 개발의 기반을 마련했습니다.

요약하자면, HydroShear는 시뮬레이션과 현실 간의 촉각 데이터 격차를 해소하고, 복잡한 접촉 환경에서도 로봇이 스스로 학습하여 성공적으로 작업을 수행할 수 있는 강력한 프레임워크를 제공합니다.