SENSE-STEP: Learning Sim-to-Real Locomotion for a Sensory-Enabled Soft Quadruped Robot

1. 문제 제기 (Problem)

소프트 4 족 보행 로봇은 유연한 구조로 인해 충격 흡수, 안전한 물리적 상호작용, 불규칙한 지형 적응 등에서 강체 로봇보다 우수한 잠재력을 가지고 있습니다. 그러나 다음과 같은 제어상의 난제들로 인해 폐루프 (closed-loop) 보행 구현이 여전히 어렵습니다.

• 고차원적 변형 및 모델링의 어려움: 소프트 구조는 복잡한 고차원 변형을 일으키며, 강체 운동학 모델로는 이를 정확히 표현할 수 없습니다.
• 비선형성 및 히스테리시스: 공압 구동기의 히스테리시스와 강한 비선형 동역학이 제어 정밀도를 떨어뜨립니다.
• 제한된 감각 정보: 기존의 고유감각 (proprioception, 예: 조인트 엔코더) 만으로는 지면과의 상호작용 (접촉력, 미끄러짐 등) 을 정확히 파악하기 어렵습니다.
• 기존 연구의 한계: 기존 학습 기반 제어 연구는 시뮬레이션에 국한되거나, 구동력과 형태적 복잡도가 낮은 하드웨어에서만 검증되었습니다.

2. 방법론 (Methodology)

가. 시스템 개요: TActile Soft Quadruped (TASQ)

• 구동 방식: 4 개의 다리에 PSSOA (Pneumatic Single-Structure Omnidirectional Actuator) 를 적용하여 공압으로 구동됩니다. 이는 다방향 굽힘과 축방향 신축을 가능하게 합니다.
• 감각 시스템 (핵심):
  • 촉각 흡착 컵 (Tactile Suction Cup): 각 발끝에 장착되며, 진공 발생기를 통해 지면에 능동적으로 고정 (anchoring) 됩니다.
  • 힘 추정 센서: 실리콘 컵 내부에 네오디뮴 자석 3 개와 PCB 에 장착된 홀 효과 센서 3 개를 배치하여, 컵의 변형에 따른 자기장 변화를 측정합니다. 이를 통해 수직 지면 반발력 (Normal GRF) 을 실시간으로 추정합니다.
  • 관성 측정 장치 (IMU): 로봇 본체에 장착되어 자세와 각속도를 제공합니다.
• 제어 입력: 관성 데이터, 촉각 힘 추정치, 내부 압력 상태, 목표 지향 정보를 기반으로 합니다.

나. 학습 기반 제어 프레임워크 (Learning-Based Control Framework)

시뮬레이션에서 훈련된 정책을 실제 로봇에 적용하기 위해 3 단계 학습 파이프라인을 제안합니다 (Fig. 3 참조):

1. 참조 보행 (Reference Gait) 구축: 실제 로봇 실험을 통해 코끼리의 느리고 안정적인 보행 패턴에서 영감을 얻은 휴리스틱 피드포워드 보행을 생성합니다.
2. 모방 학습 (Imitation Learning, IL) 워밍업:
   • 시뮬레이션 환경에서 행동 복제 (Behavior Cloning, BC) 를 통해 참조 보행을 모방하는 초기 정책을 학습합니다.
   • 이는 희소 보상 (sparse reward) 문제와 초기 탐색 불안정성을 해결하여 학습을 가속화합니다.
3. 강화 학습 (Reinforcement Learning, RL) 정교화:
   • SAC (Soft Actor-Critic) 알고리즘을 사용하여 시뮬레이션에서 정책을 미세 조정 (fine-tuning) 합니다.
   • 도메인 랜덤라이제이션 (Domain Randomization): 링크 질량, 강성, 감쇠, 히스테리시스, 센서 노이즈 등을 무작위화하여 실제 환경과의 차이 (Sim-to-Real gap) 를 줄이고 정책의 강건성을 높입니다.
   • 보상 함수: 전진 속도, 몸체 자세 안정성 (롤/피치/요), 목표 높이 유지, 명령의 부드러움을 종합적으로 고려합니다.

다. 상태 및 행동 표현

• 상태 (Observation): IMU 데이터, 추정된 지면 반발력, 압력 상태, CPG(중추 패턴 발생기) 신호 등을 포함하며, 부분 관측성을 완화하기 위해 최근 4 프레임의 상태를 스택하여 136 차원의 벡터로 입력합니다.
• 행동 (Action): 12 개의 공압 챔버 압력 증가량과 4 개의 흡착 컵 제어 명령을 연속적으로 출력합니다.

3. 주요 기여 (Key Contributions)

1. 촉각이 가능한 소프트 4 족 로봇 플랫폼 (TASQ): 공압 구동과 능동적인 흡착 컵, 그리고 자기장 기반의 유연한 힘 센서를 통합한 새로운 하드웨어를 개발했습니다.
2. 시뮬레이션 - 실제 (Sim-to-Real) 전이 프레임워크: 모방 학습 (IL) 과 강화 학습 (RL) 을 결합한 3 단계 학습 전략을 통해, 고차원 소프트 로봇의 폐루프 보행을 성공적으로 실현했습니다.
3. 센서 퓨전 기반 제어: 외부 카메라나 모션 캡처 없이, 관성 (IMU) 과 촉각 (Ground Reaction Force) 피드백만으로 경사면 및 평지에서의 안정적 보행을 가능하게 했습니다.
4. 실험적 검증: 실제 하드웨어에서 폐루프 제어의 유효성을 입증하고, 센서와 흡착 기능의 기여도를 분석했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 성능:
  • RL 기반 정책은 모방 학습만 사용한 기준선 (Baseline) 대비 평지 보행 속도를 약 175% 향상시켰습니다.
  • 경사면 (2.5°) 에서 추가 학습을 통해 일반화 성능을 입증했습니다.
• 실제 로봇 성능 (Physical Hardware):
  • 평지: 폐루프 제어는 오픈루프 (Open-loop) 기준선 대비 41% 의 전진 속도 향상을 보였습니다.
  • 경사면 (5°): 폐루프 제어는 보행 속도를 91% 까지 향상시켰으며, 로봇이 경사면을 보정하여 수평 자세를 유지하도록 했습니다.
• Ablation Study (성분 제거 실험):
  • 센서 제거: IMU 와 지면 반발력 (GRF) 정보를 무작위 노이즈로 대체하면 평지에서 17%, 경사면에서 56% 의 성능 저하가 발생하여, 감각 피드백이 안정성에 필수적임을 증명했습니다.
  • 흡착 컵 제거: 흡착 기능을 끄면 평지 및 경사면 모두에서 전진 운동이 불가능해져, 능동적인 지면 고정 (anchoring) 이 소프트 로봇 보행에 결정적임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 촉각 피드백과 학습 기반 제어의 통합이 소프트 로봇의 Sim-to-Real 전이를 가능하게 하는 핵심 요소임을 입증했습니다.

• 기술적 의의: 복잡한 비선형 동역학과 히스테리시스를 가진 소프트 로봇에서도, 정교한 물리 모델링 없이도 센서 데이터를 활용한 학습 기반 제어가 효과적임을 보여줍니다.
• 응용 가능성: 카메라나 외부 추적 장비 없이도 작동 가능한 '맹보행 (Blind Locomotion)' 능력은 장애물 환경이나 시야가 제한된 지역 탐사, 구조 활동 등에 큰 잠재력을 가집니다.
• 미래 전망: 본 연구는 더 복잡한 지형, 부분적인 발 고장, 외부 교란에 대한 강건성을 검증하기 위한 기반을 마련했습니다.

요약하자면, 이 연구는 TASQ라는 하드웨어 플랫폼을 통해, 촉각 센서와 강화 학습을 결합한 제어 전략이 기존 소프트 로봇의 보행 한계를 극복하고 실제 환경에서 고성능을 발휘할 수 있음을 성공적으로 증명했습니다.