Observer Design for Augmented Reality-based Teleoperation of Soft Robots

이 논문은 모델링의 어려움으로 인해 활용되지 않았던 연성 로봇을 위해 마이크로소프트 홀로렌스 2 와 물리 기반 관측기를 결합한 증강현실 원격 제어 시스템을 제안하고, 모듈형 공압 매니퓰레이터 PETER 를 통해 약 5% 의 오차로 효과적인 상호작용이 가능함을 검증했습니다.

핵심

1. 왜 이 연구가 필요할까요? (문제 상황)

비유: "무른 젤리 로봇을 조종하는 것은 미끄러운 생선을 잡는 것과 같습니다."

기존의 로봇은 딱딱한 금속으로 만들어져서 움직이는 궤적을 예측하기 쉽습니다. 하지만 이 논문에서 다루는 **'부드러운 로봇 **(Soft Robot)은 고무나 젤리처럼 구부러지고 늘어나는 재질로 만들어졌습니다.

• 문제점: 이 로봇은 모양이 계속 변하기 때문에, "지금 로봇의 손가락이 어디에 있는가?"를 정확히 계산하는 것이 매우 어렵습니다. 마치 미끄러운 생선을 잡으려다 자꾸 놓치는 것과 비슷하죠.
• 기존의 한계: 가상현실 (VR) 기술을 로봇 조종에 쓰는 경우는 많지만, 이 '부드러운 로봇'에는 적용되지 못했습니다. 너무 복잡하고 계산이 느려서 실시간으로 로봇의 모습을 보여주기 힘들기 때문입니다.

2. 이 연구가 해결한 방법 (해결책)

비유: "눈이 가려진 조종사에게 '보조경'을 달아주다"

연구진은 **마이크로소프트 홀로렌스 2 **(HoloLens 2)라는 안경을 쓰고, 컴퓨터가 로봇의 상태를 계산해서 안경에 보여줍니다.

• **로봇 **(PETER) : 공기로 불어 부풀리는 '부드러운 팔'입니다. 마치 풍선처럼 생겼죠.
• **센서 **(센서의 눈) : 로봇 몸통에 작은 센서 (IMU, TOF) 를 붙였습니다. 이 센서들이 "지금 내가 얼마나 구부러졌는지", "높이가 얼마나 되었는지"를 컴퓨터에 알려줍니다.
• **컴퓨터 **(두뇌) : 센서에서 온 데이터를 받아서, 가상의 로봇을 만들어냅니다.
• **증강현실 **(안경) : 사용자는 안경을 통해 실제 로봇 위에 가상의 로봇이 겹쳐진 것을 봅니다. 마치 실제 로봇 위에 투명한 유령 로봇이 떠 있는 것처럼요.

3. 핵심 기술: "가상의 로봇이 어떻게 움직일까?"

이게 가장 중요한 부분인데, 물리 법칙을 간단하게 적용했습니다.

• 비유: "연을 날리는 원리"
  • 보통 복잡한 로봇은 수천 개의 공식을 써야 하지만, 이 연구는 "각각의 부위가 고정된 점을 중심으로 회전한다"고 가정했습니다.
  • 마치 연의 뼈대가 고정된 점에 맞춰 움직이는 것처럼, 로봇의 각 마디가 어떻게 움직일지 간단한 물리 공식으로 계산합니다.
  • 이렇게 하면 컴퓨터가 계산하는 속도가 매우 빨라져서, 실시간으로 안경에 로봇 모습을 보여줄 수 있게 됩니다. (정밀한 3D 시뮬레이션보다 정확도는 조금 떨어질 수 있지만, 속도가 훨씬 빠릅니다.)

4. 실험 결과: 얼마나 잘 작동할까요?

연구진은 실제 로봇을 움직이면서 이 시스템이 얼마나 정확한지 테스트했습니다.

• 결과: 로봇의 전체 길이 (약 85mm) 대비 **오차가 약 5% **(약 4~5mm) 정도였습니다.
• 해석: "아직 완벽하지는 않지만, 부드러운 로봇을 조종하는 데는 충분히 훌륭합니다!"
  • 로봇이 중앙에 있을 때는 아주 정확하지만, 팔을 너무 많이 구부려서 끝부분에 가면 오차가 조금 생깁니다. (비유하자면, 연을 너무 멀리 날리면 바람의 영향을 받아 위치가 조금 어긋나는 것과 비슷합니다.)
  • 하지만 기존에 있던 다른 기술들보다 계산 속도가 훨씬 빠르고, 증강현실과 잘 어울린다는 점이 큰 장점입니다.

5. 결론: 왜 이 연구가 중요한가요?

이 연구는 **"부드러운 로봇을 조종하는 새로운 방법"**을 제시했습니다.

• 직관성: 로봇이 어떻게 움직이는지 눈으로 바로 확인할 수 있어, 로봇 공학 전문가가 아니더라도 쉽게 조종할 수 있습니다.
• 확장성: 이 시스템은 로봇의 모양이나 크기를 쉽게 바꿔서 적용할 수 있습니다. 마치 레고 블록을 조립하듯 로봇을 커스터마이징할 수 있다는 뜻이죠.

한 줄 요약:

"이 연구는 부드러운 로봇을 조종할 때, **안경을 통해 로봇의 '가상 그림자'**를 실시간으로 보여주어, 사람이 로봇을 훨씬 쉽고 정확하게 조종할 수 있게 해주는 시스템을 만들었습니다."

이 기술이 발전하면, 재난 현장이나 수술실처럼 위험하거나 정밀한 작업이 필요한 곳에서 부드러운 로봇을 더 안전하게 조종할 수 있을 것입니다.

기술 요약

1. 문제 제기 (Problem)

• 소프트 로봇의 제어 난이도: 소프트 로봇은 변형이 자유롭고 비선형적인 동역학을 가지므로, 정확한 물리 모델을 실시간으로 구현하는 것이 매우 어렵습니다.
• 기존 기술의 한계: 가상현실 (VR) 및 증강현실 (AR) 은 기존 강체 로봇 (매니퓰레이터, 이동 로봇) 의 원격 조종에 널리 사용되지만, 소프트 로봇에는 적용되지 않았습니다.
  • 기존 시뮬레이션은 계산 비용이 너무 높아 실시간 재구성이 어렵거나, 정밀도는 높지만 (예: FEM 기반) 속도가 느려 실시간 제어 루프에 통합하기 어렵습니다.
  • 센서 데이터가 간접적인 경우가 많아 로봇의 상태를 추정하기 위한 '관측기 (Observer)'가 필수적입니다.
• 사용자 경험 부족: 기존 소프트 로봇용 AR 연구들은 사용자 인터페이스 (UI) 의 직관성이나 로봇 커스터마이징 기능을 충분히 다루지 못했습니다.

2. 방법론 (Methodology)

이 연구는 Microsoft HoloLens 2와 중앙 컴퓨터를 결합한 분산형 AR 원격 조종 시스템을 개발했습니다.

2.1 시스템 아키텍처

• 물리적 로봇 (PETER): 모듈형 6 입력 공압 매니퓰레이터 (2 개의 모듈, 각 모듈당 3 개의 액추에이터). 각 모듈에는 관성측정장치 (IMU) 와 시간비행 (TOF) 센서가 탑재되어 있습니다.
• 중앙 서버 (PETER-DK): Unity 엔진 기반. 로봇의 센서 데이터를 수신하고, 물리 모델을 기반으로 가상 로봇의 포즈를 계산하며, HoloLens 에 시각화 지시를 전달합니다.
• AR 인터페이스 (PETER-H): HoloLens 2 에서 실행. 로봇의 가상 모델을 시각화하고, 슬라이더를 통해 원하는 포즈를 설정하며, 물리 로봇을 해당 위치로 이동시키는 명령을 보냅니다.

2.2 상태 관측기 설계 (Observer Design)

실시간성과 정확도의 균형을 위해 복잡한 유한요소해석 (FEM) 대신 단순화된 기하학적/물리적 가정을 적용했습니다.

• 모델 단순화: 공압 특성을 무시하고 액추에이터를 '신축 가능한 막대'로 간주합니다.
• 기하학적 가정:
  • 각 모듈의 상부 플랫폼은 고정된 중심점을 기준으로 회전합니다.
  • 중심점의 높이는 액추에이터의 평균 높이와 같다고 가정합니다.
  • 모듈의 곡률 (Curvature) 이 10 도를 초과하지 않으므로, 곡률 일정 가정이 유효합니다.
• 계산 과정:
  1. TOF 센서로 높이 ($h$) 를, IMU 로 X/Y 축 회전 ($\phi, \vartheta$) 을 측정합니다.
  2. 회전 행렬을 적용하여 상부 플랫폼의 끝점 위치를 계산합니다.
  3. 다음 모듈의 기준점을 계산하기 위해 상부 플랫폼의 법선 벡터를 활용합니다.
  4. 칼만 필터 (Kalman Filter): TOF 센서의 노이즈 (갑작스러운 피크) 를 제거하기 위해 적용되었습니다. ($Q=0.01, R=0.40$). 모델에 대한 신뢰도를 센서 데이터보다 높게 설정했습니다.

3. 주요 기여 (Key Contributions)

1. 모듈형 소프트 로봇을 위한 통합 AR 인터페이스 개발:
   • 기존에 제한적이었던 소프트 로봇용 AR 인터페이스를 넘어, 로봇의 기하학적 파라미터 (액추에이터 수, 반지름, 높이 등) 를 사용자가 직접 커스터마이징할 수 있는 직관적인 UI 를 제공했습니다.
2. Unity 를 활용한 실시간 상태 관측기 구현:
   • 고비용의 FEM 이나 신경망 (NN) 기반 솔루션 대신, Unity 의 물리 엔진을 활용하여 실시간으로 로봇 상태를 추정하는 방법을 제시했습니다.
   • 이는 AR 환경에 쉽게 통합될 수 있으며, 가상 모델의 정확도를 평가하는 데 필수적인 요소입니다.

4. 실험 결과 (Results)

• 실험 설정: PETER 로봇을 1 분간 이동시키며, 100ms 간격으로 관측기가 추정한 위치와 OptiTrack 모션 캡처 시스템 (참조 표준) 의 실제 위치를 비교했습니다. 총 339 개의 샘플을 수집했습니다.
• 정확도:
  • 평균 절대 오차 (MAE): X 축 2.41mm, Y 축 2.59mm, 전체 3.93mm.
  • RMSE: 전체 4.68mm.
  • 상대 오차: 로봇의 전체 길이 (85mm) 대비 약 **4.6% ~ 5.5%**의 오차를 보였습니다.
• 오차 분석:
  • 로봇이 작업 공간의 중앙에 있을 때는 추정이 매우 정확했으나, 작업 공간의 끝부분 (Boundary) 에서는 오차가 증가하는 경향이 있었습니다 (최대 10mm).
  • 이는 선형성 가정의 한계나 고속 이동 시 발생하는 동적 효과 때문으로 분석됩니다.
• 성능 비교: 기존 연구 [12] 의 2% 오차보다는 낮지만, 계산 비용이 훨씬 낮고 AR 통합성이 뛰어나다는 장점이 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 소프트 로봇 원격 조종의 새로운 패러다임: 복잡한 모델링 없이도 실시간으로 작동 가능한 AR 기반 관측기 설계를 성공적으로 증명했습니다.
• 실용성: 약 5% 의 오차는 소프트 로봇의 응용 분야 (수술, 구조, 재활 등) 에 있어 충분히 수용 가능한 수준으로 판단됩니다.
• 향후 과제:
  • 작업 공간의 경계 영역에서 발생하는 오차를 줄이기 위해 보정 인자 적용 또는 더 정교한 시뮬레이션 기법 도입 필요.
  • 실제 사용자를 대상으로 한 사용자 경험 (UX) 평가 및 인터페이스 개선 연구 진행.

이 논문은 소프트 로봇의 복잡한 동역학을 단순화하여 AR 환경에 실시간으로 통합함으로써, 인간과 소프트 로봇 간의 직관적인 상호작용을 가능하게 하는 중요한 토대를 마련했습니다.