Optimum control strategies for maximum thrust production in underwater undulatory swimming

본 연구는 생체 모방 로봇 수영체를 머신러닝 및 직관적 모델과 결합하여 추력 생산을 극대화하기 위한 최적의 제어 전략을 식별함으로써, 유체 역학, 로보틱스, 그리고 생물학을 잇는 자율 수중 이동을 위한 실용적인 모델 프리(model-free) 구현 방식을 제공한다.

핵심

붐비는 슈퍼마켓에서 무거운 쇼핑 카트를 밀어야 하는 상황을 상상해 보세요. 부드럽고 꾸준하게 밀 수도 있고, 아니면 카트를 세게 확 밀어버린 다음, 속도가 줄어들기를 기다렸다가 다시 확 밀 수도 있습니다. 이 논문은 로봇 물고기가 물속에서 최대한 빠르게 헤엄치기 위해 어떤 방법이 가장 좋은지를 탐구합니다.

다음은 그 발견의 이야기를 쉬운 개념들로 나누어 정리한 내용입니다.

문제: 물고기처럼 헤엄치는 법

실제 물고기, 고래, 올챙기는 몸을 앞뒤로 흔들며 헤엄칩니다. 이는 물을 밀어내는 파동을 만들어내어 앞으로 나아가게 합니다. 과학자들은 오랫동안 궁금해했습니다: 가장 빠르게 가기 위한 완벽한 "흔들림(wiggle)"은 무엇일까?

부드럽고 완만한 파동(사인파와 같은)일까요? 들쭉날쭉한 삼각형 모양의 파동일까요? 아니면 전혀 다른 형태일까요? 이를 알아내기 위해 연구진은 로봇 물고기를 만들고, 컴퓨터가 가장 좋은 움직임을 학습하도록 했습니다.

실험: "강화 학습"으로 로봇 가르치기

연구팀은 부드러운 플라스틱으로 만든 유연한 꼬리를 가진 로봇 물고기를 제작했습니다. 그리고 실제 근육이 뼈를 당기는 것처럼 꼬리를 구부릴 수 있도록 케이블을 당기는 모터를 부착했습니다.

연구진은 로봇에게 특정 규칙(예: "2헤르츠로 흔들어라")을 프로그래밍하는 대신, **강화 학습(Reinforcement Learning)**을 사용했습니다. 이것은 강아지를 훈련시키는 것과 비슷합니다:

• 로봇은 다양한 움직임을 시도합니다.
• 로봇이 물을 더 강하게 밀어낼 때마다(더 많은 "추력"을 생성할 때마다), 컴퓨터는 "보상"을 줍니다.
• 비효율적으로 움직일 때마다, 보상을 받지 못합니다.
• 시간이 흐르면서 컴퓨터는 그 보상을 극대화할 수 있는 완벽한 패턴을 찾아냈습니다.

위대한 발견: "사각파(Square Wave)"

컴퓨터는 부드럽고 완만한 파동을 찾아내지 않았습니다. 대신, 가장 빠르게 헤엄치는 방법은 **사각파(Square Wave)**를 사용하는 것이라는 사실을 발견했습니다.

비유: 여러분이 놀이터의 그네를 타고 있다고 상상해 보세요.

• 부드러운 방식: 그네를 앞뒤로 느리고 리드미컬한 원을 그리며 부드럽게 미는 것입니다.
• 사각파 방식: 그네를 뒤쪽 끝까지 아주 세게 밀고, 거기서 잠시 멈췄다가, 즉시 앞쪽으로 아주 세게 확 미는 것입니다. 당신은 계속해서 "최대 속도 전진"과 "최대 속도 후진" 사이를 전환하고 있습니다. 중간 단계는 없습니다.

로봇은 모터를 두 가지 극한 상태(최대 왼쪽과 최대 오른쪽) 사이에서 즉각적으로 전환하는 것이 가장 많은 추력을 만들어낸다는 것을 발견했습니다. 이것은 마치 "뱅-뱅(Bang-Bang)" 제어기와 같습니다. 당신은 "뱅"(풀 파워)이거나, 아니면 "뱅"(반대 방향 풀 파워)인 상태입니다. "그럴 수도 있고 아닐 수도 있는" 중간은 없습니다.

이것이 왜 작동하는가?

연구진은 왜 이것이 작동하는지 이해하기 위해 수학적 모델을 만들었습니다. 그들은 두 가지 주요 이유를 찾아냈습니다.

1. 모터의 한계: 로봇의 모터에는 최대 속도가 있습니다. 만약 부드럽게 움직이도록 요청하면, 모터는 가속하고 감속하는 데 많은 시간을 소비하게 됩니다. 하지만 양 극단 사이를 즉각적으로 전환함으로써, 모터는 거의 모든 시간을 최고 속도로 회전하며 보낼 수 있습니다.
2. 물의 리듬: 물과 꼬리에는 자연스러운 "공진(resonance)"(그네가 가진 자연스러운 리듬과 같은 것)이 있습니다. 사각파는 이 리듬에 완벽하게 맞물려, 물의 저항에 맞서 에너지를 낭비하지 않으면서도 꼬리를 최대한 빠르게 움직이게 유지합니다.

"흔들기(Swinging)" 전략: 수학 없이도 가능함

연구진은 완벽한 사각파를 사용하려면 보통 로봇이 얼마나 무거운지, 꼬리가 얼마나 뻣뻣한지, 모터가 얼마나 빨리 도는지 정확히 알아야 한다는 것을 깨달았습니다. 현실 세계에서는 이를 알기 어렵습니다.

그래서 그들은 **"스윙 제어(Swinging Control)"**라고 부르는 영리한 "모델 프리(model-free)" 기법을 고안했습니다.

비유: 물리 법칙을 모르는 아이가 그네를 타는 것을 생각해 보세요. 아이는 완벽한 타이밍을 계산하지 않습니다. 대신, 그네가 궤도의 꼭대기에서 속도가 줄어들 때까지 기다렸다가, 그때 다시 밉니다.

• 로봇도 똑같이 행동합니다. 로봇은 꼬리를 관찰합니다.
• 꼬리가 빠르게 움직이고 있는 동안에는 한 방향으로 모터를 유지합니다.
• 꼬리의 속도가 너무 많이 줄어드는 순간, 로봇은 즉시 모터의 방향을 반대로 바꿉니다.

이 전략은 완벽한 수학적 해답만큼이나 잘 작동하면서도, 로봇의 물리 법칙에 대한 사전 지식을 요구하지 않습니다. 그저 일어나는 현상에 반응할 뿐입니다.

최종 증명

이 결과가 단순히 특정 로봇에서만 나타난 우연이 아님을 확인하기 위해, 연구진은 가상의 물탱크 속에서 헤엄치는 물고기에 대한 대규모 컴퓨터 시뮬레이션을 실행했습니다. 그들은 부드러운 파동, 들쭉날쭉한 파동, 그리고 "전환(switching)" 전략을 테스트했습니다.

결과: "전환" 전략(사각파)이 다른 어떤 방법보다 가상의 물고기를 더 빠르게 헤엄치게 만들었습니다.

핵심 요약

물속에서 최대한 빠르게 헤엄치기 위해서는 부드럽고 완만할 필요가 없습니다. 결단력이 필요합니다. 힘을 두 극단 사이에서 전환하고, 속도가 떨어지기 시작하는 즉시 방향을 바꾸십시오. 이것은 로봇의 움직임과 자연의 헤엄 사이의 간극을 메워주는 단순하고 강력한 규칙입니다.

기술 요약

기술 요약: 수중 파동형 유영의 최대 추력 생성을 위한 최적 제어 전략

문제 정의
물고기와 고래류가 사용하는 수중 파동형 유영은 내부 역학(근육 수축, 의사 결정)과 외부 유체-구조 상호작용 사이의 복잡한 상호작용을 포함한다. 생물학적 유영자들은 높은 효율을 달성하지만, 이를 인공 로봇 시스템에 재현하는 것은 여전히 과제로 남아 있다. 특히, 인공 유영자의 추력 생성을 극대화하기 위해 필요한 최적 제어 전략이 무엇인지에 대한 결론적인 이해가 부족하다. 기존 연구들은 속도와 꼬리 치기 빈도 사이의 상관관계를 탐구했으나, 광범위한 사전 시스템 지식 없이 추력을 극대화하기 위한 제어 신호의 형태나 정확한 메커니즘을 확정적으로 식별하지는 못했다.

방법론
저자들은 실험적 로봇 공학, 머신러닝, 이론적 모델링 및 수치 시뮬레이션을 결합한 다각적인 접근 방식을 채택하였다:

1. 실험 플랫폼: 변형 가능한 폴리머 골격과 지느러미를 가진 생체 모방 로봇 물고기를 제작하였다. 케이블로 연결된 방수 서보모터가 신체 변형을 유도한다. 로봇의 머리 부분은 힘 센서에 고정되어 종방향 추력($F_x$)을 측정한다.
2. 머신러닝 (강화 학습 - RL): 평균 추력을 극대화하는 제어 신호($\phi_c(t)$)를 식별하기 위해 딥 강화 학습 알고리즘을 사용하였다. 두 가지 입력 세트를 테스트하였다:
   • 상태 기반 입력: 서보모터 명령 각도, 횡방향 힘($F_y$), 그리고 그 미분값.
   • 시각 기반 입력: 카메라 이미지 시퀀스.
     RL 에이전트는 명령 각도를 $[-\Phi, \Phi]$ 범위 내에서 변화시키도록 제한되었다.
3. 이론적 모델링: 다음을 결합한 수학적 모델을 개발하였다:
   • 서보모터에 의해 구동되는 지느러미 각도($\alpha$)의 역학을 설명하는 감쇠 조화 진동자 방정식.
   • 명령 각도에 따른 서보모터의 내부 역학(포화 효과)을 설명하는 비선형 방정식.
   • 지느레 각속도의 제곱($\dot{\alpha}^2$)에 비례하는 추력 방정식.
     이 모델은 실험적 발견을 검증하기 위해 RL을 통해 최적화되었다.
4. 분석적 유도: 폰트랴긴의 최대 원리(Pontryagin's maximum principle)를 적용하여 서로 다른 한계 조건(빠른 vs 느린 서보모터) 하에서 특정 제어 전략의 최적성을 설명하였다.
5. 수치 시뮬레이션: 유연한 빔(viscoelastic beam)으로 모델링된 유영자를 실제적인 수중 환경에서 검증하기 위해 2D 직접 유체-구조 상호작용(FSI) 시뮬레이션을 수행하였다.

주요 결과

• 최적 제어 신호 형태: 실험적 RL과 이론적 모델링 모두 **사각파 함수(square wave function)**가 최적의 제어 신호라는 점에 수렴하였다. 명령 각도는 허용된 두 극단값($\pm \Phi$) 사이를 급격하게 전환된다. 이 "뱅뱅(bang-bang)" 제어는 다양한 주파수에서 사인파 및 삼각파보다 일관되게 우수한 성능을 보였다.
• 최적 주파수: 최대 추력은 시스템의 내부 역학 및 명령 진폭($\Phi$)에 의존하는 특정 주파수($f^*$)에서 달성된다.
  • 빠른 서보모터(모터가 명령을 추적할 수 있는 경우)의 경우, 최적 주파수는 시스템의 자연 파동 주파수에 근접한다 ($f^* \approx \omega_0/2\pi$).
  • 느린 서보모터의 경우, 최적 주파수는 각도를 최대 각속도로 훑는 데 필요한 시간에 의해 결정된다 ($f^* = \Omega/4\Phi$).
• 모델 프리 "스윙잉(Swinging)" 전략: 저자들은 "스윙잉 제어"라고 불리는 실용적인 모델 프리 제어 전략을 제안하였다. 이 전략은 지느러미의 각속도가 관찰된 최대 값의 일정 비율($C$)로 떨어질 때 명령의 부호를 전환한다.
  • 이 방식은 시스템 파라미터(질량, 강성, 감쇠)에 대한 사전 지식이 필요 없다.
  • 임계값 $C$를 0.6으로 설정할 경우, 광범위한 시스템 파라미터 범위에서 최대 가능 추력 효율의 95% 이상을 달성한다.
• 검증: 2D FSI 시뮬레이션은 사각파 강제력이 가장 높은 순항 속도를 생성함을 확인하였다. 또한, 시뮬레이션에서의 "스윙잉" 컨트롤러는 유영자를 거의 최대 속도로 추진시키는 주파수를 자동으로 선택하였다.

의의 및 주장
본 논문은 수중 이동의 이해와 최적화를 위한 통합된 프레임워크를 제공함으로써 유체 역학, 로봇 공학, 생물학을 연결한다고 주장한다. 주요 기여는 다음과 같다:

1. 최적 전략의 식별: 본 연구는 서보모터의 포화와 외부 유체 공명 사이의 상호작용에 의해 구동되는, 가장 효과적인 방법으로서 사각파(뱅뱅) 제어 신호를 명확히 규명하였다.
2. 실용적 구현: "스윙잉 제어" 전략의 도입은 자율형 로봇 유영자를 위한 견고한 모델 프리 솔루션을 제공한다. 이는 복잡한 시스템 식별이나 물리 방정식에 대한 사전 지식 없이도 작동하며, 실제 현장 배포에 매우 적합하다.
3. 이론적 통찰: 본 연구는 왜 이 전략이 작동하는지를 설명하며, 단순화된 모델과 복잡한 수치 시뮬레이션을 통해 검증된 꼬리 속도 극대화 및 시스템 공명 특성을 연결하여 설명한다.

저자들은 이러한 발견이 효율적인 인공 유영자 설계에 귀중한 통찰을 제공하며, 잠재적으로 인간 수중 운동선수의 성능을 향提升할 수 있다고 결론지었다. 다만, 이는 도출된 물리적 원리의 잠재적 응용으로서 제시된 것이지 즉각적이고 테스트된 결과로 프레임화된 것은 아니다.