Learning, locomotion, and navigation of soft synthetic snakes in three-dimensional, heterogeneous environments

본 논문은 실제 데이터로 재구성된 복잡하고 이질적인 3 차원 환경을 견고하게 항해하기 위해 단순화된 지형에서 연성 합성 뱀이 이동 원리를 학습하고 이를 적응적 전략으로 구성할 수 있게 하는 생체 모방 강화 학습 프레임워크를 제시한다.

핵심

로봇 뱀을 더러운 실제 뒷마당에 있는 돌, 모래, 불규칙한 융기물 사이를 미끄러지도록 가르쳐 보라고 상상해 보세요. 이제 이 로봇이 모든 근육을 어떻게 움직일지 알려주는 복잡한 수학 방정식으로 가득 찬 두뇌를 갖지 않고, 대신 스스로 상황을 파악할 수 있는'현명한 본능'을 가지고 있다고 상상해 보세요.

이 논문은 바로 그 내용을 설명합니다: 생물학에서 영감을 받은 기법과 컴퓨터 학습을 결합하여 유연하고 다리가 없는 로봇 뱀이 까다로운 3 차원 환경을 항해하도록 가르치는 새로운 방법입니다.

다음은 간단한 비유를 사용하여 그들이 어떻게 이를 수행했는지의 개요입니다:

1. 문제: 너무 많은 근육, 너무 많은 혼란

실제 뱀은 놀랍습니다. 다리가 없어도 균열 사이로 구멍을 통과하고, 바위를 기어오르며, 모래 위를 미끄러질 수 있습니다. 하지만 로봇 뱀을 만드는 것은 어렵습니다. 그 몸체가 구부릴 수 있는 무한한 방식이 있는 긴 유연한 국수처럼 만들기 때문입니다. 만약 컴퓨터로 그 국수의 모든 인치를 제어하려 한다면, 수학이 너무 복잡해져 로봇이 멈추게 될 것입니다.

연구자들은 모든 움직임을 완벽하게 계산하려 하기보다는 경험에서 배우는'단순화된 두뇌'를 로봇에게 주어 이 문제를 해결하고자 했습니다.

2.'근육 기억'기법 (구동)

로봇에게 모든 근육을 움직이도록 프로그래밍하는 대신, 팀은 로봇에게미리 설정된 춤 동작을 부여했습니다.

• 비유: 뱀의 움직임을 로프를 따라 퍼지는 파도로 생각하세요. 연구자들은 로봇에 간단한'이중 파도'춤 동작을 프로그래밍했습니다. 하나는 옆으로 움직이는 파도 (뱀이 미끄러지는 것처럼) 이고, 다른 하나는 위아래로 움직이는 파도 (몸을 들어 올리는 것) 입니다.
• 마법: 뱀이 얼마나 높이 들어 올리는지와 파도의 타이밍이라는 두 개의 노브만 조정하면 로봇은 전체 행동을 바꿀 수 있습니다. 왼쪽으로 돌거나, 오른쪽으로 돌거나, 직진하거나, 심지어'사이드와인딩'춤 (사막 뱀처럼 옆으로 이동) 을 추기도 합니다. 이는 복잡한 문제를 두 개의 다이얼을 조정하는 간단한 게임으로 바꿉니다.

3.'여섯 번째 감각' (감지)

로봇은 무엇을 걷고 있는지 알아야 합니다. 미끄러운 모래입니까? 거친 잔디입니까?

• 비유: 연구자들은 물고기 떼나 새 떼가 함께 움직이는 방식에 기반한'느낌'시스템을 로봇에 부여했습니다. 뱀의 배에 가해지는 힘을 듣는 가상'진동자' (작고 동기화된 메트로놈과 같은) 그룹을 사용했습니다.
• 작동 원리: 뱀이 거친 땅에 부딪히면 메트로놈들이 동기화되어 두뇌에'이봐요, 우리는 거친 지형에 있어요!'라고 알려줍니다. 매끄러운 모래에 부딪히면 다르게 동기화됩니다. 이는 값비싼 카메라나 레이저 없이도 로봇이 실시간으로 환경을 감지할 수 있게 합니다.

4. 학습 과정 (강화 학습)

팀은 로봇을 위한 매뉴얼을 작성하지 않았습니다. 대신, 공을 가져오기를 배우는 강아지처럼 로봇이시행착오를 통해 학습하도록 했습니다.

• 1 단계: 샌드박스: 먼저, 뱀이 평평하고 단순한 바닥 (일부는 거칠고 일부는 매끄러움) 에서 연습하도록 했습니다. 로봇은 수백만 가지 다른 움직임을 시도하며 목표에 가까워질 때마다'점수'를 받고, 막힐 때마다'점수를 잃었습니다. 결국, 거친 땅용과 매끄러운 모래용이라는 두 가지 완벽한'춤 동작'을 학습했습니다.
• 2 단계: 전환: 그런 다음, 반은 거칠고 반은 매끄러운 혼합 환경에 로봇을 넣었습니다. 로봇 전체를 다시 훈련시키는 대신, 간단한 규칙을 주었습니다. "센서가 거친 것을 감지하면 거친 땅용 춤을 사용하고, 매끄러운 것을 감지하면 매끄러운 땅용 춤을 사용하세요."
• 결과: 로봇은 즉석에서 춤을 전환하여 실제 뱀이 하듯이 혼합 지형을 성공적으로 항해했습니다.

5.'머리 들어 올리기'초능력

마지막으로, 그들은 화성과 기타 지형의 실제 사진에서 재구성된 언덕, 균열, 절벽이 있는 진짜 더러운 3 차원 세계에서 로봇을 테스트했습니다.

• 도전: 때로는 로봇이 융기에 배가 들려서 접지력을 잃고 갇히곤 했습니다.
• 해결책: 그들은 로봇의 두뇌에'비상 버튼'을 추가했습니다. 센서가 로봇이 지면과 접촉을 잃고 있다고 감지하면 자동으로머리를 더 높이 들어 올립니다.
• 비유: 바위 길을 걷다가 넘어질 때, 다음 바위를 피하기 위해 본능적으로 발을 더 높이 들어 올리는 것을 상상해 보세요. 로봇도 똑같이 했습니다. 머리를 들어 올리면 지면에 닿는 몸의 부분이 짧아져 실제로 더 잘 잡고 더 날카롭게 회전할 수 있게 됩니다.

결론

연구자들은 부드러운 로봇 뱀이 다음을 할 수 있는 시스템을 구축했습니다:

1. 평평한 땅에서 간단한 이동 패턴을 학습합니다.
2. '집단적 느낌'시스템을 사용하여 어떤 지면을 걷고 있는지 감지합니다.
3. 지면이 변할 때 즉시 다른 이동 스타일 사이를 전환합니다.
4. 지형이 울퉁불퉁해지면 머리를 들어 올려 적응합니다.

그 결과, 복잡한 실제 3 차원 지형을 높은 신뢰도로 항해할 수 있는 로봇이 탄생했습니다. 이는 더러운 세상을 움직이기 위해 초복잡한 두뇌가 필요하지 않으며, 올바른 본능과 약간의 학습만 있으면 된다는 것을 증명합니다.

기술 요약

기술 요약: 3 차원 이질적 환경에서의 연성 인공 뱀 학습, 이동 및 항해

문제 제기
뱀과 같은 지지체가 없는 육상 동물은 구조화되지 않은 이질적인 3 차원 지형에서 뛰어난 이동 다양성을 보여주며, 이는 현재 공학적 연성 로봇이 달성하지 못한 능력입니다. 이러한 잠재력을 인공 시스템에서 실현하는 것은 연성이고 가늘은 몸체 고유의 높은 자유도 (high-DOF), 강한 비선형성, 그리고 복잡한 접촉이 풍부한 상호작용으로 인해 방해받고 있습니다. 전통적인 모델 기반 제어 방법은 이러한 환경에서 처리 가능성 (tractability) 에 어려움을 겪는 반면, 모델 없는 강화 학습 (RL) 접근법은 확장성 문제와 높은 계산 비용으로 인해 종종 단순화된 설정에 국한되어 배포됩니다. 본 연구는 새로운 환경마다 광범위한 재학습이 필요하지 않고도 연성 인공 뱀이 복잡한 실제 3 차원 지형을 항해할 수 있도록 하는 과제를 해결합니다.

방법론
저자들은 연속체 기반 수치 모델과 생체 모방 강화 학습 아키텍처를 통합한 하이브리드 계산 프레임워크를 제안합니다. 방법론은 네 가지 핵심 구성 요소로 구성됩니다:

1. 연속체 동역학 모델링: 뱀의 몸체는 코세라트 로드 (Cosserat rod) 이론을 사용하여 모델링되며, 신축, 굽힘, 비틀림, 전단을 포함한 3 차원 동역학을 포착합니다. 시뮬레이션은 오픈소스 소프트웨어인 Elastica를 활용하며, 옥수수 뱀 (Pantherophis guttatus) 의 기하학적 및 생체역학적 특성을 인스턴스로 구현합니다. 환경은 실제 세계 이미지 데이터 (예: 화성 지형) 로부터 재구성된 고정밀 3 차원 지형으로 표현되며, OBJ 메시 형식을 통해 가져옵니다. 이방성 쿨롱 마찰과 지반 반력을 통합한 접촉 모델을 사용하여 다양한 기질과의 상호작용을 시뮬레이션합니다.

2. 생체 모방 구동 (모터 프라미트): 고차원 시스템의 제어 복잡성을 줄이기 위해 저자들은 고정된 스테레오타입 구동 템플릿의 컴팩트한 라이브러리를 사용합니다. 구체적으로, 고정된 측면 파동과 수정 가능한 수직 리프팅 파동으로 구성된 "이중 파동" 근육 활성화 모델이 사용됩니다. 제어 행동 공간은 두 가지 조정 가능한 매개변수로 축소됩니다: 무차원 활성화 비율 ($A$) 과 수직 파동의 위상 오프셋 ($\Phi$) 입니다. 이 접근법은 수동적인 몸체 역학과 지형 상호작용을 활용하여 신경근육 제어를 완화하는 물리적 지능을 활용합니다.

3. 뉴런 모방 센싱: 견고한 상태 추정은 결합 진동자 피드백 입자 필터 (FPF) 를 통해 달성됩니다. 뱀의 중앙부에 두 개의 독립적인 진동자 그룹이 배치되어 측면 ($F_l$) 과 수직 ($F_v$) 방향의 국부 지면 접촉 힘을 추정합니다. 생물학적 신경 회로를 모방하는 이러한 진동자는 노이즈가 섞인 감각 입력을 필터링하여 주기 평균 힘 크기 ($H_1, H_2$) 를 제공합니다. 이러한 신호는 RL 에이전트의 환경 상태 입력으로 작용하여 고유 감각과 환경 지각을 가능하게 합니다.

4. 강화 학습 및 정책 적응: 제어 목표는 목표 위치로의 진행을 최대화하는 최적화 문제로 공식화됩니다. 제어 정책을 학습하기 위해 근접 정책 최적화 (PPO) 알고리즘이 사용됩니다.

   • 학습 단계: 정책은 먼저 단순화된 균질 환경 (순수 이방성 또는 등방성 마찰) 에서 훈련되어 이동 원시 (예: 전진 미끄러짐 대 측면 감기) 를 학습합니다.
   • 적응 단계: 이질적인 지형의 경우, 프레임워크는 정책 전환 메커니즘을 사용합니다. 뱀은 실시간 감각 피드백 ($H_1$) 을 기반으로 국부 마찰 체제를 식별하여 학습된 균질 정책 사이를 동적으로 선택합니다.
   • 정제: 3 차원 지형적 특징 (예: 돌기, 절벽) 을 처리하기 위해 재학습 없이 경량 정책 적응이 도입됩니다. 여기에는 돌기를 항해하기 위한 이방성 정책에 대한 "머리 들어 올리기" 메커니즘과 높이 차이를 극복하기 위한 등방성 정책에 대한 "리프 증폭"이 포함되며, 둘 다 특정 감각 임계값에 의해 트리거됩니다.

주요 결과

• 균질 항해: 학습된 정책은 이방성 및 등방성 평평한 표면 모두에서 6L $\times$ 6L 영역 내 목표 도달에서 거의 100% 의 성공률을 달성했습니다. 시스템은 마찰 특성에 따라 이동 방식 (미끄러짐 대 측면 감기) 간 전환을 성공적으로 학습했습니다.
• 이질적 평평한 표면: 혼합 마찰 영역이 있는 지형에서 정책 전환 접근법은 86.2% 의 성공률을 달성하여 동일한 이질적 지형에서 처음부터 훈련된 정책 (81.1%) 보다 우수한 성능을 보였습니다. 전환 메커니즘은 새로운 설정에서 재학습의 필요성을 피하면서 더 견고하고 확장 가능한 것으로 입증되었습니다.
• 3 차원 복잡한 지형: 요철 (돌기, 균열) 과 상당한 고도 변화 (뱀 반경의 최대 30 배) 가 있는 실제적인 메시 기반 지형에 배포되었을 때, 기본 정책은 20.8% 의 성공률만 달성했습니다. 그러나 생체 모방 정책 적응 (머리 들어 올리기 및 리프 증폭) 을 통합한 결과, 돌기가 있는 평평한 이방성 지형에서의 성공률은 88.1% 로 증가했습니다.
• 복잡한 3 차원 환경: 가파른 절벽이 있는 자갈 (이방성) 과 모래 (등방성) 가 결합된 고도로 이질적인 환경에서 통합 전략 (정책 전환 + 적응) 은 뱀이 목표에서 1L 이내로 접근한 시도의 55.7% 에서 성공적인 항해를 가능하게 했습니다. 지형 인터페이스에서의 이동 전환의 극단적인 복잡성으로 인해 완전한 도달 가능성은 여전히 제한적 (~30%) 이었지만, 시스템은 다양한 지형과 기질 유형을 횡단할 수 있는 능력을 입증했습니다.

의의 및 주장
본 논문은 자연 지형에서 연속체 시스템을 제어하기 위한 물리적으로 현실적인 시뮬레이션 플랫폼과 실용적인 통찰력을 제공한다고 주장합니다. 주요 의의는 컴팩트한 구동 템플릿, 견고한 감각 피드백, 경량 정책 전환을 결합한 모듈식 생체 모방 제어 전략이 연성 로봇이 광범위한 재학습 없이도 다양하고 복잡한 3 차원 환경에서 일반화할 수 있음을 입증한 데 있습니다.

저자들은 그들의 접근 방식이 로봇의 수동 역학과 환경 매개 상호작용을 의도적으로 활용하여 제어를 단순화하는 "물리적 지능"을 활용한다고 강조합니다. 이 프레임워크는 지지체 없는 이동을 위한 계산 효율적인 기준을 수립하여, 국방, 탐사, 검사, 의학 분야의 응용을 위한 연성 미끄러짐 로봇의 실제 세계 배포를 위한 길을 제시합니다. 본 연구는 현재 프레임워크가 단순화된 환경에서의 학습에 의존하지만, 향후 고도로 가변적인 3 차원 지형에서 성능을 더욱 향상시키기 위해 (등반이나 고정과 같은) 작업별 모터 프라미트를 수용할 수 있는 모듈식 기반을 제공한다고 인정합니다.