🤖 machine learning

Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

본 논문은 잠재 정렬(latent alignment)과 학습 가능한 보행 주파수 파라미터를 갖는 비대칭 액터-크리틱 구조를 활용하여, 사전에 정의된 결함 전략 없이도 68kg 무게의 4족 보행 로봇이 액추에이터 출력 손실 상황에서 안정적인 보행을 유지할 수 있게 하는 심층 강화 학습 프레임워크를 제시한다.

원저자: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

게시일 2026-08-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단순히 넘어지거나 부품이 부서지자마자 작동을 멈추는 딱딱하고 투박한 기계가 아닌, 로봇의 미래를 상상해 보십시오. 대신, 근육이 약해진 것을 깨닫고도 넘어지지 않기 위해 즉시 새로운 달리기 방식을 찾아내는 회복 탄력성을 가진 운동선수 같은 모습을 그려보십시오. 이것이 바로 과학자들이 개나 말처럼 다리가 달린 기계가 잔해, 숲, 혹은 울퉁불퉁한 도시 거리와 같은 무질서한 실제 환경을 통과하도록 가르치는 분야인 "다리 로봇 공학(legged robotics)"의 꿈입니다. 큰 과제는 무엇일까요? 로봇의 다리 모터가 고장 나면(예를 들어 전력이 끊기거나 끼임 현상이 발생하면), 로봇은 단순히 하던 일을 계속할 수 없습니다. 로봇은 순식간에 몸 전체를 재조직하고, 무게 중심을 옮기며, 발을 내딛는 방식을 바꿔야 합니다. 이는 특히 무거운 로봇에게 매우 어려운 일입니다. 미친 듯이 튀어 오르며 실수를 바로잡을 수 있는 작은 장난감 로봇과 달리, 무거운 로봇은 마치 춤을 추려는 스모 선수와 같습니다. 너무 빠르거나 공격적으로 움직이면 쓰러질 수 있기 때문입니다. 그렇다면 질문은 이것입니다. 어떻게 하면 무거운 로봇이 다리 하나를 다쳤을 때도 우아하고 적응력 있는 무용수가 되도록 가르칠 수 있을까요?

이 논문은 "심층 강화 학습(deep reinforcement learning)"이라 불리는 인공지능의 한 종류를 사용한 영리한 해결책을 제시합니다. 이것을 로봇이 시행착오를 통해 배우는 비디오 게임 훈련 방식이라고 생각하되, 특별한 반전이 있는 방식으로 이해해 보십시오. 연구진은 68kg 무게의 4족 보행 로봇(Kyon이라는 이름)이 갑자기 하나의 모터가 모든 전력을 잃었을 때도 계속 걸을 수 있도록 가르쳤습니다. 그들은 단순히 로봇에게 "왼쪽 다리가 고장 나면 X를 해라"라고 말해주지 않았습니다. 대신 로봇이 스스로 알아낼 수 있도록 했습니다. 비결은 로봇의 "두뇌(행위자, actor)"가 오직 자신의 몸이 느끼는 감각(고유 수용성 감각, proprioception)만을 바탕으로 무엇이 잘못되었는지 추측해야 하는 훈련 설정과, 연습 중에 정확한 진실을 알고 있는 "코치(비평가, critic)"가 존재하는 방식이었습니다. 두뇌가 코치의 이해도를 모방하도록 강제함으로써, 로봇은 자신의 움직임에서 느껴지는 차이를 통해 스스로의 부상을 추론하는 법을 배웠습니다.

연구진은 단순히 로봇에게 발을 어디에 두라고 말하는 것만으로는 충분하지 않다는 것을 발견했습니다. 그들은 로봇 제어 장치에 특별한 "보행 주파수(gait frequency)" 조절 노브를 추가하여, 로봇이 실시간으로 발을 내딛는 리듬을 빠르게 하거나 느리게 할 수 있도록 했습니다. 이것은 게임 체인저가 되었습니다. 다리가 고장 났을 때, 로봇은 단순히 절뚝거리는 것이 아니라 역동적으로 타이밍을 조절했으며, 때로는 세 발로 걷는 트로트(trot) 방식으로 전환하거나 균형을 유지하기 위해 보폭을 변경하기도 했습니다. 연구진은 고정밀 시뮬레이션의 울퉁불퉁한 계단 지형과 실제 평평한 바닥 위의 실제 68kg 로봇을 대상으로 이를 테스트했습니다. 결과는 로봇이 갑작스러운 모터 고장에도 불구하고, 미리 프로그래밍된 "부상 계획" 없이도 균형을 유지하며 계속 움직일 수 있음을 보여주었습니다.

이 마법이 어떻게 작동하는지 일상적인 개념으로 나누어 설명하겠습니다.

"스승과 제자" 게임
당신이 보조 바퀴가 달린 자전거를 배우고 있는데, 선생님은 당신이 볼 수 없는 숨겨진 도로 지도를 보고 있다고 상상해 보십시오. 이 논문의 방식에서 "비평가(critic)"는 로봇의 정확한 위치, 지형, 심지어 어떤 모터가 고장 났는지까지 모두 보는 선생님입니다. "행위자(actor)"는 학생이며, 오직 바람과 핸들바의 느낌(로봇의 센서)만을 느낍니다. 훈련 중에 선생님은 학생을 안내하지만, 학생은 자전거를 타는 느낌만으로 선생님이 보는 것을 추측하는 법을 배워야 합니다. 연구진은 특별한 규칙을 추가했습니다: 학생의 "추측"(숨겨된 정신적 지도)은 최대한 선생님의 지도와 일치해야 한다는 것입니다. 이 규칙은 로봇이 모터 고장을 알리는 자신의 몸의 아주 미세한 변화에 극도로 민감해지도록 강제하며, 이를 통해 "이봐, 네 다리가 고장 났어!"라는 말을 듣지 않고도 스스로 반응할 수 있게 합니다.

적응형 리듬
대부분의 로봇은 행진하는 악단처럼 엄격한 박자에 맞춰 걷습니다. 만약 다리가 고장 난다면, 행진하는 악단 같은 로봇은 기존의 박자를 유지하려 할 것이고, 이는 대개 충돌로 이어집니다. 하지만 이 논문의 로봇은 재즈 드러머가 되는 법을 배웠습니다. 연구진은 로봇에게 걷는 속도를 조절하는 볼륨 노브와 같은 "보행 주파수" 동작을 부여했습니다. 로봇이 문제(예: 모터 전력 손실)를 감지하면, 단순히 당황하는 것이 아니라 템포를 조절합니다. 만약 한 발로 서 있는 상태(단일 지지)라면, 다음 발을 빨리 내딛기 위해 리듬을 높입니다. 만약 두 발로 서 있는 상태(이중 지지)라면, 더 안정적으로 움직이기 위해 속도를 늦춥니다. 이러한 유연성 덕분에 무거운 로봇은 무게를 안전하게 재분배할 수 있었으며, 이는 경직되고 미리 프로그래밍된 로봇들이 흔히 실패하는 부분입니다.

헤비급의 도전
왜 이것이 68kg 로봇에게 중요할까요? 논문은 무거운 로봇이 실험실에서 자주 보이는 작은 로봇들과 다르다는 점을 지적합니다. 작은 로봇은 빠르게 튀어 오르고 회복할 수 있지만, 무거운 로봇은 관성이 더 크고 모터가 견딜 수 있는 힘의 한계가 더 엄격합니다. 만약 무거운 로봇이 갑작스럽고 공격적인 교정 동작을 취한다면, 스스로의 관절을 부러뜨리거나 넘어질 수 있습니다. 연구진은 작은 로봇들에게 통하는 "공격적인" 전략이 규모가 커지면 적용되지 않는다는 것을 발견했습니다. 대신, 핵심은 "적응형 보행 타이밍"이었습니다. 로봇이 단순히 발을 '어디에' 두느냐가 아니라, '언제' 내디딜지를 바꾸게 함으로써, 초능력자가 되지 않고도 안정성을 유지할 수 있었습니다.

발견한 것 (그리고 발견하지 못한 것)
매우 정확한 컴퓨터 시뮬레이션과 실제 로봇을 통해 수행된 실험은 이 방법이 효과적임을 보여주었습니다. 로봇은 12개 관절 중 어느 곳에서든 발생하는 갑작스러운 전력 손실을 처리할 수 있었습니다. 흥-미롭게도, 로봇은 무릎 관절의 고장이 가장 까다롭다는 것을 파악했으며, 이 경우 종종 세 발로 걷는 "트라이포드(tripod)" 보행으로 전환했습니다. 연구진은 또한 로봇에게 얼마나 많은 "기억력"이 필요한지도 테스트했습니다. 그들은 단 몇 단계 전의 과거(3단계의 이력)를 살펴보는 것만으로도 로봇이 문제를 파악하기에 충분하며, 그보다 더 멀리 보는 것은 큰 도움이 되지 않는다는 것을 발견했습니다.

하지만 이러한 성공에는 한계가 있습니다. 로봇은 실제 세계에서는 평지에서, 시뮬레이션에서는 울퉁불퉁한 계단 지형에서 테스트되었습니다. 실제 세계 테스트에서 로봇은 지면을 "볼" 수 있는 카메라나 LiDAR를 갖추지 않았으며, 오직 내부 센서와 미리 입력된 지형 높이 지도에만 의존했습니다. 논문은 실시간으로 지면을 볼 수 있는 실제 인지 시스템(카메라 등)을 추가하는 것이 다음 단계의 논리적인 과제라고 제안하지만, 이는 이번 특정 연구의 범위는 아니었습니다. 또한, 로봇이 넘어졌을 때 생존하고 계속 걸을 수는 있었지만, 본 연구는 *보행(locomotion)*에 초점을 맞춘 것이지, 실제로 넘어졌을 때 어떻게 다시 일어날지에 대한 연구는 아니었습니다.

요약하자면, 이 논문은 로봇에게 자신의 몸의 소리에 "귀를 기울이고" 보행 리듬을 실시간으로 조절하도록 가르침으로써, 수동 제어 없이도 부품 고장을 견뎌낼 수 있는 강인한 헤비급 로봇을 만들 수 있음을 시사합니다. 이는 기계가 단순히 명령을 따르는 것을 넘어, 문제가 생겼을 때 살아있는 생명체처럼 적응하는 단계로 나아가는 발걸음입니다.

기술 요약: 적응형 보행 타이밍을 통한 결함 허용 보행 학습

문제 정의
비정형 환경에 배치된 다리 로봇은 액추에이터 전력 손실이나 관절 잠김과 같은 하드웨어 결함의 높은 위험에 직면해 있다. 심층 강화 학습(RL)은 결함 허용 제어 측면에서 유망한 가능성을 보여주었으나, 기존 방식들은 더 무거운 플랫폼(예: 68kg 사족보행 로봇)으로 확장할 때 두 가지 주요 한계에 부딪힌다. 첫째, 많은 방법론이 미리 정의된 보행 생성기나 특정 결함 다리에 대한 전략에 의존하며, 이는 정책이 남은 구동 능력을 완전히 활용하고 복잡한 지형에 적응하는 능력을 제한한다. 둘째, 대부분의 실험적 검증은 작은 로봇과 평탄하거나 완만한 경사의 지형에 국한되어 있다. 더 무거운 로봇은 질량과 관성이 증가하여 동적 결합(dynamic coupling)을 증폭시키고 구동 여유(actuation margin)를 좁히기 때문에, 공격적이고 고주파적인 보상 전략을 사용하는 것이 덜 실용적이다. 결과적으로, 명시적인 결함 지식이나 미리 정의된 회복 전략에 의존하지 않고도 협응 및 보행 타이밍을 자율적으로 재구성할 수 있는 제어 정책이 필요하다.

방법론
저자들은 근사 정책 최적화(PPO)를 사용하여 훈련된 비대칭 액터-크리틱(asymmetric actor-critic) 구조 기반의 심층 RL 프레임워크를 제안한다. 핵심 목표는 불균일한 지형에서 갑작스러운 액추에이터 전력 손실 상황에서도 로봇이 안정성과 이동성을 유지하도록 하는 것이다.

잠재 정렬(Latent Alignment)을 포함한 비대칭 액터-크리틱: 훈련에는 크리틱(critic)만 접근 가능한 특권 정보(지면 참값인 관절 결함 마스크 및 노이즈 없는 지형 데이터 포함)가 활용된다. 배포 가능한 컨트롤러 역할을 하는 액터(actor)는 오직 고유 수용성 관측값(proprioceptive observations)과 과거 상태의 이력만을 전달받는다. 특권 정보를 가진 크리틱과 고유 수용성 정보를 가진 액터 사이의 간극을 메우기 위해, 저자들은 보조적인 **잠재 정렬 손실(latent-alignment loss)**을 도입한다. 이 손실은 액터의 인코더가 고유 수용성 이력으로부터 특권 정보의 잠재 표현을 재구성하도록 유도하여, 액터가 결함 조건을 암시적으로 추론하는 법을 배우게 한다.
적응형 보행 타이밍: 전통적인 방식들이 관절 위치 목표값만을 출력하는 것과 달리, 행동 공간은 학습 가능한 보행 주파수 파라미터( $a^\nu_t$ )로 확장된다. 이 스칼라 액션은 참조 보행 패턴의 스텝 주파수를 조절한다. 이를 통해 정책은 고정된 보행 주기에 얽매이지 않고, 지형 변화와 액추에이터 성능 저하에 대응하여 스텝 타이밍과 접촉 스케줄링을 자율적으로 조절할 수 있다.
관측 및 행동 공간: 정책은 50Hz로 작동하며, 관절 각도 편차와 보행 주파수 항을 출력한다. 관측 공간은 고유 수용성 데이터(관절 각도, 속도, 베이스 속도, 이전 액션)와 지형 높이 맵을 포함한다. 결정적으로, 액터는 시스템 상태를 추론하기 위해 $H$ 개의 고유 수용성 관측 이력을 처리한다.
훈련 커리큘럼: 훈련에는 정책의 추적 성능에 따라 결함 심각도(토크 효율 스케일링으로 모델링됨)를 점진적으로 높이는 커리큘ium 전략이 사용된다. 이는 에이전트가 완전한 전력 손실을 겪기 전에 부분적인 실패를 먼저 처리하는 법을 배우도록 보장한다.

주요 기여

결함 미인지 센싱을 통한 결함 인지 보행: 본 논문은 액터가 고유 수용성 이력만을 통해 특권 결함 표현을 재구성할 수 있도록 잠재 정렬 손실을 사용하는 단일 단계 훈련 절차를 제시하며, 이를 통해 배포 시 명시적인 결함 추정 모듈이나 참값 결함 라벨이 필요하지 않게 한다.
적응형 보행 타이밍: 행동 공간을 학습 가능한 보행 주파수로 확장함으로써, 동적인 스텝 타이밍 조절을 가능하게 한다. 이를 통해 로봇은 미리 정의된 결함 다리 전략 없이도 결함 조건과 지형 기하학에 맞춰 접촉 스케줄을 적응시킬 수 있다.
고유 수용성 이력 분석: 본 연구는 관측 이력 길이가 결함 추론 능력에 미치는 영향을 조사하여, 효과적인 잠재 재구성을 위해 짧은 이력만으로도 충분함을 입증하였다.
중량급 플랫폼에 대한 Sim-to-Real 검증: 제안된 방식은 고충실도 시뮬레이션의 불균일 지형과 68kg 사족보행 로봇(Kyon)을 이용한 실제 실험을 통해 검증되었으며, 이는 기존의 소형 로봇 연구에서 간과되었던 확장성 문제를 다룬다.

실험 결과
제안된 방법은 "Oracle"(전체 특권 정보 접근 가능) 및 잠재 정렬이 없는 버전, 관측 이력이 없는 버전 등 여러 베이스라인과 비교 평가되었다.

시뮬레이션 성능: 제안된 전체 방법론은 Oracle에 가장 근접한 성능을 보였으며, 잠재 정렬이나 관측 이력이 없는 변형 모델들을 유의미하게 능가했다. 정책은 다양한 관절(hip roll, hip pitch, knee pitch) 및 다리 위치에서의 무작위 액추에이터 전력 손실에 대해 강건함을 입증했다.
일반화: 실제 통신 지연을 재현하기 위해 XBot2 미들웨어를 사용한 Sim-to-Sim 테스트에서, 정책은 새로운 계단 치수와 최대 13° 경사의 경사로를 포함한 미지의 지형 프로파일에도 잘 일반화되었다.
실제 환경 검증: 평지에서의 Zero-shot sim-to-real 전이가 입증되었다. 68kg의 Kyon 로봇은 후측 좌측 knee pitch 관절에서 갑작스러운 전력 손실 결함이 발생했음에도 불구하고 성공적으로 보행을 유지하고 안정성을 회복했다.
절제 연구(Ablation Studies):
- 이력 길이: 고유 수용성 이력을 $H=1$ 에서 $H=2$ 로 늘렸을 때 가장 유의미한 성능 향상이 있었으며, $H=3$ 이후로는 수익 체감(diminishing returns)이 나타났다.
- 보행 주파수: 관절 위치만을 출력하는 "free-gait" 컨트롤러와의 비교를 통해, 학습 가능한 주파수 파라미터가 특히 결함 조건하의 단일 지지 단계(single-support phase)에서 더 안정적인 주기적 보행 패턴과 부드러운 관절 가속도를 생성함을 보여주었다.

의의 및 주장
본 논문은 더 무거운 다리 로봇의 경우, 가벼운 플랫폼에서 효과적이었던 빠르고 반응적인 전략들이 좁은 구동 한계와 강한 동적 결합으로 인해 실행 불가능한 경우가 많다고 주장한다. 따라서 적응형 보행 타이밍은 저하된 구동력 하에서의 결함 허용을 위한 핵심 메커니즘으로 제시된다. 지형 정보를 활용하고 보행 주파수를 조절함으로써, 제안된 정책은 제한적인 보상 형성(reward shaping)이나 미리 정의된 결함 전략에 의존하지 않고도 강건한 보행을 달s성한다. 본 연구는 단일 정책이 결함 조건을 효과적으로 식별하고 협응을 재구성할 수 있음을 보여주며, 비정형 환경 내 중량급 사족보행 로봇을 위한 시뮬레이션과 현실 사이의 간극을 메운다. 향하여는 지형 재구성을 위한 온보드 인지 통합 및 낙하 회복(fall-recovery)과 혼합형 휠-레그(wheeled-legged) 시스템으로의 확장을 향후 과제로 꼽았다.

유사한 논문