🤖 AI

Reinforcement Learning on Cost-Constrained Quadrupedal Hardware

이 논문은 평균 지연에 대한 순방향 모델과 이를 결합한 시간 인지 신경망을 사용하여, 강건하고 생물학적 영감을 받은 중추 패턴 생성기를 자율적으로 학습함으로써 액추에이터 지연으로 인해 발생하는 상당한 심투리얼(sim-to-real) 격차를 극복하여 저가형 사족 보행 하드웨어에 강화 학습을 배포할 수 있음을 입증한다.

원저자: Javier C. Weddington, Bence P. Ölveczky, Stephen A. Baccus

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Javier C. Weddington, Bence P. Ölveczky, Stephen A. Baccus

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

아주 긴, 엉클어진 전화선으로 연결된 먼 방에서 소리를 지르며 강아지에게 걷는 법을 가르치려 한다고 상상해 보십시오. 당신의 목소리가 강아지의 귀에 도달할 때쯤이면, 강아지는 이미 자신의 발에 걸려 넘어졌을 것입니다. 강아지가 당신의 새로운 외침에 따라 발걸음을 바로잡으려 노력할 때쯤이면, 이미 다시 넘어졌을 것입니다. 이것이 바로 과학자들이 완벽하고 즉각적인 비디오 게임 세상에서 로봇을 훈련시킨 뒤, 이를 무질서하고 느리며 소음이 많은 실제 세상으로 내보내는 분야인 '심투리얼(Sim-to-Real)' 로봇 공학의 일상적인 고충입니다.

핵심 문제는 '지연 시간(latency)', 즉 명령과 동작 사이의 간격입니다. 값비싸고 첨단 기술이 집약된 로봇에서 이 지연은 매우 작아서 거의 보이지 않을 정도입니다. 하지만 저렴하고 구하기 쉬운 로봇의 경우, 마치 느린 인터넷 연결로 비디오를 불러오는 것처럼 지연이 매우 클 수 있습니다. 이 지연이 너무 커지면 로봇은 지금 당장 보이는 것에 반응할 수 없습니다. 대신 다음에 무슨 일이 일어날지 추측해야 합니다. 이는 로봇의 두뇌를 하나의 퍼즐로 만듭니다. 로봇은 다리가 '지금 당장' 어디에 있는지 정확히 알지 못하고, 오직 잠시 전에는 어디에 있었는지만을 알면서 어떻게 걸어야 할지를 알아내야 합니다. 여기서 큰 질문이 생깁니다. 우리는 문제를 해결하기 위해 비싸고 초고속인 로봇을 만들어야 할까요, 아니면 저렴한 로봇이 지연을 처리할 수 있을 만큼 똑똑해지도록 가르칠 수 있을까요?

이 논문은 두 번째 옵션을 시도하기로 결정한 한 팀의 이야기를 들려줍니다. 그들은 76밀리초라는 엄청난 모터 지연을 겪고 있는 300달러짜리 매우 저렴한 4족 보행 로봇인 미니 퍼퍼 2(Mini Pupper 2)를 가져왔습니다. 연구진은 하드웨어를 고치거나 로봇의 위치를 추측하기 위한 복잡한 수학적 가교를 구축하는 대신, 자연에서 영감을 얻기로 했습니다. 그들은 동물들이 신경 전달이 느릴 때 어떻게 걷는지 물었습니다. 그 답은 척수에 있었습니다. 척수는 뇌가 느리게 반응하더라도 다리가 계속 움직일 수 있도록 유지해 주는 특별한 리듬 생성기를 사용합니다.

연구진은 이 저렴한 로봇을 제어하기 위해 다양한 유형의 '두뇌' 네트워크(신경망)를 훈련시켰습니다. 그들은 단순한 표준형 두뇌(MLP라고 불리는)는 복잡한 규칙들을 이용해 수 시간 동안 수동으로 조정하지 않으면 처참하게 실패한다는 것을 발견했습니다. 그러나 더 발전된 '시간 인지형' 두뇌(LSTM이라 불리는)는 스스로 마법 같은 일을 해냈습니다. 이 두뇌는 로봇의 센서로부터 오는 노이즈가 섞인 지연된 신호들을 무시하는 법을 배웠고, 대신 척수에서 발견되는 중추 패턴 생성기(CPG)와 똑같이 자신만의 내부 리듬을 생성해 냈습니다.

결과는 놀라웠습니다. 이 스스로 학습된 리듬은 매우 강력해서, 연구진이 기존의 지연 위에 인위적으로 320밀리초의 지연을 추가로 더했을 때도 로봇은 계속 걸을 수 있었습니다. 단순한 로봇의 두뇌는 무너져 내려 멈춰 섰지만, 시간 인지형 두뇌는 꾸준한 속보를 유지했습니다. 이 논문은 이것이 단순히 운 좋은 우연이 아니라 일반적인 전략임을 시사합니다. 로봇에게 느리고 노이즈가 많은 하드웨어를 감당하도록 강요하면, 로봇이 찾을 수 있는 가장 똑똑한 해결책은 현재에 반응하려고 애쓰는 대신 스스로 미래를 생성하기 시작하는 것입니다.

연구팀은 또한 로봇의 실제적이고 노이즈가 섞인 센서 데이터(속도나 힘 등)를 사용하려고 시도하는 것이 오히려 상황을 악화시킨다는 것을 발견했습니다. 저렴한 센서들은 매우 신뢰할 수 없었기 때문에, 로봇은 팀이 그 센서들이 존재하지 않는 것처럼 행동하고 내부 리듬에 전적으로 의존하라고 지시했을 때 더 잘 걸었습니다. 그들은 두 개의 층으로 구성된 시스템을 구축했습니다. 장기적인 타이밍을 담당하는 '리듬 유지자'(LSTM)와, 고장 난 실제 센서를 대체하여 다리가 어디에 있어야 하는지 추측하는 단순한 '예측기'(작은 신경망)입니다.

결국, 이 논문은 잘 걷기 위해 10,000달러짜리 로봇이 필요하지 않다는 것을 증명합니다. 단지 기다릴 줄 아는 두뇌를 가진 저렴한 로봇만 있으면 됩니다. 내부 리듬을 생성하는 생물학적 기법을 모방함으로써, 연구진은 시뮬레이션과 실제 세계 사이의 간극을 메웠으며, 때로는 느리고 소란스러운 세상을 다루는 가장 좋은 방법은 세상의 소리에 귀를 기울이는 것이 아니라 자신만의 비트에 맞춰 춤을 추는 것임을 보여주었습니다.

기술 요약: 비용 제약이 있는 사족보행 하드웨어에서의 강화 학습

문제 정의
저가형 로봇 플랫폼에 강화 학습(RL) 정책을 배포하는 것은 전송 지연(transport latencies)과 노이즈가 심한 모터 피드백으로 인한 상당한 "심투리얼(sim-to-real)" 격차로 인해 어려움을 겪고 있다. 고가의 연구용 사족보행 로봇은 낮은 지연 시간(<5 ms)과 높은 제어 주파수를 가진 브러시리스 준직접 구동(quasi-direct-drive) 액추에이터를 사용하는 반면, Mini Pupper 2($300)와 같은 저가형 플랫폼은 브러시드 DC 위치 서보에 의존한다. 이러한 저가형 액추에이터는 심각한 비선형성, 느린 응답 시간, 그리고 약 76 ms로 측정된 전송 지연을 유발한다. 이 지연은 로코모션(locomotion) 과업을 표준 마르코프 결정 과정(MDP)에서 부분 관측 마르코프 결정 과정(POMDP)으로 변환시키며, 제어기는 오래된 상태 정보를 받게 된다. 또한, 이러한 플랫폼은 종종 속도 및 토크 피드백이 부족하여 양자화된 위치 데이터만을 제공하며, 이는 부분 관측성을 더욱 악화시킨다. 핵심 과제는 이 병목 현상을 복잡한 네트워크 아키텍처를 통해 내부적으로 지연을 처리하도록 해결할 것인지, 아니면 광범위한 엔지니어링 개입(예: 합성 피드백 모델)을 통한 단순한 네트워크를 사용할 것인지 결정하는 것이다.

방법론
저자들은 NVIDIA Isaac Lab과 PPO 알고리즘을 사용하여 동일한 조건 하에서 네 가지 신경망 아키텍처인 다층 퍼셉트론(MLP), 장단기 메모리(LSTM), 게이트 순환 유닛(GRU), 트랜스포머(Transformer)를 훈련하고 평가하였다.

시뮬레이션 환경: 훈련 환경은 실제 하드웨어의 76 ms 전송 지연 및 진폭 성능과 일치하도록 보정된 "DelayedPDActuatorCfg" 모델을 활용하였다. 관측 벡터에는 베이스 키네마틱스, 조인트 상태, 이전 액션이 포함되었다.
훈련 제약: 모든 모델은 초기 단계에서 커리큘럼 없이 훈련되었다. 오직 LSTM만이 이러한 조건 하에서 안정적인 보행(gait)으로 수렴하였다. MLP는 수렴을 위해 다단계 커리큘럼(지연 및 페널티 가중치를 점진적으로 증가시킴)이 필요했으며, GRU와 트랜스포머는 훈련 예산 내에 수렴하는 데 실패하였다.
배포 전략:
- MLP: 누락된 속도 및 노력(effort) 데이터를 재구성하기 위한 합성 PD 옵저버를 포함하는 복잡하고 정교하게 튜닝된 배포 브릿지가 필요했다. 이 접근 방식은 6개 이상의 파라미터(강성, 댐핑, 관성, 지연 단계 등)를 튜닝해야 했으며, 60%의 합성 관측치에 의존했다.
- LSTM: 25 Hz에서 오픈 루프 구성으로 배포되었다. 노이즈가 심한 하드웨어 인코더에 의존하는 대신, 시스템은 액션 명령을 기반으로 조인트 위치를 예측하는 학습된 무상태(stateless) MLP 서보 모델을 사용하였다. 이를 통해 실제 센서에 대한 의존도를 10%(IMU 각속도 및 투영된 중력)로 줄였다.

주요 결과

창발적 중추 패턴 생성기(CPG): 명시적인 진동자 제약 없이 엔드 투 엔드로 훈련된 LSTM 정책은 자발적으로 중추 패턴 생성기(CPPG)를 학습하였다. 이는 노이즈에 강한 자가 유지형 리드미컬한 보행(약 2.8 Hz)으로 나타났다.
지연에 대한 강건성: LSTM은 추가적인 지연 섭동에 대해 우수한 강건성을 보였다. 최대 +320 ms의 추가 지연이 발생했을 때도 LSTM은 일관된 보행 진폭과 주파수를 유지하였다. 반면, MLP의 보행은 붕괴되어 진동 구조와 진폭을 상실하였다.
어트랙터 역학(Attractor Dynamics): 내부 상태에 대한 주성분 분석(PCA) 결과, LSTM은 모든 지연 조건에서 안정적인 타원형 리밋 사이클 어트랙터(limit-cycle attractor)를 추적하며, 이는 자율 진동자임을 나타낸다. 반대로 MLP는 지연이 증가함에 따라 열화되는 왜곡된 비진동 궤적을 보여주었다.
관측 절제 실험(Observation Ablation): 조인트 상태 관측에 가우시안 노이즈를 주입하는 실험 결과, $\sigma \approx 0.2$ rad에서 교차점이 발견되었다. 이 노이즈 수준을 넘어서면, 조인트 상태 채널을 0으로 만드는 것(피드백을 무시하는 것)이 노이즈가 있는 피드백을 사용하는 것보다 더 나은 성능을 보였다. LSTM은 MLP보다 더 완만하게 성능이 저하되었는데, 이는 LSTM이 외부 피드백보다는 내부적으로 생성된 리듬에 더 많이 의존함을 확인시켜 준다.
아키텍처 효율성: GRU는 수렴에 실패하였으며, 이는 일반적인 진동 능력보다는 LSTM 셀 상태의 특정 선형 시프트 레지스터 능력이 지연 보상에 결정적임을 시사한다. 트랜스포머는 높은 계산 비용과 이 특정 과업에서 LSTM 대비 이점이 없다는 점 때문에 부적절한 것으로 간정되었다.

의의 및 주장
본 논문은 비용 제약이 있는 하드웨어의 경우, 심투리얼 병목 현상이 하드웨어 충실도나 광범위한 엔지니어링 보상보다는 **아키텍처의 귀납적 편향(inductive bias)**을 통해 해결되는 것이 최선이라고 주장한다.

생물학적 평행 구조: 본 연구는 시간 인지 네트워크가 생물학적 제약(높은 지연, 노이즈가 심한 피드백)을 받을 때, 척수에서 발견되는 것과 유사한 CPG 솔루션으로 자연스럽게 수렴함을 보여준다. 이는 자율적 리듬 생성이 비용 제약이 있는 체화된 제어(embodied control)를 위한 일반적인 전략일 수 있음을 시사한다.
이중 계층 추상화: 저자들은 이 도메인에 최적인 이중 계층 배포 아키텍처를 제안한다: 장기 시간적 과업(지연 보상, 보행 생성)을 위한 순환 정책(LSTM)과 단기 시간적 과업(서보 역학)을 위한 무상태 예측기(MLP)의 결려이다. 이 구성은 완전 순환형(LSTM-LSTM) 시스템에서 나타나는 자기 회귀적 드리프트(autoregressive drift)를 방지한다.
민주화: 단 하나의 튜닝 파라미터(하드웨어 스케일)만으로 76 ms의 지연이 있는 $300 플랫폼에서 견고한 로코모션을 달ей할 수 있음을 보여줌으로써, 본 연구는 로보틱스 연구의 진입 장벽을 낮추며, 초점을 값비싼 하드웨어에서 지능적인 제어 아키텍처로 전환한다.

저자들은 고지연 하드웨어가 시간 인지 네트워크에서 CPG와 유사한 솔루션을 유도하며, 이는 저가형 로봇을 위한 배포 엔지니어링을 줄이기 위한 원칙적인 경로를 제공한다고 결론짓는다.

유사한 논문