💻 computer science

Closing the Loop on the Poppy Humanoid: Bipedal Locomotion with Linear-Quadratic Control and Learned Cost Functions

본 논문은 학습된 비용 함수를 결합한 선형 이차 조절기(LQR) 프레임워크를 활용하여 신뢰할 수 있는 비보조 이족 보행을 달 achieve하기 위한 Poppy 휴머노이드 로봇용 폐루프 보행 제어기를 제시하며, 이는 개루프 궤적 재생 방식보다 통계적으로 유의미한 성능 향상을 입증한다.

원저자: Xulin Chen, Borui He, Ruipeng Liu, Naveed Tahir, Zhenyu Gan, Garrett E. Katz

게시일 2026-08-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xulin Chen, Borui He, Ruipeng Liu, Naveed Tahir, Zhenyu Gan, Garrett E. Katz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

걷기는 끊임없이 일어나는 보이지 않는 계산의 경이로운 과정입니다. 인간에게 걷기란 뇌와 신체가 직립 상태를 유지하기 위해 매초 수천 번의 미세 조정을 수행하는 매끄러운 균형의 흐름입니다. 로봇에게 이와 동일한 과제는 위태로운 외줄타기와 같습니다. 도전 과제는 단순히 다리를 움직이는 것이 아니라, 고가의 산업용 로봇처럼 완벽한 센서나 강력한 모터를 갖추지 못한 가볍고 저렴한 부품으로 만들어진 기계가 어떻게 넘어지지 않고 움직일 것인가 하는 점입니다. 이것이 교육과 연구를 위해 설계된 소형 오픈 소스 로봇인 '포피 휴머노이드(Poppy Humanoid)'를 연구하는 연구자들이 직면한 구체적인 퍼즐입니다. 포피는 인공지능을 배우기에 접근성이 좋은 플랫폼이지만, 역사적으로 스스로 걷는 데 어려움을 겪어왔습니다. 인간의 지속적인 도움 없이는 로봇이 금방 균형을 잃고 넘어졌으며, 이는 이 로봇의 용도를 진정한 자율 기계라기보다는 교실에서의 시연용으로 제한했습니다.

핵심적인 어려움은 로봇의 하드웨어에 있습니다. 이 로봇은 3D 프린팅된 플라스틱 팔다리로 구성되어 있으며, 힘을 얼마나 가해야 하는지가 아니라 오직 어느 방향을 향해야 하는지만 명령할 수 있는 모터에 의존합니다. 게다가 로블은 더 비싼 기계들에 있는 고속 센서가 부족하여, 실시간으로 발걸음을 통해 상황을 '느낄' 수 없습니다. 이전의 포피 걷기 시도들은 마치 녹음된 동작을 재생하듯 미리 기록된 움직임의 순서를 재생하는 방식이었습니다. 이러한 개루프(open-loop) 방식은 바닥이 완벽하고 로봇이 완벽한 위치에서 시작했을 때만 작동했습니다. 아주 작은 오류, 즉 약간의 흔들림이나 미끄러짐이 발생하는 순간 로봇은 스스로를 수정할 방법이 없었으며, 그 오류는 누적되어 결국 로봇을 넘어뜨렸습니다. 연구자들이 마주한 질문은 이 연약하고 저렴한 기계에게 자신의 실수로부터 회복하여 인간의 개입 없이도 안정적으로 걷는 법을 가르치는 것이 가능한가 하는 점이었습니다.

시러큐스 대학교의 연구팀은 포피에게 단순한 형태의 자기 수정 능력을 부여함으로써 이를 해결하고자 했습니다. 단순히 정해진 스크립트를 재생하는 대신, 그들은 로봇의 관절을 실시간으로 관찰하고 경로를 유지하기 위해 즉각적인 미세 조정을 수행하는 시스템을 구축했습니다. 연구진은 먼저 수백 번의 걷기 시도를 기록했는데, 여기에는 성공적인 경우와 넘어지며 끝난 경우가 모두 포함되었습니다. 성공한 움직임과 실패한 움직임 사이의 차이를 분석함으로써, 그들은 컴퓨터 프로그램이 비틀거림의 초기 징후를 인식하도록 학습시켰습니다. 프로그램은 모든 가능한 움직임에 '비용(cost)'을 할당하는 규칙 세트를 학습했는데, 높은 비용은 높은 낙하 위험을 의미했습니다. 그런 다음 프로그램은 매 순간 최선의 작은 수정 사항을 계산하는 데 이 규칙들을 사용했으며, 결과적으로 로봇이 직립 상태를 유지하는 데 사용할 수 있는 안전망을 효과적으로 만들어냈습니다.

이 접근 방식의 결과는 놀라웠습니다. 연구진이 표준 사무실 환경에서 테스트했을 때, 기존의 고정된 스크립트 재생 방식은 로봇이 넘어지기 전까지 평균적으로 겨우 4걸음 남짓을 걸을 수 있었습니다. 새로운 자기 수정 시스템을 적용했을 때, 로봇은 훨씬 더 멀리 걸을 수 있었으며 평균적으로 5걸음 이상을 걸었고, 거의 80%의 실험에서 6단계의 전체 시퀀스를 완수하는 데 성공했습니다. 결과는 로봇이 한 번도 본 적 없는 매끄러운 바닥이 있는 다른 방에서 테스트했을 때 더욱 두드러졌습니다. 이 새로운 환경에서 기존 방식의 성공률은 30%로 떨어졌지만, 새로운 시스템은 여전히 42.5%의 성공률을 기록했습니다. 이는 로봇이 단순히 특정 경로를 암기한 것이 아니라, 다양한 조건에 맞서 스스로 균형을 잡는 일반적인 능력을 학습했음을 보여주었습니다.

이 성공의 핵심은 복잡한 새로운 두뇌가 아니라, 로봇이 이미 생성하고 있는 데이터를 정교하게 사용하는 방식에 있었습니다. 연구진은 새로운 센서를 구축하거나 로봇의 물리적 설계를 변경할 필요가 없었습니다. 대신, 그들은 '선형 이차 조절기(linear-quadratic regulator)'라고 알려진 수학적 프레임워크를 사용했는데, 이는 오류를 최소화하면서 목표에 도달하는 가장 효율적인 경로를 찾는 방법입니다. 연구진은 로봇의 실패한 시도들로부터 얻은 데이터를 시스템에 입력함으로써, 계획된 경로에서 벗어나는 어떤 편차가 위험한지를 학습시킬 수 있었습니다. 시스템은 낙하로 이어질 것 같은 움직임에 벌점을 부여하여 로봇을 안정적인 중심부로 다시 유도하는 법을 배웠습니다. 이를 통해 로봇은 이전에는 붕괴를 초래했을 작은 충격과 흔들림을 흡수할 수 있게 되었고, 경직되고 취약한 기계를 현실 세계에 적응할 수 있는 존재로 탈바꿈시켰습니다.

이 연구는 저가형 로보틱스의 중요한 진전을 의미합니다. 이는 제한된 센서를 가진 저렴한 기성 부품으로 만들어진 로봇이라 할지라도, 적절한 학습 능력이 갖춰진다면 신뢰할 수 있는 자율 이동을 달나성할 수 있음을 증명합니다. 연구진은 단순한 제어 전략과 데이터 기반 학습을 결합함으로써, 인간의 손길이 필요한 로봇과 스스로 걸을 수 있는 로봇 사이의 간극을 메울 수 있음을 보여주었습니다. 비록 로봇이 아직 느리게 움직이며 회전이나 고속 보행과 같은 복잡한 과제를 숙달하지는 못했지만, 넘어지지 않고 걷는 능력은 미래의 모든 응용 분야를 위한 근본적인 요구 사항입니다. 이 연구는 적절한 소프트웨어가 있다면 저가형 하드웨어의 한계를 극복할 수 있음을 확인시켜 주며, 연구와 교육 분야에서 더욱 접근 가능하고 유능한 로봇의 길을 열어주고 있습니다.

기술 요약: Poppy Humanoid의 루프 폐쇄(Closing the Loop)

문제 정의
Poppy Humanoid는 AI 연구 및 교육에 널리 사용되는 오픈 소스 기반의 저비용 아동용 로봇입니다. 이러한 접근성에도 불구하고, 표준 하드웨어 구성은 자율 보행(bipedal locomotion)에 있어 상당한 과제를 안겨줍니다. 이러한 한계에는 위치 제어 전용 모터와 낮은 업데이트 속도(100Hz 미만), 작은 발 접촉면, 단축 발목 관절, 그리고 압력 센서나 관성 측정 장치(IMU)의 부재로 인한 부분적 상태 관측 가능성 등이 포함됩니다. 결과적으로, 저자들은 표준 Poppy 하드웨어에서 신뢰할 수 있는 무인 이족 보행을 달 수 있는 공개된 방법론을 알지 못합니다. 이전의 시도들은 인간의 개입(로봇의 손을 잡는 등)이나 상당한 하드웨어 수정이 필요했습니다. 본 논문은 수정되지 않은 표준 Poppy 하드웨어에서 신뢰할 수 있는 자율 이족 보행을 달성하는 과제를 다룹니다.

방법론
저자들은 선형 이차 조절기(LQR)와 데이터로부터 학습된 비용 함수(cost function)를 결합한 폐루프 제어 프레임워크를 제안합니다. 방법론은 다음 네 가지 주요 단계로 진행됩니다:

명목 궤적 설계 (Nominal Trajectory Design): 기구학적 분석, 궤적 최적화 및 광범적인 수동 튜닝의 조합을 통해 명목 보행 궤적을 설정했습니다. 시뮬레이션에서 최적화된 궤적을 실제 하드웨어로 전이하는 데 어려움이 있었기에(모델링 오차 및 저주파 위치 제어 때문으로 추정), 최종 궤적은 경험적으로 정교화되었습니다. 이 궤적은 모든 다리 모터와 몸통/팔 모터의 일부를 사용하며, 약 5Hz의 제어 속도로 작동합니다.
개루프 데이터 수집 (Open-Loop Data Collection): 팀은 125회의 개루프 하드웨어 실행 데이터셋을 수집했습니다. 각 실행은 6단계의 궤적을 수행합니다. 시스템의 역학을 명목 궤적 근처에서 탐색하기 위해, 목표 관절 각도에 독립적인 가우시안 섭동(Gaussian perturbations)을 추가했습니다. 실행 결과는 넘어지기 전까지 완료한 발걸음 수를 기준으로 "성공" 또는 "실패"로 수동 레이블링되었습니다. 이 데이터 분석을 통해 실패한 실행은 오차가 점진적으로 누적되며, 관절 관측값이 성공적인 실행의 중심점에서 더 멀리 벗어나는 양상을 보임을 확인했습니다.
시스템 식별 및 비용 학습 (System Identification and Cost Learning):
- 역학 (Dynamics): 명목 궤적 주변의 선형화된 시스템 역학( $A_n, B_n$ )을 개루프 데이터에 대한 최소제곱 선형 적합(least-squares linear fit)을 사용하여 추정했습니다. 상태 벡터는 명령 웨이포인트 사이의 관절 측정값을 보간하여 구성되었습니다.
- 비용 함수 (Cost Function): LQR 컨트롤러를 위한 이차 비용 함수( $J$ )를 볼록 최적화 문제(구체적으로 준정부호 계획법, semi-definite program)를 통해 학습했습니다. 목적은 비용 행렬을 항등 행렬에 가깝게 유지하면서(로봇을 명목 경로에 가깝게 유지), 낙하 궤적이 성공적인 궤적보다 단위 시간당 엄격하게 높은 평균 비용을 발생시키도록 하는 제약 조건을 만족시키는 것이었습니다. 이 접근 방식은 명시적인 낙하 시간 레이블 없이도 안정적인 상태와 불안정한 상태를 구분함으로써 신용 할당(credit assignment) 문제를 암묵적으로 처리합니다.
폐루프 실행 (Closed-Loop Execution): 운용 중 LQR 컨트롤러는 시스템 잔차(residual)를 0으로 유도하기 위해 최적의 선형 제어 법칙( $\delta u^*_n = K_n \delta x_n$ )을 계산합니다. 컨트롤러는 오차 누적을 상쇄하기 위해 타겟 웨이포인트에 대해 실시간으로 미세한 조정을 수행합니다.

핵심 기여

표준 Poppy에서의 신뢰할 수 있는 보행: 본 논문은 하드웨어 수정 없이 기존의 기성품 Poppy Humanoid에서 신뢰할 수 있는 무인 이족 보행을 달성하는 방법론을 제시하며, 기존에 알려진 바 없는 공백을 메웁니다.
데이터 기반 비용 학습: 저자들은 개루프 하드웨어 데이터로부터 직접 이차 비용 함수를 학습하기 위한 새로운 볼록 최적화 정식화를 도입했습니다. 이 방법은 낙하와 관련된 상태를 효과적으로 처벌하는 동시에 명목 궤적에 대한 근접성을 유지합니다.
하드웨어 제한에 대한 강건성: 이 접근 방식은 낮은 제어 주파수, 위치 제어 전용 제어, 부분적 상태 관측 가능성을 포함한 Poppy 플랫폼의 고유한 한계를 성공적으로 보완합니다.

결과
본 방법론은 제안된 폐루프 LQR 컨트롤러를 개루프 궤적 재생과 비교하는 광범적인 하드웨어 실험을 통해 검증되었습니다.

사무실 환경: 폐루프 컨트롤러는 개루프 제어(평균 4.18걸음 전 낙하)의 62% 성공률에 비해 78%의 성공률(평균 5.13걸음 전 낙하)을 달しまいました. 이 개선은 통계적으로 유의미했습니다 ( $p = 0.00225$ ).
연구실 환경 (일반화): 훈련에 사용되지 않은 다른 바닥 표면(매끄러운 바닥 vs 카펫)에서 테스트했을 때, 폐루프 컨트롤러는 성공률을 30%에서 42.5%로, 평균 걸음 수를 3.75에서 4.8로 향상시켰습니다 ( $p = 0.00014$ ).
안정성 분석: 폐루프 역학에 대한 안정성 분석을 통해, 컨트롤러가 안정성을 유지하고 엄격한 제약 조건으로 인해 발생하는 특이 비용 행렬(singular cost matrices)을 방지하기 위해 특정 하이퍼파라미터 설정( $\epsilon = -2.0$ )이 필수적임을 확인했습니다.

의의 및 주장
저자들은 본 연구를 표준 Poppy 플랫폼에서 신뢰할 수 있고 다재다능한 이족 보행을 위한 "첫 단계"로 규정합니다. 그들은 자신들의 방법이 보행 성능을 통계적으로 유의미하게 향상시켜, 저비용 Poppy 로봇을 하드웨어 수정보다는 소프트웨어에 집중하고자 하는 연구자와 교육자들에게 더 유망한 플랫폼으로 만든다고 주장합니다. 논문은 결과를 재현하는 데 필요한 모든 데이터와 코드가 오픈 소스임을 강조합니다.

저자들은 향후 영향에 대해 겸허한 태도를 유지하며, 컨트롤러가 걸음을 떼고 낙하를 피할 수는 있지만 아직 전진 속도, 회전 반경, 또는 이동 비용(cost of transport)과 같은 다른 보행 특성을 최적화하지는 못했다고 언급했습니다. 그들은 향후 연구에서 더 정교한 시스템 식별 방법을 통합하고, 추가적인 센서 데이터(예: 관절 온도, RGB 비디오)를 활용하며, 목표 조건부 강화 학습(goal-conditioned reinforcement learning) 또는 제어 이론적 유사 모델을 사용하여 이러한 추가적인 보행 지표를 최적화할 수 있을 것이라고 제안했습니다.

유사한 논문