💻 computer science

Zero-shot Transfer of Reinforcement Learning Control Policies for the Swing-Up and Stabilization of a Cart-Pole System

본 논문은 대역폭 인식 필터링, 민감도 유도 도메인 무작위화, 그리고 강건한 에너지 주입 및 외란 제거를 보장하기 위한 선형 커리큘럼 학습 스케줄을 결합함으로써, 시뮬레이션에서 하드웨어로의 카트폴 스윙업 및 안정화를 위한 강화 학습 정책의 성공적인 제로샷 전이를 입증한다.

원저자: Nikki Xu, Hien Tran

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikki Xu, Hien Tran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 빗자루를 손 위에 세우는 법을 가르치고 있다고 상상해 보세요. 이것이 바로 "카트-폴(Cart-Pole)" 문제입니다: 카트는 트랙 위를 앞뒤로 움직이고, 폴(막대기)은 카트에 경첩으로 연결되어 있습니다. 로봇에게는 두 가지 임무가 있습니다.

스윙업(Swing-Up): 아래로 축 처져 있는 폴을 수직으로 똑바로 세우기.
안정화(Stabilization): 폴이 쓰러지지 않도록 똑바로 세운 상태를 유지하기.

NC 주립대학교의 연구진은 강화 학습(Reinforcement Learning, RL)을 사용하여 로봇에게 이 작업을 수행하도록 가르치고자 했습니다. 강화 학습은 강아지를 훈련시키는 것과 비슷합니다. 강아지가 무언가를 잘하면 간식을 주고, 실수하면 간식을 주지 않는 식이죠. 결국 강아지는 최고의 기술을 배우게 됩니다.

하지만 여기에는 큰 문제가 있습니다. 바로 "심 투 리얼(Sim-to-Real)" 격차입니다. 컴퓨터 시뮬레이션(비디오 게임 세상) 속에서는 로봇을 완벽하게 훈련시킬 수 있지만, 그 똑같은 "두뇌"를 실제 로봇에 넣으면 종종 실패하곤 합니다. 왜 그럴까요? 실제 세상에는 마찰력이 있고, 센서는 흔들리며, 시뮬레이션이 고려하지 못한 불완전한 모터가 있기 때문입니다. 이는 마치 잔잔하고 완벽한 수영장에서 수영을 배운 선수를 갑자기 거친 바다에 던져 놓는 것과 같습니다. 환경이 다르기 때문에 그 선수는 익사할 수도 있습니다.

문제점: 로봇이 스스로를 망가뜨리다

처음에 연구진은 표준 컴퓨터 시뮬레이션을 사용하여 로봇에게 폴을 들어 올리는 법을 훈련시키려 했습니다.

결과: 컴퓨터는 로봇이 아주 잘하고 있다고 생각했습니다. 하지만 실제 기계에 적용했을 때, 로봇은 미친 듯이 날뛰었습니다.
비유: 비디오 게임에서 운전을 배운 운전자를 상상해 보세요. 게임에서는 가속 페달을 0에서 100까지 순식간에 밟을 수 있습니다. 하지만 현실에서 그렇게 하면 타이어가 헛돌고, 통제력을 잃으며, 차를 망가뜨릴 수 있습니다.
발생한 일: 컴퓨터가 학습한 "두뇌"는 실제 모터에게 순식간에 전속 전진에서 전속 후진으로 바꾸라고 명령했습니다. 이 격렬한 떨림이 카트의 플라스틱 바퀴를 부러뜨렸습니다. 로봇이 너무 "경련(jittery)"을 일으켰던 것입니다.

해결책: 3단계 레시피

이를 해결하기 위해 연구진은 별도의 튜닝 없이도(이를 "제로샷 전이(Zero-Shot Transfer)", 즉 플러그 앤 플레이 장치처럼 즉시 작동하는 것을 의미함) 컴퓨터로 훈련된 두뇌가 실제 기계에서 작동할 수 있도록 특정한 레시피를 개발했습니다.

1. "스무디" 필터 (액션 스무딩/Action Smoothing)

문제: 컴퓨터 두뇌가 드럼 솔로를 분당 1,000비트로 연주하는 것처럼 너무 급격하고 빠르게 명령을 내렸습니다.
해결책: 그들은 "저역 통과 필터(low-pass filter)"를 추가했습니다. 이것은 로봇의 명령을 위한 스무디 믹서기라고 생각하면 됩니다. 만약 두뇌가 "왼쪽으로 가!"라고 소리친 직후 바로 "오른쪽으로 가!"라고 명령한다면, 이 믹서기는 그 명령을 "왼쪽으로 갔다가, 천천히 오른쪽으로 돌아라"와 같이 부드럽게 만들어 줍니다.
중요성: 이 방식은 물리적인 바퀴를 보호하고 로봇이 스스로를 부수며 떨리는 현상을 막아주었습니다.

2. "보조 바퀴" (커리큘럼 학습/Curriculum Learning)

문제: 학생에게 곧바로 어려운 시험을 치르게 하면, 학생은 당황하여 실패할 수 있습니다.
해결책: 그들은 "커리큘럼"을 사용했습니다. 로봇을 완벽하고 쉬운 세상에서 훈련시키는 대신, 약간은 지저받은 세상에서 시작하여 점차 더 험난한 세상으로 만들었습니다.
비유: 자전거 타기를 배우는 것과 같습니다. 처음에는 보조 바퀴가 달린 평지에서 시작합니다. 실력이 좋아지면 보조 바퀴를 뗍니다. 그다음에는 약간의 경사가 있는 길에서 연습합니다. 마지막으로 울퉁불퉁한 길에서 연습합니다. 로봇이 "졸업"할 때쯤이면, 시뮬레이션 속에서 이미 수많은 종류의 "턱"을 경험했기 때문에 실제 세상이 오히려 쉽게 느껴질 것입니다.

3. "표적화된" 무작위화 (민감도 가이드 도메인 무작위화/Sensitivity-Guided Domain Randomization)

문제: 만약 모든 것(카트의 무게, 바람, 마찰력, 하늘의 색깔 등)을 무작위로 설정하려고 하면, 로봇은 혼란에 빠져 아무것도 배우지 못합니다.
해결책: 연구진은 "민감도 분석(sensitivity analysis)"을 수행했습니다. 이는 의사가 신체의 어느 부분이 질병에 가장 민감한지 체크하는 것과 같습니다. 그들은 로봇 모터의 세 가지 특정 부분(회전하는 부분의 무게와 두 가지 전기적 상수)만이 정말 중요하다는 것을 발견했습니다.
전략: 그들은 훈련 중에 오직 이 세 가지 특정 부분만을 무작위로 변화시켰습니다. 다른 모든 것은 건드리지 않았습니다. 이를 통해 훈련의 초점을 유지하면서도 실제 세계를 견딜 수 있는 강건함을 갖추게 했습니다.

마지막 단계: 핸드오프 (Handoff)

로봇은 두 개의 서로 다른 "두뇌(정책)"를 가지고 있습니다: 하나는 폴을 들어 올리기 위한 것이고, 다른 하나는 균형을 유지하기 위한 것입니다.

과제: "스윙업 두뇌"에서 "밸런스 두뇌"로 즉시 전환할 수는 없습니다. 잘못된 순간에 전환하면 폴이 쓰러집니다.
해결책: 그들은 "스위칭 로직(Switching Logic)"을 만들었습니다. 교통 신호를 상상해 보세요. "스윙업 두뇌"가 폴이 거의 수직이 되고 카트가 적절한 위치에 올 때까지 운전합니다. 그러고 나서 교통 신호가 초록불로 바뀌면 "밸런스 두와"가 제어권을 넘겨받습니다. 그들은 이 전환이 매끄럽게(충격 없이) 이루어지도록 하여 로봇이 깜짝 놀라지 않게 만들었습니다.

결과

성공한 것: 스무디 필터(파손 방지), 표적화된 무작위화(올바른 학습), 그리고 커리큘ам 학습(단계적 학습)의 조합을 통해 로봇은 매달려 있는 자세에서 시작하여 똑바로 서 있는 자세까지 도달하고 유지할 수 있었습니다.
실패한 것: 만약 너무 많은 것을 무작위화하거나 필터를 사용하지 않았다면, 로봇은 컴퓨터 안에서는 완벽해 보였을지라도 실제 실험실에서는 실패했을 것입니다.
핵심 요점: 컴퓨터 속의 완벽한 비디오 게임에서 훈련시킨다고 해서 그것이 복잡한 실제 세상에서 바로 작동할 것이라 기대해서는 안 됩니다. 학습하는 동안 "노이즈"와 "급격한 움직임"을 다루는 법을 가르쳐야 하며, 부드럽고 단계적인 접근 방식을 사용해야 합니다.

요약하자면, 그들은 로봇이 지저분한 시뮬레이션 교실에서 배우도록 하고, 자신의 다리를 부러뜨리지 않도록 명령을 부드럽게 다듬었으며, 준비가 되었을 때만 "균형 모드"로 전환하도록 가르쳤습니다. 그리고 이것은 실험실에서 전원을 켰을 때 즉시 작동했습니다.

기술 요약: 카트-폴 시스템의 스윙업 및 안정화를 위한 강화학습 제어 정책의 제로샷 전이(Zero-shot Transfer)

문제 정의
본 논문은 미세 조정(fine-tuning) 없이 시뮬레이션에서 물리적 하드웨어로 강화학습(RL) 제어 정책을 배포하는 문제(제로샷 전이)를 다룬다. 구체적으로, 에너지를 주입하여 진자를 하향 평형 상태에서 상향 평형 영역으로 이동시키는 '스윙업(swing-up)' 단계와, 외란에 맞서 균형을 유지하는 '안정화(stabilization)' 단계라는 두 가지 뚜렷한 단계를 요구하는 정형적인 비선형 제어 벤치마크인 카트-폴(cart-pole) 시스템을 대상으로 한다. RL은 시뮬레이션에서 성공을 거둔 사례가 많지만, 모델 불일치, 센서 노이즈, 모델링되지 않은 역학 등으로 인한 '심투리얼 갭(sim-to-real gap)' 때문에 직접적인 하드웨어 전이는 종종 실패한다. 본 연구에서 사용된 이전 시도들은 특정 전이 기술이 없는 고충실도(high-fidelity) 모델을 사용하였으며, 이로 인해 고주파의 '뱅-뱅(bang-bang)' 제어 신호가 발생하여 하드웨어가 손상되는 결과를 초래했다.

방법론
저자들은 Simulink 내의 스위칭 로직에 의해 관리되는 두 개의 독립적으로 학습된 정책(스윙업 및 안정화)을 포함하는 하이브리드 제어 프레임워크를 제안한다. 핵심 방법론은 미세 조정 없이 심투리얼 갭을 메우기 위한 세 가지 특정 기술에 초점을 맞춘다:

액션 스무딩 (저역 통과 필터링): 이산 시간 RL 최적화 과정에서 발생하는 고주파 진동 액추에이션으로부터 하드웨어 손상을 방지하기 위해, 신경망의 출력 신호에 1차 저역 통과 필터(low-pass filter)를 적용한다. 이는 대역폭을 고려한 필터로서 작용하여 제어 입력을 부드럽게 만든다.
민감도 기반 도메인 무작위화 (Domain Randomization, DR): 모든 모델 파라미터를 무차별적으로 무작위화하는 대신, 저자들은 복소수 단계법(complex-step method)을 사용하여 시스템 역학에 유의미한 영향을 미치는 파라미터를 식별하는 민감도 분석을 수행한다. 이후, 명목 모델에 대한 과적합을 줄이면서도 시스템 역학을 보존하기 위해 특정 파라미터(구체적으로 모터 관성 모멘트, 토크 상수, 역기전력 상수)에 대해서만 무작위화를 적용한다.
커리큘럼 학습 (Curriculum Learning, CL): 선형 커리큘럼 스케줄이 구현되어, 무작위화된 파라미터의 불확실성 마진이 정해진 학습 에피소드 동안 0에서 최대값까지 점진적으로 증가한다. 이는 초기 학습을 안정화하고 최종 성능을 향상시키는 것을 목표로 한다.
정책 스위칭: 스윙업 정책과 안정화 정책 사이를 전환하기 위한 스위칭 로직이 설계되었다. 저자들은 매끄러운 핸드오프를 보장하고 채터링(chattering)을 방지하기 위해 히스테리시스(hysteresis)와 유사한 동작 및 완화된 상태 경계 조건을 구현하였으며, 이를 통해 진자가 떨어질 경우 스윙업 정책이 다시 작동할 수 있도록 하였다.

주요 결과
본 연구는 시뮬레이션 및 물리적 하드웨어 실험을 통해 여러 학습 구성을 비교한다:

초기 실패: 전이 기술(DR 없음, CL 없음, 필터링 없음) 없이 학습된 컨트롤러는 시뮬레이션에서는 성공했으나, 하드웨어에서는 격렬한 전압 스위칭으로 인해 몇 초 만에 카트의 플라스틱 바퀴를 파손시키며 치명적으로 실패했다.
Case 0 (무차별적 무작위화): 모든 물리적 파라미터를 10% 마진 내에서 무작위화하고 커리큘럼 학습을 적용하더라도, 성능 향상이 모호하게 나타났으며 시뮬레이션에서 무작위화되지 않은 베이스라인을 일관되게 능가하지 못했다.
Case 1 (표적 무작위화): 가장 성공적인 구성은 세 가지 낮은 수준 또는 중간 수준의 민감도를 가진 파라미터( $J_m$ , $K_t$ , $K_m$ )를 100 에피소드 동안 5% 마진으로 무작위화하고, 커리큘럼 학습과 액션 필터링을 결합한 것이었다. 이 정책은 심각한 외란 수준에서도 시뮬레이션에서 100% 성공률을 달랐다.
하드웨어 배포: Case 1의 정책만이 물리적 카트-폴 시스템으로 성공적으로 전이되었다. 이 정책은 안정화 단계로 넘겨주기 위한 충분한 에너지를 안정적으로 주입했고, 수동 충격에 대해 균형을 유지했으며, 큰 섭동으로부터 회복할 수 있었다.
역설적 발견: 시뮬레이션에서 더 높은 누적 보상을 달 Achieve한 정책들(종종 더 넓은 무작위화나 커리큘럼이 없는 경우)이 하드웨어로 전이될 때 자주 실패했다. 이는 시뮬레이션의 보상 지표만으로는 하드웨어의 생존 가능성을 판단하기에 불충분함을 시사한다.

의의 및 주장
본 논문은 미세 조정 없이 물리적 하드웨어에 RL 기반 컨트롤러를 배포할 수 있는 실질적인 경로를 제공한다고 주장한다. 주요 기여는 다음과 같다:

제로샷 전이에 대한 경험적 증거: 액션 필터링, 민감도 기반 도역 무작위화, 커리큘ам 학습의 조합이 하드웨어에서 직접 작동하는 견고한 컨트롤러를 생성할 수 있음을 입증하였다.
안전 필수 필터링: 액션 스무딩이 단순히 성능 향상 도구가 아니라, RL 유도 고주파 입력으로부터 물리적 손상을 방지하기 위해 필요한 안전 필수 요소임을 강조하였다.
파라미터 선택 전략: 이 시스템(비교적 안정적인 환경에서 작동함)의 경우, 광범위하고 무차별적인 무작위화보다 민감도 분석에 기반한 표적 무작위화가 더 효과적임을 보여주었다.
평가 프로토콜: 스윙업 시간, 성공률, 보상의 표준 편차를 포함하는 종합적인 평가 지표를 제안하며, 평균 에피소드 보상이 실제 성능의 예측 지표로서 부적절하다고 주장한다.

저자들은 자신들의 발견이 주로 경험적이며, 이러한 기술들의 RL 컨트롤러에 대한 이론적 함의는 추가적인 엄격한 조사가 필요하다는 점을 인정하며 겸허한 어조를 유지한다. 그들은 자신들이 사용한 기술의 조합이 카트-폴 시스템에는 효과적이었으나, 이 결과는 확정적인 보편적 규칙이라기보다는 제한된 캠페인으로부터 얻은 경험적 증거로 간주되어야 한다고 결론짓는다.