🤖 machine learning

Bi-Level Reinforcement Learning Pathway for Sim-to-Real Optimality

본 논문은 예측 시뮬레이션 모델과 과업 수행 정책 사이의 목적 불일치로 인해 발생하는 심투리얼(sim-to-real) 간극 문제를 다루기 위해, 시뮬레이션 파라미터에 대한 정책 민감도를 도출하고 실세계 성능 기울기를 사용하여 시뮬레이션 모델을 직접 적응시킴으로써 실세계 정책 결과를 최적화하는 이중 레벨 강화 학습 프레임워크를 제안한다.

원저자: Akhil S Anand, Shambhuraj Sawant, Paavo Parmas, Jasper Hoffmann, Dirk Reinhardt, Sebastien Gros

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Akhil S Anand, Shambhuraj Sawant, Paavo Parmas, Jasper Hoffmann, Dirk Reinhardt, Sebastien Gros

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷는 법을 가르치려 한다고 상상해 보세요. 하지만 로봇의 다리가 부러지거나 비싼 꽃병을 넘어뜨릴 수도 있기 때문에 실제 바닥에서 연습하게 할 수는 없습니다. 그래서 여러분은 비디오 게임 세상, 즉 '시뮬레이션'을 만듭니다. 여기서는 로봇이 아무런 대가 없이 수천 번 넘어져도 괜찮습니다. 이것이 바로 **강화 학습(Reinforcement Learning, RL)**의 핵심입니다. 에이전트는 최고의 점수를 얻기 위해 시행착오를 거치며 배웁니다. 보통 우리는 이 완벽한 디지털 샌드박스 안에서 로봇을 훈련시킨 다음, 이를 실제 세상에 연결했을 때도 똑같이 잘 작동하기를 바랍니다.

하지만 여기 함정이 있습니다. 비디오 게임 세상은 결코 현실과 완전히 똑같지 않습니다. 중력이 약간 다르거나, 실제 세상의 바닥은 게임 속과는 달리 약간 미끄러울 수도 있습니다. 이러한 차이를 "심 투 리얼 갭(sim-to-real gap, 시뮬레이션과 현실 사이의 간극)"이라고 부릅니다. 로봇이 게임에서 나와 걸음을 내디딜 때, 존재하지 않는 바닥 위에서 걷는 법을 배웠기 때문에 종종 발을 헛디디고 넘어집니다. 과학자들이 던지는 큰 질문은 이것입니다. "로봇이 게임 안에서 훈련받은 후 실제 세상에서도 숙련된 보행자가 될 수 있도록, 어떻게 게임 세상을 수정할 것인가?"

"Bi-Level Reinforcement Learning Pathway for Sim-to-Real Optimality(심 투 리얼 최적화를 위한 이중 레벨 강화 학습 경로)"라는 제목의 이 논문은 그 간극을 메우기 위한 영리하고 새로운 방법을 제안합니다. 저자들은 단순히 비디오 게임을 더 사실적으로 만드는 데 집중하는 대신(이는 어렵고 본질을 놓치기 쉽습니다), 로봇의 실제 성능을 개선하기 위해 게임의 물리 법칙을 '특정하게' 변경할 것을 제와합니다. 그들은 시뮬레이션 설정을 우리가 돌릴 수 있는 "숨겨진 노브(knob, 조절 손잡이)"로 취급합니다. 게임의 규칙에 대한 아주 작은 변화가 로봇의 두뇌에 어떤 영향을 미치는지 분석함으로써, 그들은 이러한 규칙들을 자동으로 조정하는 방법을 개발했습니다. 그들은 드론의 컴퓨터 시뮬레이션을 통해 이 아이디어를 테스트했으며, 시뮬레이션의 물리 파라미터(매개변수)를 조정함으로써 드론이 초기 물리 법칙이 틀렸음에도 불구하고 실제 세계에서 완벽하게 비행하는 법을 배웠다는 것을 발견했습니다.

문제점: "완벽한" 게임 vs. "엉망진창인" 현실

로봇을 시뮬레이션에서 훈련시키는 것을 학생에게 연습 문제집으로 시험 공부를 시키는 것에 비유해 봅시다. 이상적으로는 연습 문제집이 실제 시험과 완벽하게 일치해야 합니다. 하지만 로보틱스의 세계에서 "연습 문제집"(시뮬레이션)은 미래를 정확하게 예측하고자 하는 엔지니어들에 의해 작성됩니다. 그들은 시뮬레이션이 "이 블록을 밀면 2미터 미끄러질 것이다"라고 말해주기를 원합니다.

하지만 로봇(학생)은 미래를 예측하는 데 관심이 없습니다. 로봇은 게임에서 이기는 데 관심이 있습니다. 로봇은 "내가 이 블록을 밀면 높은 점수를 얻을 수 있을까?"를 알고 싶어 합니다.

여기에 불일치가 존재합니다. 시뮬레이션은 예측기(정확한 물리)가 되도록 구축되지만, 로봇은 수행자(보상 극대화)가 되도록 훈련됩니다. 때로는 가장 정확한 물리 모델이 오히려 최악의 성능을 초래하기도 합니다. 예를 들어, 시뮬레이션이 너무 완벽하면 로봇은 매우 특수하고 취약한 방식으로 걷는 법을 배울 수 있으며, 이는 실제 바닥에 아주 작은 굴곡만 생겨도 실패하게 됩니다. 저자들은 단순히 시뮬레이션을 "더 정확하게" 만드는 것이 아니라, 시뮬레이션을 "로봇의 특정 작업에 더 좋게" 만들어야 한다고 주장합니다.

해결책: 이중 레벨의 댄스

저자들은 **이중 레벨 강화 학습(Bi-Level Reinforcement Learning)**이라는 개념을 소개합니다. 서로 다른 속도로 움직이는 두 파트너의 춤을 상상해 보세요.

내부 레벨 (학생): 시뮬레이션 내부에서 걷는 법을 배우는 로봇입니다. 로봇은 현재 게임의 규칙에 따라 최고의 점수를 얻으려고 노력합니다.
외부 레벨 (선생님): 시뮬레이션 자체를 바꾸는 부분입니다. 이 부분은 로봇이 실제 세상에서 어떻게 수행하는지를 관찰하며 묻습니다. "헤이, 만약 우리가 게임의 중력이나 마찰력을 아주 조금만 조절한다면, 로봇이 더 잘하게 될까?"

마법은 저자들이 시뮬레이션의 물리를 미세하게 조정할 때 로봇의 두뇌(정책)가 어떻게 변하는지 정확히 계산하는 방법을 찾아냈을 때 일어납니다. 그들은 이를 **민감도 분석(sensitivity analysis)**이라고 부릅니다. 이것은 마치 연습 문제의 난이도를 1% 조정했을 때 학생의 시험 점수가 얼마나 변할지 정확히 아는 것과 같습니다.

보통 이를 알아내려면 로봇을 멈추고, 게임을 바꾸고, 로봇을 처음부터 다시 훈련시킨 다음 어떤 일이 일어나는지 확인해야 합니다. 이는 시간이 엄청나게 오래 걸립니다. 저자들의 돌파구는 (**내재 함수 정리(Implicit Function Theorem)**라는 것을 사용하는) 수학적 지름길을 찾아낸 것입니다. 이를 통해 매번 로봇을 다시 훈련시키지 않고도 로봇의 두뇌가 어떻게 이동할지 예측할 수 있습니다. 그들은 "그래디언트(gradient, 경사/방향)"(노브를 돌릴 방향)를 즉각적으로 계산할 수 있습니다.

실제 적용 방식

논문이 제안하는 루프(순환 구조)는 다음과 같습니다:

시뮬레이션에서 훈련: 로봇이 시뮬레이션 내에서 연습하여 꽤 괜찮은 수준에 도달할 때까지 훈련합니다.
실제 환경에서 테스트: 로봇이 실제 세상에서 자신의 동작을 시도합니다.
변화량 계산: 시스템은 논문의 수학적 방법을 사용하여 다음과 같이 계산합니다: "만약 우리가 시뮬레이션의 질량이나 마찰력 파라미터를 변경한다면, 로봇의 실제 세계 점수는 어떻게 변할까?"
시뮬레이션 미세 조정: 시스템은 로봇의 실제 세계 점수가 높아지도록 시뮬레이션 파라미터를 조정합니다.
반복: 로봇은 이제 약간 달라진 시뮬레이션으로 돌아가 다시 학습하지만, 이번에는 게임의 규칙이 실제 세계에 필요한 것에 더 가까워져 있습니다.

결과: 비행을 배우는 드론

이 방법이 작동함을 증명하기 위해 저자들은 몇 가지 실험을 수행했습니다.

단순한 게임: 수학적 검증이 완벽하게 가능한 매우 기초적이고 추상적인 게임(3개의 상태를 가진 그리드 월드 등)에서 시작했습니다. 결과는 그들의 방법이 게임 규칙을 어떻게 변경해야 로봇의 점수를 높일 수 있는지 정확하게 식별했음을 보여주었습니다.
쿼드콥터: 가장 큰 테스트는 2D 드론 안정화 작업이었습니다. 그들은 드론의 질량이 잘못 설정된(실제 무게의 절반으로 생각한) 시뮬레이션을 설정했습니다. 이 잘못된 시뮬레이션에서만 드론을 훈련했을 때, 드론은 실제 세상에서 추락하거나 제대로 날지 못했습니다.
- 해결책: 이 이중 레벨 방식을 사용하여 시스템은 시뮬레이션의 질량 파라미터를 서서히 조정했습니다.
- 결과: 드론은 시뮬레이션에서 정책을 학습했고, 이를 실제 세상에 배치했을 때 완벽하게 안정화되었습니다. 흥old로운 점은, 시뮬레이션이 반드시 실제 질량(0.033 kg)과 똑같은 값을 갖게 된 것은 아니라는 점입니다. 시뮬레이션은 로봇의 의사결정이 가장 잘 작동하게 만드는 "최적의 지점(sweet spot)"(약간 다른 질량 값)을 찾아냈습니다. 이는 완벽한 모델이 필요한 것이 아니라, 올바른 결정을 내리게 하는 모델이 필요하다는 것을 증명합니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

저자들은 이 방법이 모든 문제를 해결하는 마법 지팡이가 아님을 분명히 하고 있습니다.

국소적임 (Local): 이 방법은 시작한 지점 근의 최적의 시뮬레이션 설정을 찾습니다. 모든 가능성의 우주에서 절대적인 최적의 해를 찾는 것을 보장하지는 않지만, 국소 최적해(local optimum)를 찾는 데 매우 뛰어납니다.
미분 가능한 시뮬레이터 필요: 시뮬레이션은 "미분 가능"해야 합니다. 즉, 입력의 미세한 변화가 출력에 어떤 영향을 미치는지 수학적으로 추적할 수 있어야 합니다. 이는 현대의 물리 엔진에서 점점 더 흔해지고 있지만, 필수적인 요구 사항입니다.
시뮬레이션 우선: 제시된 결과는 실제 세계의 컴퓨터 시뮬레이션에 기반합니다. 수학적으로 엄밀하고 수렴성이 이론적으로 증명되었지만, 실제 하드웨어 테스트는 논문에 명시된 특정 드론 예시에 한정되어 있습니다.

이 논문은 우리에게 새로운 도구를 건네줍니다. 시뮬레이션을 실제와 똑같이 보이게 만들려고 싸우는 대신, 이제 시뮬레이션을 실제 세계를 위한 완벽한 "훈련장"으로 튜닝할 수 있게 되었습니다. 이는 수영 선수가 바다에서 살아남는 법을 배우기 위해, 바다와 똑같이 생긴 수영장이 필요한 것이 아니라, 그들이 생존에 필요한 스트로크를 익히기에 물의 느낌이 '딱 적당한' 수영장이 필요하다는 것을 깨닫는 것과 같습니다.

기술 요약: Sim-to-Real 최적성을 위한 이중 레벨 강화 학습 경로

문제 정의
본 논문은 시뮬레이션에서 훈련된 정책이 실제 환경에 배포되었을 때 성능이 저하되는 현상인 "sim-to-real gap(시뮬레이션-실제 간 격차)"이라는 지속적인 과제를 다룹니다. 저자들은 그 근본 원인이 단순히 모델의 부정확함에 있는 것이 아니라, **목적 함수 불일치(objective mismatch)**에 있다고 식별합니다. 시뮬레이션 모델은 일반적으로 예측 정확도(실제 역학에 맞추는 것)를 극대화하도록 구축되는 반면, 강화 학습(RL) 정책은 태스크 성능을 극대화하도록 훈련됩니다. 확률적 설정에서, 가장 정확한 예측 모델을 생성하는 조건이 반드시 최적의 의사결정 정책을 생성하는 조건과 일치하는 것은 아닙니다. 결과적으로, 고충실도(high-fidelity) 시뮬레이터에 최적화된 정책은 시뮬레이터가 의사결정에 결정적인 특정 분포적 특징을 보존하지 못할 경우 실제 환경에서 실패할 수 있습니다.

방법론
이 격차를 메우기 위해, 저자들은 시뮬레이션 내에서 훈련된 정책의 실제 세계 성능에 따라 시뮬레이션 파라미터( $\theta$ )를 적응시키는 **이중 레벨 RL 프레임워크(Bi-Level RL framework)**를 제안합니다. 이 접근 방식은 다음과 같이 구조화됩니다:

내부 레벨 (In-Sim RL): 파라미터 $\theta$ (역학 $P_\theta$ 및 보상 $R_\theta$ )로 정의된 시뮬레이션 내에서 RL 정책( $\pi_\phi$ )을 훈련합니다. 정책은 액터-크리틱(actor-critic) 설정에서 확률적 정책 경사(Stochastic Policy Gradient, SPG) 방법을 사용하여 국소적으로 수렴되었다고 가정합니다.
민감도 분석 (Sensitivity Analysis): 본 연구의 핵심적인 이론적 기여는 국소적으로 수렴된 정책 파라미터( $\phi$ $ϕ$ )를 시뮬레이션 파라미터( $\theta$ $θ$ )에 대해 미분한 민감도를 도출하는 것입니다. 특정 소프트맥스(softmax) 구조(Q-값에 대한 구조)를 가정하고 벨만 최적 방정식을 미분하는 기존 연구와 달리, 본 연구는 일반적인 SPG 방법의 정체 조건(stationary condition)을 미분하기 위해 **음함수 정리(Implicit Function Theorem, IFT)**를 사용합니다. 이를 통해 구조적 가설 없이 임의의 파라메트릭 정책(예: 신경망)에 적용할 수 있는 분석이 가능해집니다.
- 민감도 $\nabla_\theta \phi$ 는 SPG의 고정점 조건 $\hat{\phi}(\phi, \theta) = 0$ 을 음함수 미분하여 도출됩니다.
- 유도 과정에는 마르코프 체인 분포와 크리틱(Q-함수)을 각각 정책 및 시뮬레이션 파라미터에 대해 미분하는 과정이 포함됩니다.
외부 레벨 (Simulation Adaptation): 도출된 민감도 $\nabla_\theta \phi$ 를 사용하여, 실제 세계의 리턴(return)을 극대화하도록 시뮬레이션 파라미터 $\theta$ 를 업데이트합니다. 외부 레벨의 그래디언트는 다음과 같이 계산됩니다:
$\nabla_\theta L = \mathbb{E}_{\tau \sim \rho^{\pi_\phi}} [\nabla_\theta \log \pi_\phi Q^{\pi_\phi}]$
여기서 $\nabla_\theta \log \pi_\phi$ 는 $\nabla_\theta \phi$ 를 사용하여 연쇄 법칙(chain rule)을 통해 확장됩니다.
알고리즘 구현: 저자들은 이중 레벨 PPO(Bi-Level Proximal Policy Optimization) 알고리즘을 통해 개념을 입증합니다. 이들은 3-timescale 확률적 근사(three-timescale stochastic approximation) 기법을 채택합니다:
- 가장 빠른 타임스케일: 크리틱 및 민감도 추정.
- 중간 타임스케일: 내부 시뮬레이션 정책( $\phi$ ) 업데이트.
- 가장 느린 타임스케일: 시뮬레이션 파라미터( $\theta$ ) 업데이트.
  이러한 분리는 매 외부 단계마다 내부 정책이 완전히 수렴할 필요 없이 수렴을 보장합니다.

주요 기여

일반적 민감도 분석: 본 논문은 액터-크리틱 설정에서 국소적으로 수렴된 SPG 정책의 민감도를 시뮬레이션 역학 및 보상 파라미터에 대해 도출했습니다. 이는 동적 계획법(Dynamic Programming, Q-값에 대한 소프트맥스)에 의해 유도된 정책에 국한되었던 기존 방식의 범위를 확장하여, 음함수 미분을 통해 달성되었습니다.
이중 레벨 RL 정식화: 저자들은 시뮬레이션 모델 적응을 실제 세계의 정책 성능과 직접 결합하는 원칙적인 이중 레벨 최적화 방식을 정립했습니다. 이는 시뮬레이션을 예측 정확도가 아닌 실제 세계의 리턴을 극대화하도록 최적화함으로써 목적 함수 불일치 문제를 해결합니다.
수렴 분석: 3-timescale 분리 하에서 제안된 이중 레벨 SPG 스킴의 거의 확실한 수렴(almost-sure convergence)을 증명하는 엄격한 수렴 분석을 제공합니다. 이 분석은 내부 정책이 외부 파라미터보다 빠른 타임스케일에서 업데이트되는 실질적인 구현을 정당화합니다.
효율적 구현: 저자들은 벡터-자코비안 곱(Vector-Jacobian Product, VJP) 및 아드조인트(adjoint) 방법을 사용하는 효율적인 구현을 상세히 설명합니다. 이는 고차원 자코비안 행렬 $\nabla_\theta \phi$ 를 명시적으로 형성하는 계산적 부담을 피하여, 딥 RL 설정에서도 확장 가능하게 만듭니다.

결과
저자들은 세 가지 예시를 통해 프레임워크를 검증합니다:

이산 MDP (Discrete MDP): 확률적 이산 상태-행동 공간 문제로, 외부 레벨의 SPG 업데이트가 성공적으로 수렴하여 민감도 추정의 타당성을 입증했습니다.
연속 MDP (Continuous MDP): 가우시안 노이즈가 추가된 선형 시스템과 지수형 보상 함수를 사용합니다. 이중 레벨 접근 방식은 시뮬레이션 파라미터를 실제 세계 성능에 맞게 성공적으로 적응시켰으며, 이를 통해 민감도 분석을 다시 한번 검증했습니다.
쿼드콥터 안정화 (Quadcopter Stabilization): 2D 쿼드 로터를 사용하는 비선형 연속 제어 태스크입니다. 이중 레벨 PPO 알고리즘은 sim-to-real 격차를 성공적으로 좁혔습니다. 주목할 점은, 시뮬레이션 파라미터(질량 및 길이)가 실제 참값과는 다른 값으로 수렴했음에도 불구하고 최적의 실제 세계 성능을 냈다는 것입니다. 이는 "sim-to-real 최적성"이 완벽한 모델 식별을 요구하는 것이 아니라, 의사결정을 위한 올바른 정렬(alignment)을 요구함을 보여줍니다.

의의 및 주장
본 논문은 핵심 기여가 SPG 기반 정책의 민감도 분석에 있으며, 이것이 시뮬레이션 모델을 의사결정 성능에 따라 직접 적응시키기 위한 수학적 도구를 제공한다는 점이라고 주장합니다. 저자들은 이 연구를 기존의 의사결정 인지형 모델 학습(decision-aware model learning) 및 강건성 중심의 sim-to-real 방법론에 대한 보완적 관점으로 위치시킵니다.

본 연구의 의의는 패러다임을 "시뮬레이터를 세계에 맞추는 것"에서 "정책의 실제 세계 성공에 시뮬레이터를 맞추는 것"으로 전환하는 데 있습니다. 저자들은 본 프레임워크가 이론적 토대와 개념 증명을 제공하지만, 대규모 RL 문제로 확장하기 위해서는 추가적인 알고리즘 개발이 필요하다는 점을 겸허히 인정합니다. 또한 국소적 정규성 가정(비특이 자코비안), 전역적 최적성이 아닌 국소적 최적성에 대한 집중, 그리고 현재 에피스테믹 불확실성(epistemic uncertainty) 관리의 제외 등을 한계점으로 언급합니다. 그러나 저자들은 제안된 방법이 미분 가능한 시뮬레이션 프레임워크 내에서 전체 RL 기술 세트를 활용함으로써, sim-to-real 최적성을 달성하기 위한 유연하고 일반적인 접근 방식을 제공한다고 주장합니다.

문제점: "완벽한" 게임 vs. "엉망진창인" 현실

해결책: 이중 레벨의 댄스

실제 적용 방식

결과: 비행을 배우는 드론

이것이 의미하는 바 (그리고 그렇지 않은 것)

유사한 논문