Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

변하지 않는 세상을 항해하는 로봇을 가르치는 상황을 상상해 보세요. 로봇 공학 및 인공지능 분야에서 이것은 거대한 퍼즐입니다. 만약 당신이 로봇에게 평평하고 매끄러운 포장도로 위에서만 걷도록 가르친다면, 그 로봇은 풀밭이나 가파른 언덕을 만나는 순간 넘어질 가능성이 높습니다. 여기서 **강화 학습(Reinforcement Learning, RL)**이 등장합니다. RL을 행동을 시도하고 좋은 움직임에는 보상을, 나쁜 움직임에는 벌칙을 받는 디지털 시행착오 게임이라고 생각하세요. 하지만 함정이 있습니다. 만약 훈련 세계가 너무 쉽다면, 로봇은 복잡한 상황을 다루는 법을 배우지 못해 실제 세계에서 실패할 수 있습니다. 반대로 처음부터 너무 어렵다면, 로봇은 좌절하여 아무것도 배우지 못하게 됩니다.

이를 해결하기 위해 과학자들은 **커리큘럼 학습(Curriculum Learning)**을 사용합니다. 이는 마치 인간 교사가 학생에게 첫날부터 미적분 시험을 던져주지 않는 것과 같습니다. 대신, 간단한 덧셈으로 시작하여 대수학으로 넘어가고, 마침내 학생이 실력이 좋아지면 미적분을 다룹니다. 목표는 훈련 환경의 난이도를 서서히 높여 로봇이 미끄러운 바닥부터 갑작스러운 장애물까지 무엇이든 처리할 수 있는 강인함(robustness)을 갖추도록 하는 것입니다. 하지만 난이도를 정확히 얼마나 빨리 높일지, 그리고 다음에 어떤 특정 과제를 추가할지를 결정하는 것은 매우 까다로운 일입니다. 예측을 잘못하면 로봇은 실패의 굴레에 갇히거나, 가장 어려운 기술을 결코 배우지 못할 수도 있습니다.

이 논문은 로봇을 위한 더 똑똑한 훈련 커리큘럼을 설계하는 새로운 방법을 소개합니다. 저자인 Prishita Ray와 동료들은 **재매개변수화된 커리큘럼 생성(Reparameterized Curriculum Generation)**이라는 방법론을 제안합니다. 이 시스템은 어떤 환경을 테스트할지 무작위로 추측하거나 난이도 수준을 수동으로 설정하는 대신, '비평가(critic, 스마트한 관찰자)'를 사용하여 로봇이 얼마나 잘하고 있는지 지켜봅니다. 이 피드백을 바탕으로, 시스템은 수학을 사용하여 훈련 환경의 파라미터(예: 언덕의 가파른 정도나 장애물의 수)를 정밀한 경사 기반(gradient-based) 방식으로 높이거나 낮춥니다. 그들은 이 방법을 두 가지 고전적인 비디오 게임 스타일의 로봇 챌린지에 테스트했습니다: 장애물 코스를 통과하는 자동차 레이싱과 거친 지형에서 중심을 잡으려는 이족 보행 로봇입니다. 결과는 이 방법이 기존의 무작위 방식이나 수동으로 설계된 훈련 방식보다 로봇이 더 빠르게 학습하고 더 다양한 까다로운 상황을 더 잘 다룰 수 있게 해준다는 것을 보여줍니다.

스마트한 강의 계획서의 이야기

당신이 비디오 게임 캐릭터에게 자동차 경주를 훈련시킨다고 상상해 보세요. 옛날 방식이라면 게임을 할 때마다 무작위로 트랙을 선택했을 것입니다. 때로는 트랙이 직선의 빈 고속도로일 수도 있고, 때로는 벽이 가득한 혼란스러운 미로일 수도 있습니다. 이를 **무작위 샘플링(Random Sampling)**이라고 합니다. 이는 혼란스럽고 비효리적입니다. 또는, "좋아, 첫 한 시간 동안은 평탄한 트랙만 사용할 거야. 그다음엔 굴곡을 추가하고, 그다음엔 곡선을 넣어야지"라고 결정하는 **수동 커리큘럼(Manual Curriculum)**을 시도할 수도 있습니다. 이는 더 낫지만 경직되어 있습니다. 만약 캐릭터가 곡선은 준비되었지만 굴곡에는 아직 준비되지 않았다면 어떨까요? 혹은 트랙이 평탄함에도 불구하고 굴곡 때문에 고전하고 있다면 어떨까요? 당신은 추측하고 있는 것이며, 시간을 낭비하고 있을지도 모릅니다.

이 논문의 저자는 이렇게 물었습니다: 로봇을 위해 매 순간 완벽한 난이도 곡선을 자동으로 찾아내는 시스템을 만들 수 있을까?

그들은 Reparam이라 불리는 프레임워크를 구축했습니다. 이것을 개인 트레이너 역할을 겸하는 비디오 게임 레벨 디자이너라고 생각하세요. 이 트레이너에게는 두 가지 주요 역할이 있습니다:

1. 정책(Policy, 학생): 이것은 자동차를 조종하거나 이족 보행 로봇을 걷게 하는 법을 배우는 로봇의 뇌입니다.
2. 비평가(Critic, 코치): 이것이 이 새로운 방법의 특별한 부분입니다. 비평가는 단순히 로봇을 지켜보는 것이 아니라, 훈련 환경을 능동적으로 변화시킵니다.

여기서 마법이 일어납로니다. 훈련 환경에는 "노브(knobs)" 또는 파라미터가 있습니다. 자동차의 경우, 이 노브들은 도로가 얼마나 굽었는지($\kappa$)와 장애물이 얼마나 나타나는지($p$)를 조절합니다. 보행자의 경우, 노브는 지면이 얼마나 미끄러운지($f$), 구덩이가 얼마나 많은지($\rho$), 그리고 경사가 얼마나 가파른지($s$)를 조절합니다.

비평가는 로봇의 성과를 살핍니다. 만약 로봇이 현재 레벨을 압도하고 있다면, 비평가는 **경사 기반 최적화(gradient-based optimization)**라는 수학적 도구를 사용하여 노브를 "더 어려운" 방향으로 약간 돌립니다. 만약 로봇이 처참하게 실패하고 있다면, 비평가는 노브를 "더 쉬운" 방향으로 돌립니다. 하지만 여기서 반전이 있습니다. 비평가는 그냥 추측하는 것이 아닙니다. 비평가는 로봇이 가장 효율적으로 배울 수 있도록 노브를 돌릴 정확한 방향을 계산합니다. 이는 단순히 "왼쪽으로 가세요"라고 말하는 것이 아니라, 포트홀을 피하기 위해 스티어링 휠을 돌릴 정확한 각도를 계산하는 GPS와 같습니다.

핵심 비결: 로봇을 차분하게 유지하기

이전 방법들에는 문제가 있었습니다. 훈련 환경이 너무 빠르거나 급격하게 변하면 로봇은 혼란에 빠집니다. AI 세계에서는 이를 **분포 변화(distribution shift)**라고 부릅니다. 당신이 운전을 배우고 있는데, 한순간에는 마른 고속도로에 있다가 다음 순간에는 얼어붙은 호수 위에 있는 상황을 상상해 보세요. 당신의 뇌는 규칙이 너무 급격하게 변했기 때문에 적응하는 데 어려움을 겪을 것입니다.

이를 해결하기 위해 저자는 **정규화 목적 함수(regularization objective)**를 추가했습니다. 이것을 "진정해(calm-down)" 규칙이라고 생각하세요. 이 규칙은 비평가에게 다음과 같이 말합니다: "이봐, 레벨을 더 어렵게 만들 수는 있지만, 지난 레벨에서 너무 많이 바꾸지는 마." 이는 로봇이 단계별로 학습하도록 보장하며, 로봇이 탄탄한 기술의 기초를 쌓을 수 있도록 훈련 환경을 안정적으로 유지해 줍니다. 이는 특히 로봇이 숫자뿐만 아니라 이미지(보는 것)를 함께 처리해야 하는 자동차 경주 작업에서 매우 중요했습니다. 이 "진정" 규칙은 로봇이 시각적 세계를 더 잘 이해하도록 도와주어, 주변 풍경의 갑작스럽고 격렬한 변화에 압도되지 않도록 방지했습니다.

경주와 걷기

팀은 로봇 훈련을 위한 인기 있는 툴킷인 OpenAI Gym을 사용하여 두 가지 매우 다른 챌린지에 이 아이디어를 테스트했습니다.

1. 자동차 경주 챌린지:
로봇은 장애물이 가득한 트랙을 통과하여 자동차를 운전해야 했습니다. 난이도는 도로가 얼마나 굽었는지와 장애물이 얼마나 많은지에 의해 제어되었습니다.

• 결과: 새로운 방법(특히 "진정" 규칙이 포함된 버전인 Reparam-M)이 챔피언이었습니다. 이 모델은 평균 보상 650(표준 편차 134)을 달연하며 다른 모든 방법을 이겼습니다.
• 중요한 이유: 로봇은 단순히 경주를 마친 것이 아니라, 장애물에 충돌하는 횟수가 훨씬 적었습니다. "Vanilla(기본)" 로봇(쉬운 트랙에서만 훈련된 로봇)은 평균 1.85회 충돌한 반면, Reparam-M 로봇은 단 0.60회만 충돌했습니다. 또한 트랙 밖의 풀밭으로 벗어나는 시간도 적었는데, 이는 트랙이 까다로워져도 트랙 안에 머무는 법을 배웠음을 보여줍니다.

2. 이족 보행 로봇 챌린지:
이것은 구덩이에 빠지거나 경사면에서 미끄러지지 않고 앞으로 걸어가려는 두 다리를 가진 로봇입니다.

• 결라: 흥미롭게도, 여기서는 "진정" 규칙이 반드시 필요하지 않았습니다. 보행 로봇의 뇌는 더 단순했습니다(이미지를 처리할 필요 없이 신체 센서만 있으면 됨). "진정" 규칙이 없는 버전(Reparam)이 평균 보상 127을 기록하며 가장 좋은 성능을 보였습니다.
• 중요한 이유: 이 로봇은 Vanilla 로봇의 110보에 비해 평균 128보를 걸었습니다. 또한 구덩이에 빠지는 횟수도 적었습니다.

배운 점 (그리고 배우지 못한 점)

논문은 무엇이 효과적이고 무엇이 그렇지 않은지를 명확히 짚어줍니다. 그들은 자신들의 아이디어를 여러 변형으로 테스트했습니다:

• 양방향 업데이트 (Reparam-A): 비평가가 로봇이 너무 잘하고 있을 때 레벨을 더 쉽게 만들도록 하여 로봇을 "학습 영역"에 머물게 하려 했습니다. 하지만 이는 오히려 속도를 늦췄습니다. 로봇이 더 어려운 레벨을 받아들일 준비가 되었을 때 다시 쉽게 만드는 것은 시간 낭비라는 것이 밝혀졌습니다.
• 역방립 커리큘럼 (Reparam-R): 가장 어려운 레벨에서 시작하여 거꾸로 진행하는 것을 시도했습니다. 이는 쉬운 것에서 시작하여 점점 어려워지는 방식보다 효과가 떨어졌습니다.
• 수동 및 무작위 커리큘럼: 예상대로, 이러한 전통적인 방식들은 스마트하고 자동화된 시스템에 의해 압도되었습니다.

저자는 자신의 방법이 샘플 효율적(sample-efficient), 즉 더 빠르게 학습하고 작업을 익히는 데 더 적은 시도가 필요하다는 것을 발견했습니다. 결과가 단지 운이 아니라는 것을 확인하기 위해 서로 다른 무작위 시드로 다섯 번의 실험을 수행했습니다. 결과는 일관되었습니다: 새로운 방법은 지속적으로 기존 방식들을 앞질렀습니다.

그러나 논문은 겸허합니다. 그들은 이 방법이 시뮬레이션된 비디오 게임 세계에서는 잘 작동하지만, 여전히 시뮬레이션이라는 점을 지적합니다. 그들은 아직 이 "스마트한 강의 계획서"를 실제 거실에 있는 실제 로봇에 테스트하지 않았습니다. 그들은 향에 연구가 이 시스템이 더욱 복잡한 실제 세계의 변수들을 다룰 수 있는지 확인해야 한다고 제안합니다.

요약

이 논문은 새로운 로봇이나 게임을 발명하는 것에 관한 것이 아닙니다. 더 나은 선생님을 발명하는 것에 관한 것입니다. 수학에 기반한 스마트한 시스템을 사용하여 훈련 환경의 난이도를 실시간으로 조정함으로써, 저자는 로와이 더 강인하고 적응력이 뛰어나며 충돌에 덜 취약하게 학습할 수 있음을 보여주었습니다. 로봇이 혼란스러운 트랙을 항해하는 자동차이든, 바위투성이 길을 건너는 보행자이든, 교훈은 명확합니다: 로봇을 가르치는 가장 좋은 방법은 심연에 던져버리는 것이 아니라, 한 단계씩 완벽하게 조절된 도전의 여정으로 안내하는 것입니다.