Gaussian Process Aggregation for Root-Parallel Monte Carlo Tree Search with Continuous Actions

당신이 로봇에게 미로를 탐색하는 법을 가르치려 한다고 상상해 보세요. 대신 지도를 주는 것이 아니라, 로봇이 수백만 번의 아주 작은 추측을 해보도록 내버려 두는 것입니다. 이것이 바로 **강화 학습(Reinforcement Learning)**의 세계입니다. 여기서 에이전트는 시행착오를 통해 목표를 향한 최적의 경로를 찾아내며 학습합니다. 이를 위한 가장 똑똑한 도구 중 하나가 바로 **몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)**입니다. MCTS를 '매우 조직적인 공상가'라고 생각해보세요. 이 공상가는 머릿속에서 수천 가지의 가능한 미래를 시뮬레이션하며 가장 유망해 보이는 경로를 선택합니다. 하지만 여기에는 함정이 있습니다. 만약 로봇이 수백만 가지의 서로 다른 각도나 속도 중에서 선택해야 하는 상황(즉, "연속적인" 행동 공간)에 놓인다면, 모든 경우의 수를 다 확인할 수는 없습니다. 반드시 추측을 해야만 합니다.

이러한 추측을 더 빠르게 만들기 위해, 과학자들은 종종 **병렬 컴퓨팅(parallel computing)**을 사용합니다. 이는 마치 여덟 명의 친구를 고용하여 각자 동시에 자신만의 공상을 실행하게 하는 것과 같습니다. 여기서 큰 질문은 이렇습니다. 여덟 명의 친구가 모두 조언을 마쳤을 때, 어떻게 그들의 조언을 결합하여 단 하나의 최선의 움직임을 선택할 것인가? 만약 단순히 가장 많은 추측을 한 친구의 의견을 따른다면, 단 몇 번의 시도만으로도 훌륭한 아이디어를 낸 친구를 놓칠 수도 있습니다. 반대로 단순히 점수가 가장 높은 친구를 선택한다면, 운 좋게 한 번은 성공할지 몰라도 다음번에는 실패할 수도 있습니다. 이 논문은 선택지가 단순한 "왼쪽"이나 "오른쪽" 같은 목록이 아니라, 끝없이 펼쳐진 유동적인 형태일 때, 이 서로 다른 조언의 흐름을 어떻게 혼합할 것인가라는 까다로운 문제를 다룹니다.

문제점: 너무 많은 친구, 부족한 시간

당신이 여덟 명의 친구와 함께 자동차 여행을 계획하고 있다고 상상해 보세요. 여러분은 모두 같은 집(즉, "루트" 상태)에서 출발하여 각자 다른 방향으로 동네를 탐험하러 떠납니다. 당신에게는 엄격한 시간 제한이 있습니다. 예를 들어, 다음에 어디로 갈지 결정하기까지 단 10분뿐입니다.

과거에 선택지가 단순했을 때(예: "왼쪽으로 돌기" 또는 "오른쪽으로 돌기")는 그룹이 투표를 했습니다. 가장 많은 표를 얻은 방향이 승리하는 방식이죠. 하지만 선택지가 연속적이라면 어떨까요? 만약 당신이 스티어링 휠을 0도에서 360도 사이의 어떠한 각도로도 돌릴 수 있다면요? 이제는 모두가 정확히 같은 각도로 운전한 것이 아니기 때문에, 모두가 동일한 각도에 대해 투표하는 것은 불가능합니다.

이전의 몇몇 방법들은 "좋아, 우리가 운전했던 각도 중 가장 잘 작동했던 것을 딱 집어서 고르자"라고 제안하며 이 문제를 해결하려 했습니다. 또 다른 방법들은 "우리가 운전했던 각도들을 살펴보고, 그 각도들과 가까운 각도들도 괜찮을 것이라고 추측하자"라고 말하기도 했습니다. 하지만 이러한 방법들에는 결함이 있었습니다. 그들은 오직 이미 시도했던 특정 각도들에만 갇혀 있었습니다. 그들은 아무도 생각하지 못했던 새로운, 완벽한 각도를 상상할 수 없었습니다. 이는 마치 캠프파이어를 피울 가장 좋은 장소를 찾으려 할 때, 친구들이 이미 앉았던 자리만 살피는 것과 같습니다. 정작 완벽한 장소는 아무도 앉지 않은 풀밭 한가운데에 있을 수도 있는데 말이죠.

새로운 아이디어: 마법의 수정 구슬 (가우시안 프로세스)

이 논문의 저자인 준린 샤오(Junlin Xiao)와 그의 팀은 친구들의 보고를 결합하는 영리한 새로운 방법을 고안해 냈습니다. 그들은 이 방법을 GPR2P(Gaussian Process Regression for Root-Parallel MCTS)라고 부릅니다.

단순히 시도했던 움직임 중 가장 좋은 각도를 고르는 대신, GPR2P는 마법의 수정 구슬처럼 작동합니다. 이 방법은 여덟 명의 친구로부터 얻은 모든 데이터(그들이 시도한 각도와 그 결과)를 가져와서 전체 동네에 대한 매끄럽고 보이지 않는 지도를 그립니다. 이 지도는 그들이 방문한 지점만을 보여주는 것이 아니라, 만약 그 사이의 각도들을 시도했다면 어떤 일이 벌어졌을지를 예측합니다.

이는 점들을 잇는 과정과 같습니다. 만약 한 친구가 핸들을 10도 돌렸을 때 괜찮았고, 다른 친구가 20도를 돌렸을 때 아주 좋았다면, 단순한 투표 방식은 20도를 선택할 것입니다. 하지만 GPR2P는 곡선을 보고 이렇게 말합니다. "헤이, 10도와 20도 사이의 선을 보니, 아무도 시도하지 않았더라도 15도가 오히려 완벽한 지점일 수도 있어!" GPR2P는 **가우시안 프로세스 회귀(Gaussian Process Regression)**라는 통계적 도구를 사용하여 빈틈을 채우고, 가능한 최선의 움직임을 보여주는 연속적인 그림을 만들어냅니다.

연구 결과: 더 많은 추측이 아닌, 더 똑똑한 추측

연구팀은 이 아이디어를 달 표면에 우주선을 착륙시키는 것부터 언덕 위로 차를 운전하는 것까지, 여섯 가지의 비디오 게임 같은 환경에서 테스트했습니다. 그들은 이 "수정 구슬" 방식의 성능을 기존의 투표 방식 및 "시도된 각도 중 최고를 고르는" 방식과 비교했습니다.

연구 결과는 다음과 같습니다:

• 수정 구슬의 승리: 거의 모든 테스트에서 GPR2P는 다른 방법들보다 더 나은 경로를 찾아냈습니다. GPR2P는 일관되게 더 높은 점수를 얻거나 더 빠르게 완료할 수 있는 행동을 선택했습니다.
• 단순히 속도의 문제가 아님: 연구팀은 이 방법이 단순히 더 오래 생각해서 이기는 것인지 확인했습니다. 그 결과, GPR2P가 예측을 계산하는 데 아주 약간의 시간(단계당 몇 밀리초 정도)이 더 걸리기는 했지만, 그로 인한 성능 향상이 충분히 가치 있다는 것을 발견했습니다. 기존 방식들에게 그만큼의 추가 시간을 주어 더 많은 추측을 하게 하더라도, GPR2P가 여전히 우위를 점했습니다.
• "시도되지 않은 것"의 이점: 이 성공의 핵심은 GPR2P가 실제로 아무도 시도하지 않은 각도를 선택할 수 있었다는 점입니다. 매우 구체적인 움직임이 필요한 좁은 통로와 같은 까다로운 환경에서, 기존 방식들은 한정된 목록 안에서 정확한 각도를 찾지 못해 막히곤 했습니다. 그러나 GPR2P는 그 간격 사이에서 완벽한 각도를 "보고" 그것을 골라낼 수 있었습니다.
• 진자의 반전: 한 가지 예외가 있었습니다. 진자를 흔드는 과제에서는, 그룹이 생각할 시간이 많아질수록 GPR2P의 이점이 줄어들었습니다. 일단 친구들이 복잡한 "흔들고 또 흔드는" 전략을 파악할 만큼 충분한 시간을 갖게 되면, 단순한 투표 방식들이 따라잡는다는 것이 밝혀졌습니다. 이는 수정 구슬이 숨겨진 보석을 빠르게 찾는 데는 탁-월하지만, 모든 문제를 즉각적으로 해결하는 마법 지팡이는 아니라는 점을 시사합니다.

결론

이 논문은 당신이 무한한 선택지가 있는 문제에 대해 병렬로 계획을 세우는 팀을 보유하고 있을 때, 단순히 그룹의 승자를 뽑아서는 안 된다는 것을 보여줍니다. 대신, 그들의 경험을 혼합하고 새로운 가능성을 상상할 수 있는 스마트한 통계 모델을 사용해야 합니다.

저자들은 GPR2P가 이러한 복잡하고 연속적인 세계에서 의사결정을 내리는 데 더 신뢰할 수 있는 방법임을 입증했습니다. 이 방법은 데이터를 단순히 집계하는 것이 아니라, 문제의 형태를 이해합니다. 비록 "지도"를 그리기 위해 약간의 추가 계산 능력이 필요하지만, 결과는 그것이 더 나은 해결책을 찾기 위해 지불할 만한 작은 대가임을 보여줍니다. 이 논문이 모든 것을 해결했다고 주장하는 것은 아닙니다. 매우 혼란스럽거나 예측 불가능한 환경에서는 여전히 한계가 존재합니다. 하지만 이 연구는 세상이 우리에게 단순한 선택 목록을 제공하지 않을 때, 로봇과 AI가 어떻게 움직임을 계획해야 하는지에 대한 중요한 진전을 보여줍니다.