당신이 로봇에게 미로를 탐색하는 법을 가르치고 있다고 상상해 보십시오. 머신러닝의 세계에서 이 로봇은 미로를 벽과 바닥으로 보는 것이 아니라, 숫자의 구름인 '잠재 공간(latent space)'으로 봅니다. 여기서 모든 위치는 거대하고 보이지 않는 지도의 한 점이 됩니다. 문제는 현실 세계는 자동차가 코너를 돌거나 공이 언덕을 굴러 내려가는 것처럼 매끄럽고 논리적인 단계로 움직이는 반면, 로봇의 내부 지도는 종종 무질서하게 뛰어다닌다는 점입니다. 로봇은 매우 유사한 두 지점을 완전히 다른 곳으로 취급하거나, 매우 다른 두 지점을 동일한 곳으로 취급할 수 있습니다. 이는 로봇이 사용하는 수학적 방식이 시간의 흐름과 인과관계를 자연스럽게 존중하지 못하기 때문입니다. 이것은 큰 문제입니다. 로봇의 내부 지도가 엉망이면 로봇은 혼란에 빠지고 학습 속도가 느려지기 때문입니다. 과학자들은 로봇의 뇌가 세상을 단절된 스냅샷의 연속이 아니라 연속적인 흐름으로 이해하도록 강제함으로써 이 문제를 해결하고자 합니다.

"Flowing Through States"라는 제목의 이 논문은 이 엉망이 된 지도를 고치기 위한 영리한 방법을 제안합니다. 저자들은 로봇의 여정을 무작위적인 도약의 연속이 아니라, 풍경 속을 흐르는 매끄러운 강물처럼 다루어야 한다고 제안합니다. 그들은 '뉴럴 상미분 방정식(Neural Ordinary Differential Equation, Neural ODE)'이라는 수학적 도구를 사용하는데, 이는 본질적으로 매끄럽고 끊김 없는 경로를 설명하는 세련된 방식입니다. 이렇게 생각해 보십시오. 만약 당신이 시냇물에 나뭇잎 하나를 떨어뜨린다면, 그 경로은 물의 흐름에 의해 결정됩니다. 나뭇잎은 갑자기 상류로 텔레포트하거나 옆으로 튀어 오를 수 없습니다. 논문은 로봇의 내부 세계에 대한 이해도 이와 똑같이 작동해야 한다고 주장합니다. 저자들은 일종의 '정규화(regularization)' 규칙, 즉 일종의 훈련 페널티를 추가하여 로봇의 내부 지도가 이러한 매끄러운 강물의 흐름과 일치하도록 강제합니다. 그들은 아타리(Atari) 게임과 그리드 기반 퍼즐을 통해 이를 테스트했으며, 로봇의 내부 지도가 개구리처럼 이리저리 뛰는 대신 강물처럼 매끄럽게 흐를 때 훨씬 더 빠르게 배우고 더 잘 플레이한다는 것을 발견했습니다.

문제점: 로봇의 혼돈스러운 지도

이것이 왜 중요한지 이해하려면, 로봇이 Breakout 같은 비디오 게임을 배우는 모습을 상상해 보십시오. 게임 화면이 바뀔 때마다 로봇은 화면을 찍어 상황을 이해하기 위한 숫자 리스트(임베딩)로 변환합니다. 완벽한 세상이라면, 공이 오른쪽으로 아주 조금만 움직여도 로봇의 숫자 리스트도 아주 조금만 변해야 합니다. 하지만 현실에서는 특별한 가이드가 없으면 신경망이 들쭉날쭉할 수 있습니다. 게임의 작은 변화가 로봇의 내부 숫자를 마치 공이 화면 반대편으로 순간 이동한 것처럼 격렬하게 휘두를 수 있습니다.

이는 로봇이 고립된 스냅샷으로부터 학습하기 때문에 발생합니다. 로봇은 상태 A를 보고 그다음 상태 B를 보지만, B가 단순히 A의 매끄러운 연속이라는 것을 본질적으로 "알지" 못합니다. 이는 마치 끊어진 사진 더미를 보며 운전을 배우려는 것과 같습니다. 당신은 자동차가 어떻게 생겼는지는 알 수 있겠지만, 스티어링 휠이 시간이 지남에 따라 어떻게 바퀴를 부드럽게 돌리는지는 이해하지 못할 것입니다. 논문은 로봇의 뇌 중 일부는 사물(예: 벽돌)을 인식하는 데 능숙하지만, 그 사물들이 함께 어떻게 움직이고 변화하는지에 대한 '역학(dynamics)'을 이해하는 데는 반드시 능숙한 것은 아니라고 지적합니다.

해결책: 생각의 강물

저자인 모하메드 가넴(Mohamed Ghanem)과 베른트 핀크라이너(Bernd Finkbeiner)는 FlowReg라고 부르는 기술을 소개합니다. 그들의 핵심 아이디어는 물리학의 개념, 즉 현재 어떤 것의 위치를 알고 있고 그것이 움직이는 규칙을 안다면 다음 위치를 정확히 예측할 수 있다는 개념을 빌려오는 것입니다. 수학에서는 이를 상미분 방정식(ODE)으로 설명합니다.

로봇의 내부 지도를 하나의 풍경이라고 상상해 보십시오. FlowReg가 없다면 로봇은 A 지점에서 B 지점으로 이동할 때 크고 어색한 도약을 할 수도 있습니다. FlowReg를 사용하면, 저자들은 로봇이 그 풍경 속을 흐르는 매끄럽고 보이지 않는 강물이 있다고 상상하도록 강제합니다. 그런 다음 로봇은 그 강의 흐름을 따라 걷도록 훈련받습니다.

그 방법은 다음과 같습니다:

1. 강 모델 (The River Model): 이 보이지 않는 강의 지도 역할을 하는 별도의 작은 신경망(플로우 모델)을 구축합니다. 이 강은 매끄럽고 연속적이도록 설계되었습니다.
2. 정렬 (The Alignment): 로봇이 게임을 배우는 동안, 내부 지도 안에서 점들의 경로(궤적)를 생성합니다. FlowReg는 이 들쭉날쭉한 경로를 매끄러운 강과 비교합니다.
3. 페널티 (The Penalty): 만약 로봇의 경로가 강을 가로질러 뛰거나 격렬하게 지그재그로 움직이려 하면, 시스템은 "페널티(손실 함수)"를 부여합니다. 이는 로봇이 자신의 내부 지도를 조정하여, 마치 강물처럼 경로가 매끄럽게 흐르도록 강제합니다.

결정적으로, 로봇은 실제로 게임을 하는 동안 이 강을 사용하여 의사 결정을 내리지 않습니다. 강은 오직 훈련 중에 로봇의 뇌를 형성하기 위한 가이드, 즉 '정규화 도구'로서만 사용됩니다. 일단 훈련이 끝나면 로봇은 일반적인 로봇처럼 플레이하지만, 그 뇌는 훨씬 더 잘 조직되어 있습니다.

결과: 더 매끄러운 경로, 더 높은 점수

연구진은 이 아이디어를 11가지의 서로 다른 아타리 게임(Qbert, River Raid, Beam Rider 등)과 그리드 월드 퍼즐에 테스트했습니다. 그들은 FlowReg 로봇을 이 매끄러운 흐름 훈련을 거치지 않은 표준 로봇들과 비교했습니다.

결과는 인상적이었습니다. FlowReg 로봇은 일관되게 표준 로봇보다 높은 점수를 기록했습니다. 예를 들어, Qbert 게임에서 표준 로봇은 평균 약 4,374점을 기록한 반면, "Index"라는 특정 시간 샘플링 방식을 사용한 FlowReg 로봇은 평균 8,306점으로 점수가 치솟았습니다. River Raid에서는 점수가 약 1,862점에서 2,947점으로 뛰었습니다.

하지만 단순히 이기는 것만이 전부가 아니었습니다. 어떻게 이겼는지가 중요했습니다. 저자들은 "잠재 경로(latent paths)", 즉 로봇이 내부 지도에 그린 실제 선들을 살펴보았습니다. 그들은 FlowReg 로봇이 훨씬 더 매끄럽고 직접적인 선을 그린다는 것을 발견했습니다.

• 경로 길이 (Path Length): 표준 로봇의 경로는 길고 구불구불했지만(마치 술 취한 사람의 걸음처럼), FlowReg 로봇의 경로는 짧고 효율적이었습니다.
• 가속도 (Acceleration): 표준 로봇은 갑작스럽고 거친 방향 전환(높은 '가속도 에너지')을 보였지만, Flowfore 로봇은 꾸준하고 부드러운 곡선을 그리며 움직였습니다.

흥흥미롭게도, 미래를 예측하여 경로를 매끄럽게 만들려는 TACO라는 다른 방법도 테스트했습니다. TACO 역시 경로를 매끄럽게 만들기는 했지만, 일부 게임에서는 오히려 로봇의 성능을 떨어뜨렸습니다. 이는 단순히 경로를 매끄럽게 만드는 것만으로는 충분하지 않으며, 경로가 게임의 실제 규칙을 존중하며 '올바른 방식으로' 매끄러워야 한다는 것을 시사합니다. FlowReg는 ODE의 고유한 특성을 사용하여 매끄러움이 게임의 역학 관계와 일치하도록 함으로써 성공했습니다.

왜 중요한가 그리고 향-후 과제

이 논문은 이 접근 방식이 로봇에게 세상에 대한 "전역적(global)" 이해를 제공하기 때문에 효과적이라고 제안합니다. 단순히 "상태 A가 상태 B로 이어진다"는 것을 암기하는 대신, 로봇은 모든 상태를 연결하는 근본적인 "흐름"을 배웁니다. 이는 상태 공간이 이산적인(예: 격자 칸) 게임에서 특히 도움이 됩니다. 게임 자체에는 자연스러운 '매끄러움'이 없기 때문에, 로봇이 자신의 뇌 안에 그 매끄러움을 스스로 만들어내야 하기 때문입니다.

저자들은 몇 가지 한계점도 언급했습니다. 예를 들어, 그들이 만든 "강"은 스스로 교차할 수 없습니다. 실제 미로에서는 두 가지 다른 방향에서 동일한 좁은 복도를 지나가야 할 수도 있습니다. 만약 강이 스스로 교차할 수 없다면, 특정 시나리오를 모델링하는 데 어려움을 겪을 수 있습니다. 그러나 복잡하고 고차원적인 아타리 게임의 세계에서는 이것이 문제가 되지 않았습니다.

또한, 이 방식이 "온 폴리시(on-policy)" 학습(로봇이 자신의 현재 행동으로부터 배우는 방식)에는 매우 효과적이지만, "오프 폴리시(off-policy)" 방법(과거의 데이터로부터 배우는 방식)이나 모델 기반 알고리즘에 대해서는 아직 테스트되지 않았다고 지적했습니다. 하지만 현재까지의 증거는 로봇에게 내부 상태를 "흐르게" 만드는 법을 가르치는 것이 로봇을 더 똑똑하고, 빠르고, 일관성 있게 만드는 강력한 방법임을 보여줍니다. 그것은 개구리의 혼란스러운 도약을 강물의 꾸준하고 강력한 흐름으로 바꾸어 놓습니다.