Distributional Soft Bellman Operator under the Cramér Geometry

로봇과 AI 에이전트가 단순히 얻을 수 있는 평균 점수를 추측하는 것을 넘어, 가능한 모든 결과의 전체 지형을 이해하며 게임을 배우거나 자동차를 운전하는 세상을 상상해 보십시오. 이것은 에이전트가 시행착오를 통해 학습하는 인공지능의 한 분야인 **강화 학습(Reinforcement Learning)**의 영역입니다. 보통 이러한 에이전트들은 마치 최종 성적에만 몰두하는 학생처럼 '평균' 보상에만 관심을 가집니다. 하지만 **분포 강화 학습(Distributional Reinforcement Learning)**에서 에이전트는 전체 이야기를 신경 씁니다. 최선의 시나리오, 최악의 재앙, 그리고 그 사이의 모든 것을 말이죠. 이는 단순히 자신의 평균 시험 점수만을 아는 것이 아니라, 어떤 날에든 자신이 어떻게 수행할지에 대한 전체 분포를 아는 것과 같습니다.

이러 지능적인 에이전트를 더 똑똑하고 견고하게 만들기 위해, 연구자들은 종종 "엔트로피"라는 양념을 추가하곤 합니다. 이는 에이전트가 지루한 일상에 갇히지 않고 다양한 경로를 탐색하도록 독려하는, 즉 호기심을 갖도록 하는 멋진 단어입니다. 이를 **최대 엔트로피 강화 학습(Maximum-Entropy Reinforcement Learning)**이라고 부릅니다. 전체 분포를 추적하는 아이디어와 호기심에 대한 열망을 결합하면, **분포형 소프트 정책 반복(Distributional Soft Policy Iteration)**이라는 강력하지만 까다로운 프레임워크를 얻게 됩니다. 과학자들이 던져온 큰 질문은 이것입니다. 에이전트가 새로운 경험을 바탕으로 지식을 업데이트할 때, 실제로 진실에 가까워지는가, 아니면 그저 제자리에서 헛바퀴를 돌며 혼란스러워하는가? 이 논문은 이 질문에 답하기 위해, 두 확률 이야기가 얼마나 다른지를 측정하는 기하학적 방법인 **크라메르 기하학(Cramér geometry)**을 통해 수학을 깊이 파고듭니다.

---

지도, 나침반, 그리고 마법 거울

당신이 로봇에게 미로를 통과하는 법을 가르치고 있다고 상상해 보십시오. 로봇이 발걸음을 옮길 때마다 보상(금화 같은 것)을 받거나 벌칙(부딪힘 같은 것)을 받습니다. 이 "소프트(soft)" 버전의 게임에서 로봇은 또한 예측 불가능한 새로운 움직임을 시도하는 모험적인 태도에 대해 약간의 보너스도 받습니다. 로봇의 목표는 "리턴 분포(return distribution)"를 파악하는 것입니다. 이는 멋진 표현으로, "내가 이 방식대로 계속 플레이한다면 얻을 수 있는 가능한 총 점수들의 집합"을 의미합니다.

이 논문의 저자들은 이 로봇의 학습 과정을 위한 완벽한 지도를 그리려는 지도 제작자와 같습니다. 그들은 **분포형 소프트 벨만 연산자(Distributional Soft Bellman Operator)**라는 특정 도구를 조사하고 있습니다. 이 연산자를 로봇의 현재 미래에 대한 추측을 정교하게 다듬어주는 마법의 기계라고 생각해 보십시오. 당신이 "추측"(미래 보상의 확률 분포)을 입력하면, 이 기계는 게임의 규칙에 따라 "더 나은 추측"을 내놓습니다.

큰 미스터리는 이것이 정말 작동하느냐는 것이었습니다. 만약 이 출력을 다시 입력으로 계속해서 반복해서 넣는다면, 결국 하나의 진실되고 완벽한 지도에 도달하게 될까요? 아니 아니면 갈팡질 fear하며 결코 답을 찾지 못할까요? 이를 알아내기 위해 연구자들은 크라메르 기하학이라는 특정한 렌즈를 통해 문제를 바라보기로 했습니다.

크라메르 기하학: 자로 측정하는 이야기

보통 수학자들은 두 확률 이야기(예: 미로의 서로 다른 두 지도)를 비교할 때 복잡한 도구를 사용합니다. 하지만 크라메르 기하학은 특별합니다. 왜냐하면 이 기하학은 이러한 이야기들을 **누적 분포 함수(CDF)**로 취급하기 때문입니다.

CDF를 언덕을 오르는 그래프라고 상상해 보십시오. 바닥에서는 "이 정도로 낮은 점수를 받을 확률 0%"라고 말합니다. 오른쪽으로 이동할수록 선이 위로 올라가며 "이 정도로 낮거나 낮은 점수를 받을 확률 50%"라고 말하다가, 꼭대기에서 100%에 도달합니다. 크라메르 기하학은 단순히 이 두 산맥 사이의 면적을 살펴봄으로써 두 산맥 사이의 거리를 측정합니다. 이는 마치 자를 사용하여 두 개의 서로 다른 산맥이 얼마나 떨어져 있는지 측정하는 것과 같습니다. 논문은 만약 이 특정 자를 사용한다면, "마법의 기계"(벨만 연산자)가 매우 순조롭게 작동한다는 것을 보여줍니다.

발견: 보장된 수축(Contraction)

저자들은 매우 중요한 사실을 증명했습니다. 이 크라메르 자를 사용했을 때, 이 기계는 **수축(contraction)**이라는 사실입니다.

"수축"을 시각화하는 재미있는 방법이 있습니다. 미래에 대한 엉망인 추측을 나타내는 구겨진 종이가 있다고 상상해 보십시오. 이 종이를 벨만 기계에 통과시킬 때마다, 기계는 단순히 그것을 매끄럽게 만드는 것이 아니라, 당신의 엉망인 추측과 완벽하고 평평한 진실 사이의 거리를 실제로 줄여 놓습니다. 논문은 이 거리가 $\sqrt{\gamma}$ (여기서 $\gamma$는 로봇이 미래를 얼마나 중요하게 여기는지를 나타내는 0과 1 사이의 값인 할인율입니다)의 비율로 줄어든다는 것을 증명합니다.

거리가 매번 줄어들기 때문에, 저자들은 이 기계를 계속 실행하면 수학적으로 결국 **유일한 고정점(unique fixed point)**에 도른다는 것을 증명했습니다. 이것은 학습 과정의 "성배"입니다. 즉, 로봇의 미래 보상에 대한 단 하나뿐인 올바른 지도입니다. 어디에서 시작하든, 당신은 항상 같은 목적지에 도달하게 됩니다.

비밀 재료: 하나의 단순한 규칙

"이것이 모든 가능한 미로에 대해 작동할까요?"라고 당신은 물을지도 모릅니다. 논문은 그렇다고 말하지만, 한 가지 특정 조건이 붙습니다. 로봇의 보상과 "호기심 보너스"(엔트로피)는 평균적으로 잘 작동해야 합니다.

과거에 연구자들은 보상과 호기심 보너스가 엄격하게 유계(bounded)되어야 한다고 가정하곤 했습니다. 예를 들어, "로봇은 절대 100점보다 많이 얻을 수 없고 -100점보다 적게 얻을 수 없다"라고 말하는 것과 같습니다. 저자들은 이러한 엄격한 규칙이 실제로는 필요하지 않다는 것을 보여주었습니다. 대신, 그들은 오직 **균등 1차 모멘트 조건(uniform first-moment condition)**만을 필요로 한다는 것을 증명했습니다.

이것을 다음과 같이 생각해보십시오. 당신은 로봇이 한 번의 단계에서 백만 달러를 따거나 백만 달러를 잃지 않을 것이라고 약속할 필요는 없습니다. 단지 그 승리나 패배의 평균적인 규모가 무한하지 않다는 것만 약속하면 됩니다. 보상과 호기심 보너스에 의한 "평균적인 변화량"이 유한하다면, 기계는 완벽하게 작동합니다. 이는 현실 세계의 로봇들에게 훨씬 더 유연하고 현실적인 규칙입니다.

마법 거울: 다른 차원에서 같은 것을 보기

논문은 지도에서 멈추지 않습니다. 저자들은 또한 마법 거울(수학적 도구인 스펙트럼 표현)을 구축했습니다. 그들은 로봇의 학습 과정을 이 거울을 통해 바라본다면, CDF의 복잡한 언덕과 골짜기들이 **힐베르트 공간(Hilbert space)**이라 불리는 다른 종류의 공간으로 변환된다는 것을 보여주었습니다.

이는 3D 조각품을 2D 벽에 그림자로 투영하는 것과 같습니다. 그림자는 다르게 보이지만, 동일한 모든 정보를 담고 있습니다. 저자들은 이 "수축" 속성(줄어드는 거리)이 이 거울 세계에서도 존재한다는 것을 증명했습니다. 이것은 매우 중요한데, 왜냐하면 연구자들이 "언덕"의 세계(CDF)에서 수학을 할 수도 있고, "그림자"의 세계(스펙트럼 공간)에서 수학을 할 수도 있으며, 두 경우 모두 정확히 같은 답을 얻게 될 것이기 때문입니다. 이는 과학자들에게 더 나은 학습 알고리즘을 설계할 수 있는 강력하고 새로운 도구 상자를 제공합니다.

이것이 왜 중요한가

그렇다면 왜 호기-심 많은 십 대가 이 일을 알아야 할까요? 왜냐하면 이 논문은 차세대 AI를 위한 이론적 안전망을 제공하기 때문입니다.

유명한 Soft Actor-Critic(SAC)과 같은 많은 현재의 AI 알고리즘들은 실제로는 잘 작동하지만, 매우 어려운 작업에서는 때때로 다소 불안정하게 행동합니다. 과학자들은 이것이 "업데이트 기계"가 오류를 줄여준다는 보장이 없기 때문이라고 의심해 왔습니다. 이 논문은 (크라메르 기하학과 1차 모멘트 규칙이라는) 적절한 조건 하에서, 그 기계가 실제로 수렴한다는 것을 확인해 줍니다.

이 논문은 "완벽한 지도"가 존재하며 도달 가능하다는 것을 알려줍니다. 또한 보상이 얼마나 커질 수 있는지에 대해 지나치게 엄격할 필요는 없으며, 평균적으로 무한히 날뛰지만 않으면 된다는 것도 알려줍니다. 가장 중요한 것은, 이것이 알고리즘 설계자들에게 정밀한 목표를 제공한다는 점입니다. 그들이 새로운 AI 시스템을 구축할 때, 이제 그들은 자신들의 새로운 방법이 실제로 진실에 가까워지고 있는지, 아니면 그저 제자리에서 헛바퀴를 돌고 있는지를 확인할 수 있는 엄격한 수학적 참조점을 갖게 되었습니다.

요컨대, 저자들은 단순히 새로운 로봇을 만든 것이 아닙니다. 그들은 로봇이 완벽하게 학습할 수 있다는 청사진을 증명했으며, 우리가 그 진전을 어떻게 측정할 수 있는지 정확히 보여주었습니다.