모든 사람이 끊임없이 최선의 선택을 하려 노력하지만, 누구도 규칙 책을 가지고 있지 않고, 서로가 무엇을 생각하는지 알 수 없으며, 게임의 규칙이 매 초마다 바뀔 수도 있는 세상을 상상해 보십시오. 이것은 게임 이론(game theory)이라는 과학의 한 분야가 보여주는 혼란스러운 놀이터입니다. 게임 이론은 사람(또는 컴퓨터, 혹은 동물)이 다른 모든 이들의 행동에 따라 자신의 성공 여부가 결정될 때 어떻게 의사결정을 내리는지를 연구하는 분야입니다. 수십 년 동안 과학자들은 만약 모든 사람이 완적으로 합리적이라면, 결국 아무도 전략을 바꿀 이유가 없는 완벽한 균형 상태인 '내쉬 균형(Nash equilibrium)'을 찾아낼 것이라고 가정해 왔습니다. 하지만 현실 세계에서 사람들은 완벽한 계산기가 아닙니다. 그들은 복잡하고, 반응적이며, 종종 그저 하루하루를 살아내기 위해 애쓰는 존재들입니다. 그래서 한 가지 큰 의문이 제기되었습니다. 만로 이 불완전한 에이전트들이 시행착오를 통해 스스로 학습하게 둔다면, 그들은 우연히라도 그 완벽한 균형에 도달할 수 있을까요, 아니면 그저 제자리걸음만 반복하며 헛돌게 될까요?

파나이오티스 메르티코풀로스(Panayiotis Mertikopoulos)가 작성한 이 논문은 이 복잡한 현실로 우리를 안내하는 가이드 투어를 제공합니다. 이 논문은 경제학, 컴퓨터 과학, 그리고 인공지능이 교차하는 지점에 위치한 '게임에서의 학습(learning in games)'이라는 분야를 탐구합니다. 저자는 '정규화된 학습(regularized learning)'이라는 스마트한 전략 군을 소개합니다. 이것을 플레이어가 자신의 과거 실수와 보상을 살펴보되, 특정 움직임에 너무 집착하지 않도록 하는 '부드러운 자극'을 주는 방법이라고 생각해 보십시오. 이는 마치 시험을 공부하는 학생과 같습니다. 학생은 예전 시험지들을 복습하지만(과거), 동시에 잘못된 답에 갇히지 않기 위해 몇 가지 새로운 연습 문제들을 억지로라도 풀어봅니다(탐색). 논문은 다음과 같이 질문합니다. 만약 모두가 이러한 스마트하고 약간은 신중한 학습 규칙을 사용한다면, 그들은 결국 안정적인 평화(내쉬 균형)를 찾게 될까요, 아니면 혼돈의 루프 속에 갇혀 계속 맴돌게 될까요?

스마트한 학습자의 이야기

논문의 여정을 이해하기 위해, 먼저 주인공인 '학습자(The Learner)'를 만나야 합니다. 당신이 보이지 않는 신비로운 상대와 비디오 게임을 하고 있다고 상상해 보십시오. 당신은 게임의 규칙을 모르며, 상대가 당신을 이기려고 하는지 아니면 그냥 장난을 치고 있는지도 모릅니다. 매 턴마다 당신은 움직임을 선택하고 점수를 얻은 뒤, 다음에 무엇을 할지 결정해야 합니다.

과거에는 과학자들이 '허구적 놀이(Fictitious Play)'가 최선의 방법이라고 생각했습니다. 이것은 마치 모든 시험을 치른 후 "좋아, 화요일에는 A를 받았으니 영원히 화요일에 했던 대로만 해야지"라고 말하는 학생과 같습니다. 논문은 이 방식이 다소 경직되어 있음을 보여줍니다. 게임이 조금만 변해도, 이 '흉내 내기' 전략은 두 가지 나쁜 선택 사이를 영원히 왔다 갔다 하는 루프에 빠져 더 나은 옵션이 있다는 사실을 깨닫지 못한 채 갇혀버릴 수 있습니다. 이는 마치 자기 꼬리를 쫓는 강아지와 같습니다. 움직이고는 있지만, 아무 데도 도달하지 못하는 상태입니다.

논문은 더 나은 방법을 제안합니다. 바로 '정규화된 리더를 따르기(Follow-the-Regularized-Leader, FTL)'입니다. 단순히 과거를 맹목적으로 복제하는 대신, 이 방법은 '정규화 요소(regularizer)'를 추가합니다. 이것을 '안전 쿠션' 또는 '호기심 필터'라고 생각하십시오. 이것은 "헤이, 지난번에 했던 그 움직임이 좋긴 했지만, 거기에 네 인생 전부를 걸지는 마. 만약의 경우를 대비해 선택지를 조금은 열어두자"라고 말하는 것과 같습니다. 이는 학습자가 너무 빨리 과도한 자신감을 가져서 부적절한 루프에 갇히는 것을 방지합니다.

두 가지 세상의 학습

논문은 이 새로운 방법이 어떻게 작동하는지 보기 위해 이야기를 두 가지 서로 다른 세상으로 나눕니다.

세상 1: 단독 플레이어 (밴딧, The Bandit)
먼저 저자는 예측 불가능한 환경(예를 들어 무작위로 보상 규칙이 바뀌는 슬롯머신)에 직면한 단일 플레이어를 살펴봅니다. 여기서 목표는 '후회(Regret)'를 최소화하는 것입니다. 후회란 당신이 얻은 점수와, 만약 당신이 미래를 알고 처음부터 완벽한 움직임을 선택했을 때 얻었을 점수 사이의 차이를 의미합니다.
논문은 이 '안전 쿠션' 방식이 있다면 플레이어의 후회가 매우 느리게 성장한다는 것을 증证明합니다. 후회가 제로는 아니지만, 전체 플레이 시간에 비해 매우 작기 때문에, 장기적으로 플레이어는 처음부터 모든 것을 알고 있었던 천재만큼이나 잘 해내게 됩니다. 이는 "비록 내가 미래를 알지는 못했지만, 나의 스마트하고 신중한 전략 덕분에 큰 실수를 피할 수 있었다"라고 말하는 것과 같습니다.

세상 2: 그룹 게임 (혼돈, The Chaos)
그다음, 논문은 모든 사람을 한 방에 몰아넣습니다. 이제 환경은 무작위가 아니라, 학습하고 개선하려고 노력하는 다른 플레이어들에 의해 형성됩니다. 이것이 '다중 에이전트 설정(multi-agent setting)'입니다.
여기서 논문은 중대한 질문을 던집니다. 만약 모두가 이러한 스마트하고 신중한 학습 규칙을 사용한다면, 그들은 결국 진정되어 내쉬 균형에 도달할까요? 내쉬 균형이란 모든 이가 자신의 선택에 만족하며, 선택을 바꾸는 것이 자신에게 더 나쁜 결과를 초래하기 때문에 아무도 바꾸고 싶어 하지 않는 상태를 말합니다.

그 답은 흥미로운 "그렇다, 하지만..."과 "그것에 달려 있다"의 조합입니다.

• 좋은 소식: 플레이어들이 직접적으로 경쟁하는 게임(한 명이 이기면 한 명은 지는 제로섬 게임 등)에서, 논문은 시간이 흐름에 따라 그들의 움직임을 평균 내면 내쉬 균형으로 수렴한다는 것을 보여줍니다. 이는 혼란스러운 춤이, 속도를 늦추고 평균적인 발걸음을 관찰하면 완벽한 리듬을 드러내는 것과 같습니다.
• '포크 정리(Folk Theorem)'와의 연결: 논문은 이 학습 과정을 생물 진화론의 유명한 개념인 '포크 정리'와 연결합니다. 자연계에서 어떤 종이 생존을 위한 안정적인 방법을 찾는다면, 그들은 그것을 고수합니다. 논문은 이러한 게임에서 플레이어들의 학습 과정이 특정 지점으로 정착한다면, 그 지점은 반드시 내쉬 균형이어야 함을 보여줍니다. 나아가, 만약 어떤 지점이 '엄격한(strict)' 균형(즉, 그것이 유일한 최선의 선택인 경우)이라면, 플레이어들은 마치 깊은 그릇 바닥으로 굴러 들어가는 공처럼 거의 확실하게 그 지점을 찾아내어 머물게 됩니다.
• 함정: 또한 논문은 이것이 모든 게임에서 일어나는 것은 아니라고 경고합니다. 어떤 복잡한 시나리오에서는 플레이어들이 결코 안착하지 못하거나, 모두가 부적절한 루프에 갇힌 '나쁜' 균형에 머물 수도 있습니다. 논문은 학습이 가능한 모든 게임에서 항상 완벽한 결과로 이어진다는 생각을 명시적으로 배제합니다.

"블랙 박스"의 마법

이 논문에서 가장 멋진 부분 중 하나는 정보를 처리하는 방식입니다. 현실 세계에서 당신은 모든 것을 알 수 있는 경우가 드뭅니다. 당신은 자신의 점수만 알 뿐, 상대방이 무엇을 했는지 혹은 다른 선택지들이 무엇이었는지는 모를 수 있습니다.
논문은 '블랙 박스 모델(Black-Box Model)'이라는 영리한 트릭을 사용합니다. 당신이 날씨를 추측하려는 탐정이라고 상상해 보십시오. 당신에게는 위성이 없습니다. 오직 온도계 하나만을 가지고 있습니다. 당신은 그 하나의 수치를 바탕으로 전체적인 날씨 그림을 추측하기 위해 블랙 박스 모델을 구축해야 합니다.
논문은 이러한 제한된 정보(이를 '밴딧 피드백'이라 함)를 가지고 있음에도 불구하고, 정규화된 학습 방법이 여전히 작동함을 보여줍니다. 이는 마치 탐정이 위성 없이도 제한된 단서를 사용하여 결국 폭풍이 오고 있다는 것을 알아내는 것과 같습니다. 논문은 플레이어들이 오직 자신의 보상만을 보고 나머지를 추측해야 하는 상황에서도, '안전 쿠션' 전략이 그들을 재앙으로부터 피하게 하고 안정성을 향해 나아가게 한다는 것을 증명합니다.

결론

그래서 최종적인 결론은 무엇일까요? 이 논문은 우주의 모든 게임을 해결했다고 주장하지 않습니다. 학습 알고리즘이 항상 세상을 유토피아로 만들 것이라고 말하지도 않습니다. 대신, 학습이 어떻게 작동하는지를 이해하기 위한 '통합된 지도'를 제공합니다.

논문은 우리에게 다음을 알려줍니다:

1. 후회는 좋은 나침반이다: 만 만약 당신이 후회를 최소화하는 법(큰 실수를 피하는 법)을 배울 수 있다면, 당신은 올바른 길을 가고 있는 것입니다.
2. 신중함이 핵심이다: 약간의 '정규화'(선택지를 열어두는 것)를 더하는 것은 시스템이 루프에 갇히는 것을 방지합니다.
3. 안정성은 가능하다: 많은 중요한 유형의 게임에서, 만약 모두가 이러한 스마트한 학습 규칙을 사용한다면, 그들은 결국 아무도 바꾸고 싶어 하지 않는 안정적인 균형을 찾게 될 것입니다.

이 논문은 완벽한 천재가 될 필요는 없다는 아이디어에 대한 찬사입니다. 당신에게 필요한 것은 단지 과거로부터 배우고, 미래에 대해 호기심을 유지하며, 언제 약간의 신중함을 가져야 하는지 아는 전략뿐입니다. 이 논문은 게임 이론의 혼란스러운 춤을, 불완전한 에이전트들이 스마트한 학습을 통해 어떻게 완벽한 균형을 향해 나아갈 수 있는지에 대한 이야기로 탈바꿈시킵니다.