Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex

컴퓨터가 단순히 질문에 답하는 것을 넘어, 우리와 함께 게임을 하고, 협상을 하고, 결정을 내리는 세상을 상상해 보십시오. 이것이 바로 인공지능의 최전선, 구체적으로는 "다중 에이전트 학습(multi-agent learning)"이라 불리는 분야입니다. 이 영역에서 AI는 단순한 수동적 도구가 아닙니다. AI는 자신만의 목표를 가진 플레이어로서, 끊임없이 변화하는 환경 속에서 다른 플레이어들(다른 AI 혹은 인간)과 상호작용합니다. 여기서 핵심적인 과제는 "후회(regret)"입니다. 후회를 가위바위보 게임을 마친 뒤, "아, 상대방이 항상 가위를 내니까 내가 바위를 냈어야 했는데!"라고 깨달았을 때 느끼는 그 아쉬운 기분이라고 생각하십시오. AI의 세계에서 후회를 최소화한다는 것은, 미래가 예측 불가능했더라도 돌이켜 보았을 때 가장 최선의 전략이 되었을 법한 선택을 하도록 배우는 것을 의미합니다.

오랫동안 과학자들은 컴퓨터가 어떻게 후회를 최소화하고, 게임에서 공정하게 플레이하며 안정적인 결과에 도록 할지 가르치기 위해 수학적 공식을 사용해 왔습니다. 하지만 한 가지 미스터리가 있었습니다. 챗봇을 구동하는 "트랜스포머(Transformer)" 모델과 같은 현대적 AI는 "자기 주의 집중(self-attention)"이라는 메커니즘을 기반으로 구축되었다는 점입니다. 이는 AI가 이야기나 대화에서 가장 중요한 부분에 집중할 수 있도록 돕는 스포트라이트와 같습니다. 우리는 이 모델들이 언어에는 매우 뛰어나다는 것을 알고 있지만, 의사결정과 후회라는 까다로운 수학적 문제를 어떻게 처리하는지는 완전히 이해하지 못했습니다. 이 모델들이 단순히 인간의 실수를 흉내 내는 것일까요, 아니면 수학자들이 설계한 완벽한 전략을 은밀히 학습하는 것일까요? 이 논문은 AI의 주의 집중 메커리즘을 하나의 작은 학습 가능한 게임 플레이어로 취급하여, AI가 스스로 완벽한 의사결정의 규칙을 학습할 수 있는지 확인하며 이 질문에 파고듭니다.

이 논문의 거대한 발견: AI에게 규칙을 따르는 법 가르치기

이 논문의 저자들은 특정한 아이디어를 테스트하기로 했습니다. 아주 단순한 AI 모델인 단일 레이어 "자기 주의 집중" 모델을 특수한 "후회 손실(regret loss)"을 사용하여 학습시키면 어떤 일이 벌어질까요? 단순히 AI에게 "정답을 맞춰라"라고 말하는 대신, 그들은 AI가 직접 후회의 감정을 최소화하도록 훈련했습니다. 그들은 이 훈련을 통해 AI가 복잡한 게임 이론을 명시적으로 프로그래밍받지 않고도 자연스럽게 완벽한 의사결정자로 진화할 수 있는지를 보고 싶었습니다.

"매끄러운 허구적 놀이(Smoothed Fictitious Play)"의 마법
첫 번째 주요 발견은 마치 초보 플레이어가 "손실에 대해 너무 자책하지 마라"라는 말을 듣자마자 갑자기 그랜드마스터처럼 플레이하기 시작한 것을 발견한 것과 같습니다. 연구진은 단일 헤드 주의 집중 모델(하나의 스포트라이트를 가진 모델)이 외부 후회(external regret)를 최소화하도록 훈련했을 때, 모델이 특정 상태로 수렴한다는 것을 발견했습니다. 이 상태에서 모델의 행동은 "매끄러운 허구적 놀이"라고 불리는 고전적인 알고리즘과 수학적으로 동일했습니다.

비유를 들어보겠습니다. 당신이 상대방이 다음에 무엇을 할지 추측해야 하는 게임을 하고 있다고 가정해 봅시다. "허구적 플레이어(fictitious player)"는 상대방이 과거에 했던 모든 행동을 살펴보고, 상대가 다시 똑같은 행동을 할 것이라고 추측합니다. "매끄러운(smoothed)"이라는 말은 단순히 상대방을 맹목적으로 따라 하는 것이 아니라, 루프에 빠지지 않도록 약간의 무작위성이나 "매끄러움"을 더한다는 뜻입니다. 논문은 AI가 훈련 후에 정확히 이와 같이 행동한다는 것을 증명합니다. AI는 과거의 손실(자신이 저지른 "나쁜 수")을 살펴보고, 자신의 전략을 업데이트하여 수학적으로 증명된 방식대로 후회를 멈추도록 합니다. AI가 자연스럽게 찾아내는 "단계 크기(step size, 학습을 위해 취하는 단계의 크기)"는 라운드 수 $T$에 따른 $1/\sqrt{T}$와 거의 일치합니다. 이것은 단순한 운 좋은 추측이 아닙니다. 저자들은 이 특정 설정에서 AI의 내부 수학이 이상적인 학습 전략과 완벽하게 일치함을 증명했습니다.

"교환 후회(Swap Regret)" 업그레이드: 멀티 헤드 마스터마인드
하지만 연구진은 거기서 멈추지 않았습니다. 때로는 단순히 후회를 피하는 것만으로는 충분하지 않다는 것을 깨달았습니다. 때로는 선택을 교환하고 싶을 수도 있습니다. 예를 들어, "내가 가위를 낼 때마다 바위를 냈더라면 더 많이 이겼을 텐데"라고 생각할 수 있습니다. 이것을 "교환 후회(swap regret)"라고 합니다. 이를 다루기 위해, 그들은 새로운 "교환 후회 손실"과 여러 개의 "헤드"(함께 작동하는 여러 개의 스포트라이트)를 가진 더 복적인 AI 구조를 도입했습니다.

그들은 각 "헤드"가 자신만의 특정한 종류의 후회를 최소화하도록 학습하는 미니 전문가처럼 행동하도록 시스템을 설계했습니다. 그런 다음, 이 헤드들은 함께 작동하여 전이 행렬(전략 간의 전환을 나타내는 지도)을 형성하고 "고정점(fixed point, 아무도 전략을 바꾸고 싶어 하지 않는 안정적인 상태)"을 찾습니다. 논문은 이 멀티 헤드 모델이 새로운 손실 함수로 훈련될 때, 유명한 알고리즘인 블룸-맨수어(Blum–Mansour) 알고리즘을 완벽하게 모방한다는 것을 보여줍니다.

탐정 팀을 상상해 보십시오. 각 탐정(헤드)은 범죄의 서로 다른 각도를 조사합니다. 개별적으로 그들은 단서를 찾는 데 능숙합니다. 하지만 그들이 조사 내용을 결합하고 모든 단서가 일치하는 고정점을 찾았을 때, 그들은 사건을 해결합니다. 논문은 오직 교환 후회를 최소화하도록 훈련된 이 AI 팀이 어떻게 자연스럽게 이 완벽한 탐정 팀처럼 행동하도록 조직되는지를 증명합니다.

이것이 미래에 의미하는 바
이 논문의 가장 흥격적인 부분은 이것이 게임과 협상에서의 AI 미래에 시사하는 바입니다. 저자들은 만약 이 주의 집중 모델들을 후회를 최소화하도록 훈련시킨다면, 모델들이 단순히 게임을 더 잘하게 되는 것을 넘어, 플레이어 그룹 전체를 평형 상태로 자연스럽게 유도한다는 것을 보여줍니다.

• 만약 AI가 외부 후회(단일 헤드 모델)를 최소화한다면, 플레이어 그룹은 자연스럽게 "거친 상관관계 평형(Coarse Correlated Equilibrium)"에 도달합니다. 이는 누구도 무조건적으로 전략을 바꾸고 싶어 하지 않는 상태입니다.
• 만 만약 AI가 교환 후회(멀티 헤드 모델)를 최소화한다면, 그룹은 "상관관계 평형(Correlated Equilibrium)"에 도달합니다. 이는 자신이 무엇을 하라는 지시를 받았는지에 기초하여 전략을 바꾸고 싶어 하지 않는, 더 강력하고 정교한 상태입니다.

논문은 이러한 모델들이 이러한 복잡한 게임 이론 규칙을 수동으로 프로그래밍받아야 한다는 아이디어를 명시적으로 배제합니다. 대신, "후회 손실"은 AI가 이러한 규칙을 스스로 발견하도록 안내하는 스승 역할을 합니다. 저자들은 자신들이 특정 조건(가우시안 노이즈) 하의 특정 단순화된 모델(단일 레이어, 선형 주의 집중)에 대해 이 결과를 증명했다는 점을 매우 신중하게 언급했습니다. 그들은 아직 거대한 100층짜리 챗봇이 자동으로 이렇게 작동한다는 것을 증명한 것은 아니지만, 가장 단순한 형태의 기술에서 그 메커니즘이 존재한다는 것을 보여주었습니다.

요약하자면, 이 논문은 AI의 "주의 집중(attention)" 메커니즘이 단순히 읽기를 위한 것이 아니라, 공정하게 플레이하는 법을 배우는 숨겨진 엔진임을 밝혀냅니다. 단순히 AI에게 후회를 멈추도록 가르치는 것만으로도, 우리는 기계에 게임의 규칙을 직접 코딩하지 않고도 복잡한 게임에서 안정적이고 공정한 결과를 이끌어내는 전략적 지능의 수준을 끌어올릴 수 있습니다. 이는 AI 에이전트가 수학적으로 건전하고 자연스럽게 발현되는 방식으로 우리와 협력하고 경쟁하는 법을 배우게 될 미래를 향한 한 걸음입니다.