📈 economics

The Learning Approach to Games

본 논문은 게임을 스칼라 전략이 아닌 학습 기반 플레이어의 내부 구조를 통해 재정의함으로써 게임을 재정의하고, 역동적 행동에 대한 더 깊은 분석을 가능하게 하며, 강화 학습, 상관 균형, 그리고 평균장 이론과의 더 강력한 연결을 구축하는 통합된 프레임워크를 제안한다.

원저자: Melih İşeri, Erhan Bayraktar

게시일 2026-02-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Melih İşeri, Erhan Bayraktar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 체스판이 아니라 플레이어를 보라

당신이 체스 경기를 관람하고 있다고 상상해 보세요. 전통적인 게임 이론(게임을 연구하는 기존 방식)은 체스판 위 높은 곳에 서 있는 심판과 같습니다. 심판은 오직 기물, 규칙, 그리고 최종 점수에만 관심을 가집니다. 그들은 다음과 같이 묻습니다: "두 플레이어가 완벽하게 플레이한다면, 경기는 어디에서 끝날 것인가?" 그들은 플레이어들이 안정적인 상태에 도달하기 위해 수학적으로 '최선'인 수를 항상 두는 단순한 기계라고 가정합니다.

이 논문은 이러한 관점이 가장 중요한 부분, 즉 플레이어의 '뇌'를 놓치고 있다고 주장합니다.

저자인 메리 이셰리(Melih İşeri)와 에르한 바이락타르(Erhan Bayraktar)는 실제 플레이어(인간이든 고도로 발달한 AI든)는 단순한 계산기가 아니라고 말합니다. 그들은 복잡하고, 불완전하며, 끊임없이 학습합니다. 그들에게는 내면의 생각, 상대방이 무엇을 생각하는지에 대한 추측, 그리고 마음을 바꾸는 과정이 있습니다. 만약 당신이 게임의 규칙만을 본다면, 서로를 속이고 기만하며 적응하려는 플레이어들의 드라마를 놓치게 됩니다.

새로운 프레임워크: '플레이어'를 먼저 구축하기

저자들은 게임에서 시작하는 대신, 플레이어에 대한 정의를 구축하는 것부터 시작합니다. 플레이어를 단순히 눌러지는 하나의 버튼이 아니라, 세 개의 주요 부서가 있는 복잡한 공장으로 생각해보세요.

감각 (관찰): 플레이어는 세상을 봅니다. 게임에서 이것은 체스판이나 상대방의 마지막 수를 보는 것입니다.
두뇌 (추정): 이 부분이 핵심입니다. 플레이어는 단순히 보는 것이 아니라 '추측'합니다. 그들은 상대방이 다음에 무엇을 할지 추측합니다. 미래가 어떻게 보일지 추측합니다. 그들은 한 번에 수십 개의 서로 다른 '추측 엔진'을 돌릴 수도 있습니다. 어떤 엔진은 "상대방이 공격적이다"라고 말하고, 다른 엔진은 "상대방이 겁을 먹었다"라고 말할 수도 있습니다.
손 (행동): 이러한 추측을 바탕으로 플레이어는 무엇을 할지 결정합니다.

논문은 게임을 이해하려면 이 공장이 어떻게 작동하는지 이해해야 한다고 말합니다. '감각'이 무엇을 보느냐에 따라 '두뇌'가 어떻게 추측을 업데이트하는지, 그리고 그것이 어떻게 '손'의 변화를 이끌어내는지 살펴봐야 합니다.

'안정성'이 항상 목표는 아니다

전통적인 게임 이론에서 모든 사람은 '내쉬 균형(Nash Equilibrium)'에 도달하기를 원합니다. 모두가 완벽하게 동기화되어 움직임을 멈춘 춤을 상상해 보세요. 누구도 자신의 스텝을 바꾸고 싶어 하지 않습니다. 바꾸면 춤을 망칠 것이기 때문입니다.

저자들은 이렇게 말합니다: "그것은 지루하며, 실제 경쟁이 돌아가는 방식이 아닙니다."

그들은 가위바위보의 예를 듭로 듭니다.

기존 방식: '완벽한' 전략은 가위, 바위, 보를 무작위로(각 1/3 확률로) 선택하는 것입니다. 이렇게 하면 아무도 당신을 이길 수 없습니다. 당신은 '공략 불가능(unexploitable)'한 상태가 됩니다.
새로운 방식: 만약 당신이 토너먼트에 참가했는데 '무작위로만' 플레이한다면, 당신은 절대 이길 수 없습니다. 그저 비길 뿐입니다. 실제로 이기려면, 더 똑똑해져야 합니다. 상대방이 무엇을 하고 있는지 추측하고 그들을 '기만'해야 합니다. 예를 들어, 상대방을 유인하기 위해 예측 가능한 척하다가, 상대의 허점을 찌르기 위해 갑자기 전략을 바꿀 수도 있습니다.

이 논문은 실제 경쟁 속에서 플레이어들은 끊임없이 춤추고, 스텝을 바꾸며, 서로를 속이려 노력한다고 주장합니다. 그들은 안정적인 춤을 찾는 것이 아니라, 우위를 점하기 위해 노력합니다.

'불확실한 균형 (Uncertain Equilibrium)'

저자들은 불확실한 균형이라는 새로운 개념을 도입합니다.

이것은 고정된 지도 대신 일기 예보와 같습니다.

기존 관점: "오후 2시에 비가 올 것이다." (고정됨, 확실함).
새로운 관점: "비가 올 확률이 60%이지만, 바람의 방향이 바뀌면 90%가 될 수도 있다." (불확실함, 역동적임).

그들의 모델에서 플레이어는 단 하나의 전략만을 선택하지 않습니다. 그들은 머릿속에 다양한 '만약에(what-if)' 시나리오를 가지고 있습니다. 어떤 전략을 시도해보고, 그것이 실패하면, '만약에' 시나리오를 업데이트하고, 다시 다른 것을 시도합니다. '불확실한 균형'이란 플레이어들이 이러한 전략들을 끊임없이 순환하며, 완전히 정착하지는 않지만 특정 동작으로 계속 되돌아오는 일종의 리듬을 찾아내는 상태를 말합니다.

간단한 게임 예시: 고양이와 쥐

자신의 주장을 증명하기 위해 저자들은 두 명의 플레이어가 있는 아주 작고 단순한 게임을 만들었습니다.

플레이어 1은 상태 1에 있고 싶어 합니다.
플레이어 2는 플레이어 1과 같은 상태에 있고 싶어 합니다.

만약 그들이 단순히 수학적인 '완벽한' 전략을 수행했다면, 두 플레이어 모두 이기지 못하는 루프에 빠졌을 것입니다. 하지만 저자들이 새로운 '공장' 모델(학습과 추측 기능이 있는)을 가진 플레이어를 프로그래밍하자, 플레이어들은 기이한 행동을 보이기 시작했습니다.

플레이어 2는 플레이어 1을 속이기 위해 한곳에 머무는 척했습니다.
플레이어 1은 그 속임수를 알아차리고 전술을 바꿨습니다.
그들은 서로의 마음을 몇 초마다 바꾸며 서로를 쫓고 쫓겼습니다.

게임은 차분하고 지루한 패턴으로 정착되지 않았습니다. 그것은 역동적이고 변화무쌍한 춤이 되었습니다. 이는 게임이 보드 위의 규칙이 아니라, 플레이어의 학습하고 변화하는 능력에 의해 정의된다는 것을 보여주었습니다.

'평균장(Mean-Field)' 아이디어: 군중

이 논문은 교통 체증이나 주식 시장처럼 수천 명의 플레이어가 참여하는 게임도 다룹니다. 이것을 "평균장(Mean-Field)"이라고 합니다.

기존 방식: 모든 개별 사람이 무엇을 하고 있는지 계산하려고 합니다. 불가능합니다.
새로운 방식: 한 명의 "대표 플레이어"를 상상합니다. 이 플레이어는 군중을 보고 "다른 사람들은 모두 X를 하고 있는 것 같다"라고 판단합니다. 그런 다음 플레이어는 그 군중에 어떻게 반응할지 학습합니다.

저자들은 군중 속에서도 만약 '대표 플레이어'에게 학습하고 추측하는 두뇌를 부여한다면, 단순한 수학 모델이 놓치는 흥미로운 패턴들이 나타난다는 것을 보여줍니다.

AI와의 연결 (강화 학습)

마지막으로, 이 논문은 현대 AI(비디오 게임을 하는 AI 등)와 이 개념을 연결합니다.

기존 AI: "여기 승리에 대한 보상이 있다. 보상을 향한 경로를 찾아라." (간식을 쫓는 강아지와 같습니다).
새로운 관점 (이 논문의 관점): AI는 복잡한 내부 모델을 구축하고 있습니다. 단순히 간식을 쫓는 것이 아니라, 세상에 대한 지도를 만들고, 다른 플레이어가 무엇을 생각하는지 추측하며, 여러 단계 앞을 계획합니다.

저자들은 지능형 에이전트(인간 또는 로봇)가 어떻게 상호작용하는지 진정으로 이해하려면, 단순히 게임의 규칙만을 봐서는 안 된다고 결론짓습니다. 우리는 플레이어라는 '공장' 내부를 들여다보고, 그들이 어떻게 학습하고, 추측하고, 적응하는지를 보아야 합니다.

한 문장 요약

플레이어를 규칙을 따라 안정적인 해답을 찾는 단순한 로봇으로 취급하는 대신, 이 논문은 끊임없이 추측하고 기만하며 적응하는 복잡한 학습 존재로 취급함으로써, 전통적인 수학 모델보다 훨씬 더 흥미롭고 현실적인 역동적인 게임을 제시합니다.

기술 요약: 게임에 대한 학습적 접근법

문제 제기
전통적인 게임 이론 및 다중 에이전트 학습 문헌은 일반적으로 플레이어를 외부 엔티티로 모델링하며, 이들의 전략에는 스칼라 값이 할당된다. 또한 호환 가능한 선택을 식별하기 위해 평형 개념(예: 내쉬 평형, 상관 평형)을 사용한다. 저자들은 이러한 접근 방식이 플레이어의 내부 구조를 간과하며, 특히 복잡하고 경쟁적인 환경에서 관찰되는 행동을 정확하게 모델링하는 데 실패한다고 주장한다. 표준 평형 개념은 종종 수렴과 안정성을 가정하지만, 실제 세계의 경쟁은 빈번하게 동적인 전략, 기만, 그리고 이점을 얻기 위한 능동적인 평형 회피를 포함한다. 더욱이 기존 프레임워크는 외부 환경을 설계하는 것과 복잡한 학습 에이전트 자체를 설계하는 것 사이의 간극을 메우는 데 어려움을 겪고 있으며, 특히 정교한 의사결정자들이 상호작용할 때 그러하다.

방법론
본 논문은 게임을 외부 설정으로서가 아니라 플레이어 그 자체의 관점에서 재정의하는 통합된 프레임워크를 제안한다. 핵심 방법론은 다음과 같다:

플레이어의 추상적 정의: 플레이어는 $(O, L_\phi, \Upsilon)$ 라는 튜플로 정의되며, 이는 다음으로 구성된다:
- 관측(Observations, $O$ ): 환경으로부터의 일련의 관측값.
- 학습 알고리즘(Learning Algorithm, $L_\phi$ ): 관측과 과거 행동을 바탕으로 일련의 추정치( $\phi$ )를 업데이트하는 메커니즘. 이 추정치에는 객체, 관계, 전이 확률, 비용, 가치, 그리고 상대방의 행동이 포함된다.
- 행동(Behavior, $\Upsilon$ ): 추정치에서 행동으로의 매핑.
  프레임워크는 객체, 관계, 예측과 같은 계층적 추정치를 형성하는 능력과 탐색을 용이하게 하기 위한 무작위성(예: 가치 추정에서의 무작위성)의 사용을 포함하여 플레이어의 내부 복잡성을 명시적으로 모델링한다.
불확실한 평형(Uncertain Equilibrium): 저자들은 내부 학습 역학을 가진 플레이어에 맞춤화된 새로운 평형 개념인 "불확실한 평형"을 도입한다. 정적인 전략 분포에 집중하는 표준 평형과 달리, 이 개념은 다음을 요구한다:
- 최적성(Optimality): 플레이어는 현재의 추정치를 바탕으로 최적의 제어에 접근해야 한다.
- 재귀성(Recurrence): 플레이어의 행동은 무한히 자주 재귀해야 하며, 이는 플레이어가 단일 지점으로 수렴하기보다 전략을 순환할 수 있음을 인정하는 것이다.
- 심리적 상태(Psychological States): 프레임워크는 탐색과 절박함에 영향을 미치는 플레이어의 '최선 달성 가능 결과에 대한 기대치'와 같은 "심리적" 파라미터를 통합할 수 있도록 허용한다.
이산 및 평균장 확장(Discrete and Mean-Field Extensions):
- 이산 게임(Discrete Games): 프레임워크를 이산 설정에 적용하여 상관 평형과의 연결성을 보여주는 동시에, 학습 알고리즘과 상대 모델링이 어떻게 표준 평형 개념이 놓치는 동적이고 비정상적인(non-stationary) 행동을 만들어내는지 강조한다.
- 평균장 게임(Mean-Field Games): 저자들은 대표 에이전트가 인구 분포를 추정하는 평균장 설정에 프레임워크를 적응시킨다. 이들은 "명시된(stated)" 평균장 게임이 완화된 평형이 존재하지 않더라도 어떻게 진동하는 행동을 유발할 수 있는지 보여주기 위해 명시적인 학습 알고리즘(예: 인구 분포에 대한 고정점 반복)을 구축한다.
강화 학습 통합: 본 논문은 이 새로운 관점을 통해 핵심 강화 학습(RL) 방법론(가치 기반, 정책 기반, 액터-크리틱, 모델 기반)을 검토하며, 플레이어 설계가 복잡한 추정 계층을 포함하며 시간 일관성(time-consistency)은 근본적인 요구 사항이 아니라 설계의 속성임을 강조한다.

주요 결과 및 예시

2인 토이 게임: 저자들은 고정된 1단계 호라이즌을 가진 간단한 2인 게임을 제시한다. 이들은 유일한 내쉬 평형이 존재함에도 불구하고, 학습 알고리즘을 사용하는 정교한 플레이어들이 이에 수렴하지 않음을 입증한다. 대신, 이들은 상대방을 이용하거나 회피하기 위해 전략을 끊임없이 조정하며 비정상적인 역학을 보인다. 시뮬레이션은 인센티브( $c$ )와 기대치( $B$ )와 같은 파라미터를 변화시킴에 따라 정적인 수렴이 아닌 복잡하고 반복되는 행동 패턴이 나타남을 보여준다.
평균장 예시: 두 가지 특정 평균장 예시에서, 저자들은 불연속적인 비용이나 고정점의 부재로 인해 표준 완화 평형이 존재하지 않을 수 있음에도 불구하고, 제안된 학습 알고리즘이 인구 분포가 특정 상태 사이를 무한히 진동하는 "불확실한 평형"을 유도함을 보여준다.
CartPole 구현: 표준 벨만 업데이트 없이 가치 기반 학습 알고리즘을 CartPole 환경에 구현하였다. 대신, 이 모델은 일련의 가치 네트워크를 사용하고 훈련 후 시간 일관성을 촉진하며, 이를 통해 단일 에이전트 설정에서의 프레임워크의 유연성을 입증한다.

의의 및 주장
본 논문은 초점을 외부의 호환성 조건에서 플레이어의 내부 구조와 학습 과정으로 전환함으로써 게임을 분석하기 위한 기초적인 언어를 제공한다고 주장한다.

경쟁의 재정의: 저자들은 경쟁이 평형으로의 수렴이 아니라, 평형을 피하려는 지속적인 노력에 의해 정의된다고 주장한다. 프레임워크는 플레이어를 추정하고, 기만하며, 적응하는 동적 시스템으로 모델링함으로써 이를 포착한다.
게임 이론과 RL의 가교: 강화 학습 구성을 게임 이론적 정의로 추상화함으로써, 본 연구는 에이전트가 단순히 스칼라 보상을 최적화하는 것이 아니라 깊고 구조화된 학습에 참여하는 복잡한 다중 에이전트 상호작용을 분석하는 방법을 제공한다.
한계 및 범위: 저자들은 자신들이 특정 과업을 위한 새로운 학습 알고리즘을 설계하는 것이 아니라 기존의 게임 설정을 재구성하는 것임을 겸허히 밝힌다. 또한, 지능의 전체 구조적 성장(예: 새로운 유형의 추정치를 습득하는 아동)을 모델링하는 것은 현재의 범위를 벗어나지만, 이는 필수적인 향후 연구 방향임을 인정한다. 이 연구는 에이전트의 내부 설계가 게임의 창발적 역학을 어떻게 결정하는지 이해하기 위한 공식적인 출발점 역할을 하며, 학습 에이전트의 맥락에서 평형 개념이 재평가되어야 함을 시사한다.