The Learning Approach to Games

大きな理念：チェス盤を見るのではなく、プレイヤーを見よ

あなたがチェスの試合を観戦しているところを想像してください。従来のゲーム理論（ゲームを研究する古い手法）は、盤の上に高く立つ審判のようなものです。審判は駒、ルール、そして最終的なスコアにしか関心がありません。彼らはこう問いかけます。「両プレイヤーが完璧にプレイした場合、ゲームはどこに行き着くのか？」彼らは、プレイヤーを、安定した状態に到達するために数学的に「最善」の動きを常に繰り出す単純な機械であると想定しています。

この論文は、その視点では最も重要な部分、すなわち「プレイヤーの脳」が欠落していると主張しています。

著者である Melih İşeri と Erhan Bayraktar は、本物のプレイヤー（人間であれ高度なAIであれ）は単なる単純な計算機ではないと言います。彼らは複雑で、混沌としており、絶えず学習しています。彼らには内面的な思考や、相手が何を考えているかについての推測があり、考えを変えます。もしルールだけを見ていれば、プレイヤーが互いに欺き、騙し合い、適応しようとするドラマを見逃してしまうことになります。

新しいフレームワーク：まず「プレイヤー」を構築する

ゲームから始めるのではなく、著者たちはまず「プレイヤー」の定義を構築することから始めます。プレイヤーを、単に押される一つのボタンとしてではなく、3つの主要な部門を持つ複雑な工場として考えてみてください。

1. 感覚（観察）: プレイヤーは世界を見ます。ゲームにおいては、盤面や相手の直前の動きを見ることです。
2. 脳（推定）: ここが面白い部分です。プレイヤーはただ見るだけでなく、「推測」します。彼らは次に相手が何をすることかを推測します。未来がどのようになるかを推測します。彼らの中では、一度に十数もの異なる「推測エンジン」が動いているかもしれません。あるエンジンは「相手は攻撃的だ」と言い、別のエンジンは「相手は怯えている」と言うのです。
3. 手（行動）: それらの推測に基づいて、プレイヤーは何をするかを決定します。

論文では、ゲームを理解するためには、この工場がどのように機能するかを理解しなければならないと述べています。「感覚」が見たものに基づいて「脳」がいかに推測を更新するか、そしてそれがどのように「手」の変化をもたらすかを見なければならないのです。

「安定」が常にゴールとは限らない

従来のゲーム理論では、誰もが「ナッシュ均衡」に達することを望みます。全員が完璧に同期して、動きを止めるダンスを想像してみてください。自分のステップを変えるとダンスが台無しになるため、誰もステップを変えたがりません。

著者たちはこう言います。「それは退屈であり、現実の競争のあり方ではありません。」

彼らは**ジャンケン（Rock-Paper-Scissors）**を例に挙げます。

• 古いやり方: 最善の戦略は、グー、パー、チョキをランダムに選ぶことです（それぞれ1/3の確率）。こうすれば、誰もあなたを負かすことはできません。あなたは「搾取不可能」になります。
• 新しいやり方: もしあなたがトーナメントに参加していて、単にランダムにプレイしているだけなら、決して勝つことはできません。ただ引き分け続けるだけです。実際に勝つためには、もっと賢くなる必要があります。相手が何をしているかを推測し、相手を欺く必要があるのです。例えば、予測可能であるように見せかけて相手を誘い込み、その後、相手の裏をかくために戦略を切り替えるといったことです。

この論文は、現実の競争において、プレイヤーは絶えず踊り、ステップを変え、互いを欺こうとしているのだと主張しています。彼らは安定したダンスを探しているのではなく、優位性を探しているのです。

「不確実な均衡（Uncertain Equilibrium）」

著者たちは、**「不確実な均衡」**という新しい概念を導入しています。

これは、固定された地図ではなく、天気予報のようなものだと考えてください。

• 古い視点: 「午後2時に雨が降る。」（固定、確実）。
• 新しい視点: 「雨の可能性は60%だが、風向きが変われば90%になるかもしれない。」（不確実、動的）。

彼らのモデルでは、プレイヤーは単一の戦略を選びません。彼らは頭の中に、さまざまな「もしも」のシナリオのコレクションを持っています。ある戦略を試し、それが失敗したのを見て、「もしも」のシナリオを更新し、別の何かを試します。「不確実な均衡」とは、プレイヤーがこれらの戦略を絶えず循環しており、完全に落ち着くことはないものの、特定の動きに何度も立ち戻ってくるようなリズムを見出している状態のことです。

シンプルなゲームの例：猫と鼠（Cat and Mouse）

自分たちの主張を証明するために、著者たちは2人のプレイヤーによる非常に小さく単純なゲームを作成しました。

• プレイヤー1は、状態1にいたいと考えています。
• プレイヤー2は、プレイヤー1と同じ状態にいたいと考えています。

もし彼らが単なる「完璧な」数学的戦略に従うだけなら、どちらも勝てないループに陥ってしまいます。しかし、著者たちが新しい「工場」モデル（学習と推測を含む）を用いてプレイヤーをプログラミングすると、プレイヤーたちは奇妙な動きを見せ始めました。

• プレイヤー2は、プレイヤー1を騙すために、あえて一箇所に留まっているふりをしました。
• プレイヤー1は、そのトリックに気づき、戦術を切り替えました。
• 彼らは互いに追いかけっこをし、数秒ごとに考えを変えました。

ゲームは穏やかで退屈なパターンに落ち着くことはありませんでした。それはダイナミックで変化し続けるダンスとなりました。これは、ゲームは盤上のルールによってではなく、プレイヤーの学習し変化する能力によって定義されるということを示しました。

「平均場（Mean-Field）」のアイデア：群衆

論文はまた、数千人のプレイヤーがいるゲーム（交通量や株式市場など）についても考察しています。これは「平均場（Mean-Field）」と呼ばれます。

• 古いやり方: 一人ひとりが何をしているかを計算しようとする。これは不可能です。
• 新しいやり方: 一人の「代表的なプレイヤー」を想像します。このプレイヤーは群衆を見て、「他の皆はXをしているようだ」と考えます。そして、その群衆に対してどのように反応するかを学習します。

著者たちは、たとえ群衆の中でも、「代表的なプレイヤー」に学習し推測する脳を与えれば、単純な数学モデルでは見落とされる興味深いパターンが生じることを示しています。

AI（強化学習）とのつながり

最後に、この論文は現代のAI（ビデオゲームをプレイするAIなど）との関連付けを行っています。

• 古いAI: 「勝てば報酬を与える。報酬への道を見つけろ。」（おやつを追いかける犬のようなもの）。
• 新しい視点（この論文による）: AIは複雑な内部モデルを構築しています。それは単におやつを追いかけているのではなく、世界の地図を作り、他のプレイヤーが何を考えているかを推測し、数ステップ先を計画しているのです。

著者たちは、知的なエージェント（人間やロボット）がどのように相互作用するかを真に理解するためには、ゲームのルールだけを見ていてはいけないと結論づけています。プレイヤーの「工場」の内部を見つめ、彼らがどのように学び、推測し、適応していくのかを見なければならないのです。

一文での要約

プレイヤーを、安定した解を見つけるためにルールに従うだけの単純なロボットとして扱うのではなく、推測し、欺き、適応し続ける複雑な学習主体として扱うことで、従来の数学モデルが許容するよりもはるかにダイナミックで現実的なゲームを描き出している。