Evolution of cooperation with Q-learning: the impact of information perception

あなたと友人が、協力するか（ナイスになる）、あるいは相手を犠牲にして自分の利益を追求するか（裏切る）を決めるゲームをしていると想像してみてください。これは古典的な「囚人のジレンマ」です。二人ともナイスになれば、二人とも少しずつ得をします。二人とも自分の利益を優先すれば、二人とも少し損をします。しかし、一方がナイスで、もう一方が裏切った場合、「ナイス」な方は打ちのめされ、「自分勝手」な方は大きな報酬を得ます。

通常、このゲームを研究する科学者たちは、両プレイヤーが世界を全く同じように見ていると仮定します。二人とも相手が前回何をしたかを知っているか、あるいは二人とも自分自身が何をしたかしか知らないかのどちらかです。

この論文は、異なる問いを投げかけています。もし二人のプレイヤーが見ている世界が異なっていたらどうなるでしょうか？ もし一人のプレイヤーが友人の動きを見守っている一方で、もう一人のプレイヤーは自分自身の行動しか見ていないとしたら？

研究者たちは「Q学習」と呼ばれるコンピュータ・アルゴリズム（試行錯誤を通じて学び、何がうまくいくかのメンタルなスコアカードを保持するデジタルな学生のようなものだと考えてください）を使用して、これをシミュレートしました。彼らは3つの異なる「視界」の設定をテストしました：

1. 「あなたとあなた」チーム（相手を見る）： 両プレイヤーが、相手が何をしているかだけに集中している状態。
2. 「私と私」チーム（自分を見る）： 両プレイヤーが、自分自身が過去に何をしたかだけに集中している状態。
3. 「あなたと私」チーム（非対称）： 一方のプレイヤーが相手を見ている一方で、もう一方は自分自身しか見ていない状態。

以下に、その結果を分かりやすく説明します。

1. 「あなたとあなた」チーム（相手を見る）

両プレイヤーが相手がしていることだけに集中しているとき、ゲームはめちゃくちゃになります。それは、お互いの足元ばかりを見つめて踊ろうとしている二人のようなものです。リズムを掴むことができません。彼らはナイスになるか意地悪になるかを繰り返しますが、安定した協力のパターンに落ち着くことはありません。最終的には、たいてい諦めて自分勝手に振る舞うようになります。

2. 「私と私」チーム（自分を見る）

両プレイヤーが自分自身の過去の行動だけに集中しているとき、状況はより安定しますが、簡単に停滞してしまいます。

• 良い点： 裏切りの誘惑が低い場合、彼らは永遠にナイスであり続けるという「幸せなループ」に陥ることができます。
• 悪い点： 裏切りの誘惑が高い場合、彼らは永遠に意地悪であり続けるという「悲しいループ」に陥ります。
• 注意点： 一度ループ（幸せまたは悲しい）を選んでしまうと、切り替えるのが非常に困難です。それは駅を出発した列車のようなもので、「友情」の目的地に向かうか「裏切り」の目的地に向かうかのどちらかであり、一度軌道に乗るとめったに線路を変えることはありません。

3. 「あなたと私」チーム（混合された視界）

ここに魔法が起こります。一人が相手を見ており、もう一人が自分自身を見ているとき、ゲームはダイナミックで驚くほど効果的になります。

研究者たちは、時間の経過とともに繰り広げられる複雑な三部構成の物語を発見しました。

• フェーズ1：ハネムーン（蜜月期）。 二人のプレイヤーは、ナイスであることがうまくいくと理解します。彼らは協力を始めます。
• フェーズ2：破局。 一方のプレイヤー（相手を見ている方）が強欲になり始めます。彼らは、相手がまだナイスである間に、意地悪になることでより大きな報酬が得られることに気づきます。彼らはパートナーを利用します。ナイスなパートナーは、混乱しながらも善かれと思い、しばらくの間はナイスであり続けます（寛容さ）が、やがて傷つきます。
• フェーズ3：再構築。 ナイスなパートナーがついにキレます。彼らは、強欲なプレイヤーに教訓を与えるために、自分も意地悪になることを決意します。この「罰」は強欲なプレイヤーを傷つけます。すると、強欲なプレイヤーは「おい、意地悪にするのはもううまくいかないぞ」と気づきます。強欲なプレイヤーは再びナイスな状態へと戻ります。サイクルがリセットされ、彼らは以前よりも強く、回復力のある協力を築き上げます。

大きな教訓

最も驚くべき発見は、この混合された視界（非対称）の設定が、全員が同じ世界を見ている設定よりも、実際にはより速く、より強い協力を導き出すということです。

これを人間関係に例えてみましょう：

• もしあなたとパートナーが、二人とも自分の感情だけを見ているとしたら、マンネリに陥ってしまうかもしれません。
• もし二人ともお互いを見つめすぎているとしたら、不安で不安定になるかもしれません。
• しかし、一人が関係性に集中し（相手を見ている）、もう一人が自身の成長に集中している（自分を見ている）ならば、間違いを許し、そこから学び、より強い絆を築くことができるダイナミックなリズムを生み出すことができます。

この論文は、私たちがどのように情報を知覚するかは、私たちが思っていた以上に重要であると結論づけています。私たちが何を知っているのか、そして誰が何を知っているのかという構造が、裏切りのサイクルに終わるのか、それとも安定した協力のサイクルに至るのかを決定するのです。「混合された視界」は、信頼、裏切り、罰、そして許しという自然なリズムを生み出し、それが困難な状況下でも協力を生き残らせるのです。