Evolution of cooperation with Q-learning: how much information do we need?

自然界や人間社会の活気ある世界において、協力は至る所に見られます。ミツバチは巣を維持するために労働を分担し、吸血コウモリは隣人が飢えを生き延びられるよう血を分け合います。しかし、このような他者を助けるための自己犠牲的な意志は、個体が自身の利益のみのために行動すべきであるという生存の基本論理に矛盾しているように見えます。数十年にわたり、科学者たちは、利己主義がより容易な道であると思われる中で、いかにして協力が根付き、繁栄することができるのかを理解しようと試みてきました。この分野における中心的な問いは、周囲に関する情報をより多く持つことが、より良い意思決定につながり、最終的にさらなる協力を生むのかどうかということです。直感的には、周囲の人々についてより多くを知ることは、より賢明な選択をする助けになるはずだと論理的に思えます。しかし、新しい研究は、この直感が間違っている可能性を示唆しており、代わりに、チームワークを促進するために実際には最適となるのは、特定の限定された量の情報であると提言しています。

陝西師範大学と寧夏大学の研究者たちは、古典的なシナリオとして知られる「囚人のジレンマ」に基づいたコンピュータモデルを用いて、このアイデアを検証することにしました。このシナリオでは、二人の人間が協力するか、あるいは互いに裏切るかを決定しなければなりません。両者が協力すれば、両者に利益があります。一方が裏切り、もう一方が協力した場合、裏切った者は大きな利益を得ますが、協力した者は損失を被ります。両者が裏切れば、両者が損をします。課題は、協力することがグループにとってより良い選択であるとしても、裏切ることが常に個人の安全な選択であるという点です。人々がいかにして協力を学んでいくのかを見るために、科学者たちは「Q学習」と呼ばれる手法を用いました。これは、コンピュータのエージェントが試行錯誤を通じて学習し、異なる行動を試し、どの行動が時間の経過とともに最善の報酬につながるかを記憶していく人工知能の一種です。このアプローチは、単に他人の模倣をするのではなく、自分自身の経験から学ぶ人間や多くの動物の仕組みを模倣しています。

研究チームは、これらの学習エージェントをグリッド上に配置しました。各エージェントは、一定数の隣人を見ること、および相互作用することしかできません。研究者たちは、エージェントが見ることができる隣人の数を、そのエージェントが持つ情報の量として扱いました。この数を、わずか1人の隣人から最大12人まで変化させることで、情報のレベルの違いがグループの協力能力にどのように影響するかをテストしました。彼らは単純な正方形のグリッドと、現実世界の社会的つながりに似た、より複雑なウェブ状のネットワークの両方でこれらのシミュレーションを実行しました。

結果は驚くべきパターンを明らかにしました。エージェントの情報が非常に少なく、隣人を1人または2人しか見ていない場合、彼らは主に互いに裏切り合うことを選びました。隣人の数が増えて3人または4人になると、協力のレベルは最高点に達しました。しかし、エージェントにより多くの情報、つまり5人以上の隣人が与えられると、協力は再び低下し始めました。最も協力的なグループは、最も多くの情報を持っていたグループではなく、適度な量の情報を持っていたグループでした。この「逆U字型」のパターンは、単純なグリッドと複雑なウェブ状のネットワークの両方において成立していました。複雑なネットワークにおいては、最も接続が多く、最も多くの情報を持っていた個人が、実は最も協力しない人々となり、しばしば執拗な裏切り者として振る舞う一方で、接続の少ない人々が高いレベルの協力を維持していることが研究者によって発見されました。

なぜこのようなことが起こったのかを理解するために、科学者たちはエージェントがどのように意思決定を行っているかを詳細に調査しました。情報が乏しいとき、エージェントは硬直的であり、裏切ることが唯一の安全な選択であることを素早く学習し、それに固執しました。情報が圧倒的すぎるとき、エージェントは混乱しました。膨大なデータ量によって明確な戦略を立てることが困難になり、協力と裏切りの間で混沌とした切り替えを引き起こしたのです。彼らは信頼できる計画を確立することができませんでした。適度な量の情報があって初めて、エージェントは「スイートスポット（最適解）」を見つけることができました。彼らには、協力が善策であると認識するのに十分なデータがあり、同時に、選択肢によって麻痺してしまうほど多くのデータも持っていませんでした。このバランスによって、状況の変化に適応できる柔軟性を保ちつつ、協力が定着するのに十分な安定した戦略を維持することができたのです。

また、この研究は、学習の速度や将来の報酬の重要性がこれらの結果にどのように影響するかについても調査しました。エージェントが目先の報酬を重視しすぎて将来を無視した場合、協力は完全に消失することを発見しました。しかし、核心となる発見は揺るぎないものでした。すなわち、より多くの情報を持つことが必ずしもより良い結果を保証するわけではないということです。実際、シミュレーションは、最適な情報の量が存在し、それを超えるとグループの協力能力を実際に損なう可能性があることを示しました。これは、より多くのデータが常に優れた意思決定につながるという一般的な信念に異を唱えるものです。むしろ、複雑な相互作用が存在する世界においては、「知っていることが十分であること」が、正しい選択をするための鍵となることが多いことを示唆しています。研究者たちは、意思決定を行うための十分な情報を持つことと、それを処理するための十分な精神的余裕を持つことの間のこのバランスが、協力の出現に不可欠であると提唱しており、チームワークを促進するためのシステムや環境をどのように設計すべきかについて、新たな視点を提示しています。