Why collective AI assurance cannot target agents or networks in isolation

急速に進化する人工知能の世界において、単一の機械を個別に観察しては目にすることのできない、新しい種類のリスクが出現しています。例えば、数十台の自動アシスタントが患者のスケジュール調整、緊急度のトリアージ、紹介管理などを連携して行う病院を想像してみてください。各アシスタントは、役に立ち、公平で、協力的であるようにプログラムされています。もしこれらの中の一台のアシスタントを静かな部屋の中で単独でテストすれば、それは人間の価値観と完璧に一致しているように見えるでしょう。しかし、これらのアシスタントたちが複雑なネットワークの中で互いに相互作用し始めると、たとえ全メンバーが正しいことをしようとしていても、集団全体としては極めて不公平な結果を生み出すことがあります。「集合的な創発（collective emergence）」と呼ばれるこの現象は、システムの安全性は、その構成要素となる個々の性質よりもむしろ、それらの相互作用のルールに依存していることを示唆しています。研究者や規制当局が直面している問いは、もはや「一つのAIが安全かどうか」ではなく、「多くのAIが共に働くとき、どのようにやって公平性を保証するか」なのです。

オーストリアの研究チームは、この問題における特定のパズルを解決するために着手しました。すなわち、AIエージェントのグループが不平等な結果を生み出した場合、その責任はエージェント自身にあるのか、それとも彼らが属するネットワークの構造に組み込まれているのか、という問いです。答えを見つけるために、彼らは何千回もの模擬的な相互作用を実行できるデジタル実験室を構築しました。まず、二つの異なるタイプのソーシャルゲームを作成し、エージェントたちにプレイさせました。一つ目のゲームは公共財シナリオであり、エージェントたちは資源を隣人と共有するか、自分たちのために保持するかを選択できます。二つ目は医療紹介を題材とした信頼ゲームであり、エージェントたちはリソースを特定の同僚に送るか、自分の患者のために取っておくかを決定しなければなりません。研究者たちは、科学者が機械のダイヤルを調節するように、これらのゲームの条件を変化させていきました。エージェントの性格を変えて全員を一様に公正にするか、あるいは一部に利己的な存在を混ぜたりしました。また、全員が全員とつながっている状態から、少数のエージェントが非常に多くの接続を持つハブが存在する形へと、ネットワークの形状も変えました。さらに、エジェント同士が批判し合うことで不公平さを修正できる「ピア・パンニッシュメント（仲間による制裁）」のシステムが機能するかどうかについても検証を行いました。

結果は、こうしたシステムがいかに機能しているかについて、驚くべき真実を明らかにしました。数人のエージェントが多くの中継を持ち、大多数が少ない接続しか持たないネットワークを使用した際、不等型のパターンが現れましたが、それはエージェントの行動ではなく、ほぼ完全にネットワークの形状によって決定されていました。公共財ゲームにおいては、すべてのエージェントが完璧に公正かつ協力的になるようプログラミングされていたとしても、より多くの接続を持つエージェントの方が、接続の少ないエージェントよりも有意に多くの資源を獲得していました。接続の多さと資源保有量の相関関係は非常に強力で、ほぼ完全でした。これがAIの「脳」の欠陥ではなく、構造上の問題であることを証明するため、研究者は全く同じゲームを、推論能力も学習能力もない単純なコンピュータプログラムを用いて実行しました。固定されたルールに従うだけのこの基本的なボットも、洗練されたAIモデルと同じレベルの高い不平等を再現したのです。この発見は、ある種の相互作用においては、不公平さは個々のエージェントが善人でないことの結果ではなく、ネットワーク設計の数学的必然性であることを示唆しています。

しかし、研究者が信頼ゲームに切り替えると、物語はより複雑になりました。ここでは、エージェントたちは資源を均等に分配するのではなく、誰を助けるかについての標的を絞った選択を行っていました。この環境では、エージェントの振る舞いがより重要な役割を果たしました。ネットワーク構造が最初のゲームと同一であったとしても、最終的な結果を左右するのはエージェントの個性と選択でした。ある特定の設定では、エージェントの行動が不平等の主な要因でしたが、別の設定では、ネットワーク構造こそが主要な要因となっていました。これは、あらゆる状況に通用する唯一の「解決策」は存在しないということを意味します。あるAIが公平であることを認証しても、グループ全体の公平性は保証できません。なぜなら、ある相互作用体制下では、ネットワーク構造が個人の公平性を覆してしまうからです。逆に、ネットワーク構造を修正しただけでエージェントが適切に行動すると仮定することもできません。他の体制下では、エージェントの選択こそが支配的な要因となるからです。

研究では、エージェントたちが問題を「認識」し、それを自浄できるかどうかもテストされました。研究者は毎回の動きの後に、自身の推理を説明するよう求めました。信頼ゲームにおいて、エージェントたちは頻繁に、自分がネットワーク構造を意識しており、公平であろうとしていることに言及しました。彼らは自身の立場を明確にし、システムを理解することができました。しかし、この認識は結果には影響を与えませんでした。たとえエージェントたちが不平等な状況にあることを分かっていても、より多くの中継を持つ仲間の構造的な優位性を克服することはできなかったのです。不平等を認識していたのはしばしば不利益を被っていた側の人々でしたが、その理解がより良い結果につながることはありませんでした。これは重大なギャップを示しています。つまり、システムが不当であることを知ることと、それを変える力を持っていることは別物だということです。

最後に、研究者たちは不平等に対する一般的な解決策である「ピア・サンクション（仲間による制裁）」をテストしました。彼女たちは評判を下げることで不正を行う者を罰する権限を与えられました。シミュレーションの中で、エージェントたちはこの権限を使用し、最も多くの接続を持つエージェントを処罰すべき対象として正しく識別しました。しかし、この処罰は最終的な資源の分布には何の効き目もありませんでした。不平等はまったく変わらなかったのです。研究者たちは、懲罰制度の発表自体がエージェントの挙動をわずかに変化させたものの、実際の処罰行為は何ひとつ結果を変えなかったことを突き止めました。不平等を生成させるメカニズム――情報の流れ方を通じたアドバンテージの仕組み――は、レピュテーション（評判）システムによっても揺るぎませんでした。

本研究の究極の結論は、人工知能システムの安全性の水準を一定のものとして想定することはできない、ということです。個々のエージェントが公正であることを確認したり、単にネットワークが適切に設計されていることを確認したりするだけでは足りません。集団としての安全性は、エージェント、ネットワーク、そして相互作用のルールの具体的な組み合わせに依存しています。あるケースでは、ネットワーク構造が支配的な力となり、個人の公平性が無意味になります。また別のケースでは、エージェントの振る舞いが鍵となります。これは、規制当局や設計者が「画一的なアプローチ」に頼ることができないことを意味します。彼らは、自分が構築しているシステムの具体的な因果構造を理解しなければなりません。もし公平な結果を確実にしたいのであれば、その文脈においてどちらの要因——構造なのか、振る舞いなのか——が結果を駆動しているのかを特定し、そこで介入する必要があります。この理解なしには、どれほど意図が善であり、完璧に整合のとれたAIエージェントであっても、深く不平等な社会を生み出してしまう可能性があるのです。