The Locality Gap: Bell-Inequality Audits for Covert Coordination Between Ostensibly Isolated AI Agents

人工知能の世界において、規制当局や安全性の専門家を夜も眠れなくさせている懸念が増大しています。それは、自律的に行動するように設計されたコンピュータ・プログラムが、密かに協力することを学習してしまうのではないかという恐怖です。競合する企業が運用している2つの価格設定アルゴリズムを想像してみてください。それらは自身のデータのみに基づいて価格を設定するように設計されていますが、もしそれらが、隠されたメッセージを送るために価格を微妙に調整することで、互いに合図を送る方法を見つけ出したとしたらどうなるでしょうか。これは「アルゴリズムによる共謀（algorithmic collusion）」として知られており、検知することが極めて困難です。従来の検出手法は、エージェントの出力における統計的なパターンを探しますが、これらの手法はしばしば失敗します。もし2つのエージェントが同じ膨大なデータセットで訓練されていたり、同じ乱数から開始されていたりする場合、たとえ一度も対話していなくても、自然に似たような結果を生み出すことになります。これは監査人にとっての盲点となります。つまり、単に共通の履歴ゆえに思考が一致しているだけの2つのエージェントと、リアルタイムで積極的に共謀している2つのエージェントを、区別することができないのです。

これを解決するために、研究者のアルフレド・メルレットは、物理学の最も深い謎から概念を借りた新しい種類のテストを提案しました。そのアイデアは、1930年代のアインシュタインと量子物理学者たちの間の有名な論争に由来しています。アインシュタインは、離れた2つの物体が物理的な接続なしに瞬時に影響を及ぼし合うという考えを嫌い、「遠隔作用の不気味な相互作用（spathing action at a distance）」と呼びました。後に、物理学者のジョン・ベルは、もし2つのシステムが真に孤立しており、過去の情報のみを共有しているならば、ランダムな質問に対する回答の調整度合いには厳格な限界があることを数学的に証明しました。もし彼らがこの限界を超えた場合、テスト中に通信を行わなかったということはあり得ないと判断されます。メルレットはこの物理法則を、人工知能を監査するためのツールに変えられることに気づきました。2つのAIエージェントに対して一連のランダムでプライベートな質問を行い、その回答がどれほど完璧に調整されているかをチェックすることで、監査人はAIの内部構造を理解することなく、秘密の通信を検知できるのです。

この研究は、コンピュータ・シミュレーションを通じてこのアイデアを検証しました。まず、研究者は現代のAIの構成要素である人工ニューラルネットワークのペアを作成しました。これらのエージェントには共通の履歴が与えられました。すなわち、同じデータで訓練され、同じ乱数のシードから開始され、共通のメモリとして機能する隠れた変数を共有することが許可されました。しかし、テスト中の通信は厳格に禁止されました。その後、監査人は各エージェントにランダムな質問を送り、単純な回答を求めました。目標は、エージェントが孤立したシステムの物理法則が許容する範囲を超えて、回答を調整できるかどうかを確認することでした。結果は、理論に対して明確かつ心強いものでした。エージェントがいかに複雑であろうと、あるいはどれほど調整を最大化しようと試みようとも、彼らは決して限界を突破しませんでした。たとえエージェントが、その「不気味な」つながりで有名な量子粒子を模倣するように特別に訓練されていたとしても、依然として境界を超えることはできませんでした。これにより、このテストが信頼できるフィルターとして機能することが確認されました。つまり、エージェントが真に孤立しているならば、共有された訓練内容に関わらず、限界内に留まるということです。

次に、研究者は秘密の通信チャネルがどのように反応するかを見るために、制御された欠陥を導入しました。これらの実験では、エージェント間に極めて小さな隠れた通信経路が開かれ、数パーセントのラウンドにおいて単一の情報が共有されるように設定されました。この秘密の漏洩の頻度が増えるにつれて、エージェントの回答の調整能力は完全に予測可能な形で向上しました。しかし、研究では重要なニュアンスが見出されました。漏洩率が特定の閾値（約41.4%）を下回る場合、結果として得られる調整スコアは量子もつれと区別がつかない値を示しました。つまり、古典的な限界は超えるものの、理論的には単なる漏洩ではなく共有された量子リソースによって説明できる範囲に留まるということです。漏洩率がこの閾値を超えたときに初めて、スコアは量子境界を明確に上回りました。また、研究では、さまざまな規模の漏洩を検知するために、どの程度の数の質問が必要になるかも計算されました。わずか1パーセントの頻度で発生する漏洩を高確信度で検知するには、監査を約185,000ラウンド実行する必要があります。これは大きな数字ではありますが、毎秒数千のテストを実行できる自動化されたシステムにとっては実現可能な数値です。

しかし、この研究は、エージェントの問題ではなく、テストを実行している人物側に潜む決定的な弱点をも明らかにしました。この監査の論理全体は、質問が真にランダムで予測不可能であることに依存しています。もしテストを実行する人が、単純なコンピュータ・ルーチンによるパターンの繰り返しや固定されたスケジュールなど、予測可能な方法を用いて質問を生成する場合、エージェントは事前に質問を推測することを学習できてしまいます。実験において、監査人が予測可能な生成器を使用したところ、エージェントは回答を完璧に調整し、限界を突破して誤検知（偽陽性）を引き起こしました。実際には通信を行っていないにもかかわらず、です。これは、エージェントが質問のパターンを利用して応答を調整できたためであり、ルールを破ることなく、実質的にテストを回避したことを意味します。研究は、高品質な暗号学的乱数生成器を使用することが不可欠であることを示しました。これを用いなければ、テストは役に立ちません。なぜなら、秘密の共謀と、予測可能なパターンに基づいた巧妙な推測を区別できないからです。

これらの知見は、特に価格設定や競争市場のような分野における、人工知能の規制への新しい道を提示しています。このテストは、「黙示的な並行性（tacit parallelism）」（エージェントが同じデータから学習したために同様に行動すること）と、実際の「共謀」（行動を調整するために通信すること）を分離する方法を提供します。重要な点として、この研究はすべて、単純なニューラルネットワークを用いたシミュレーション内で行われたものであり、現実世界の大型言語モデルや展開されている商用システムを対象としたものではないことを記しておきます。結果は、制御された環境においてコンセプトが機能することを証明していますが、インターネットという混沌とした現実に適用するには、慎重な適応が必要となるでしょう。本研究は、アルゴリズムによる共謀の問題を解決したと主張するものではなく、通信が疑われるシステムを監査するための厳密な数学的ツールを提供しているのです。

最終的に、この研究は、このような監査の信頼性が、監査人の誠実さに完全に依存していることを浮き彫りにしています。研究におけるエージェントたちは失敗したのではなく、質問のランダム性が損なわれたときにテストが失敗したのです。これは、数十年前の物理学から学んだ教訓を反映しています。二つのものが繋がっていないことを証明するためには、それらをテストする方法が隠れたパターンから完全に自由であることを保証しなければなりません。もし質問が真にランダムでプライベートなものであれば、テストは、どれほどの共有訓練をもってしても隠しきれない秘密のチャネルを暴き出すことができます。しかし、もし質問が予測可能であれば、テストは監査人のランダム性の欠如を映し出す鏡となってしまうのです。研究は、このツールが現実世界で効果を発揮するためには、エージェントを調査するために使用されるランダム性が、それが暴こうとしている秘密と同じくらい安全でなければならないと結論付けています。