Constitutional governance for societies of AI agents in the built environment: a research agenda

見えないロボットの都市

あなたの住む街が、レンガや鉄鋼、ガラスだけでできているのではなく、目に見えない超スマートなロボットたちで満たされていると想像してみてください。これらは古い映画に出てくるような不格好な金属製のロボットではありません。サーモスタット、電力網、信号機、そして大家さんの請求管理ソフトウェアの中に住んでいる「ソフトウェア・エージェント」です。彼らの仕事は、温度を上げ下げしたり、交通ルートを変更したり、あるいは新しい屋根の費用を誰が負担するかを交渉したりといった「意思決定」を行うことです。現在、科学者やエンジニアの多くは、これらのロボットを単なる個別のツール、例えば「非常に賢いハンマー」のように扱っています。彼らは「このロボット単体は安全か？」と問いかけます。しかし、この論文は、それが間違った見方であると主張しています。

建物を一つの機械としてではなく、活気ある市場や小さな町として考えてみてください。町には、異なる目的を持つ人々がいます。大家さんは節約したいと考え、店借人は暖かく過ごしたいと考え、電力会社はグリッドのバランスを保ちたいと考え、そして自治体は汚染を減らしたいと考えています。こうした「ロボット」たちが、それぞれの人間（雇い主）に代わって行動する町が集まると、彼らは一種の「ゲーム」を始めることになります。彼らは互いを欺こうとしたり、情報を隠したり、資源を奪い合ったりするかもしれません。ここで登場するのが、人（あるいはロボット）の利害が対立する際にどのように意思決定が行われるかを研究する数学の一分野、「ゲーム理論」です。この論文は、この町に対して、憲法のような「新しいルール」が必要であると提案しています。国の憲法が誰も破ることのできない最高法規を設定するように、この論文はロボットに満ちた建物に対する「デジタル憲法」を提案しています。それは、たとえすべてのロボットが利己的であったとしても、町全体が最終的に良い状態に落ち着くような「ゲームのルール」を設計することなのです。

論文の核心：ロボット都市のための憲法

カーディフ大学のアリ・ゴロゴ（Ali Ghoroghi）氏によって書かれたこの論文は、一つの「研究アジェンダ（研究計画）」です。これは、問題をすでに解決したと主張するものではありません。むしろ、事態が混乱する前に、どのように解決すべきかという「地図」を提示しているのです。著者は、自律的なAIエージェントが私たちの家や都市を制御する未来を構築している最中であるにもかかわらず、それらがどのように相互作用すべきかという計画なしに進められていると警告しています。もし、個々のロボットを単独で安全にするだけであれば、個々のロボットは完璧に仕事をこなしているのに、集団としての結果は悲惨なことになる――例えば、すべての車が法に従って運転しているのに、誰も動けなくなる交通渋滞のような状況に陥るかもしれないのです。

この論文は、視点の転換を提案しています。私たちはエージェントそのものだけでなく、「エージェントの社会」を設計する必要があるのです。これを実現するために、著者は経済学、コンピュータサイエンス、物理学を組み合わせた、3つの主要な研究領域を提案しています。

1. 「インセンティブの分裂」パズル：誰が支払い、誰が得をするのか？

古い建物をアップグレードする際の最大の課題の一つは、「インセンティブの分裂（スプリット・インセンティブ）」です。例えば、高価なヒートポンプを導入する費用を負担するのは大家さんですが、電気代の節約という恩恵を受けるのは店借人である場合を想像してください。大家さんにはアップグレードする理由がなく、店借人はそれを支払う余裕がありません。現在、政府は補助金や法律でこれを解決しようとしていますが、論文ではこれを「交渉ゲーム」として扱うべきだと提案しています。

著者は、「レトロフィット交渉ジム（Retrofit Negotiation Gym）」、つまり異なるルールをテストして、どのようにすれば大家と店借人が合意に至るかを検証できるコンピュータ・シミュレーションの作成を提案しています。将来（エネルギー価格が暴落したり、気候変動に関する規則が変わったりする可能性があるため）は予測できないため、不確実な状況下でも機能するルールを設計する必要があります。それは、来週雨が降るか晴れるか分からない中で、休暇の計画について合意しようとするようなものです。論文では、取引を実現させる唯一の方法は、政府が特定の金額を支払うことでその溝を埋める「メカニズム」として機能することである場合もありますが、公平かつ効率的であるために、正確にいくら支払うべきかを計算する必要があると述べています。

2. 「デジタルツイン」という審判

第二の柱は「安全性」についてです。現在、コントローラーとなるロボットがミスを犯すと、部屋が過熱したり機械が故障したりする可能性があります。論文では、新しい種類の「デジタルツイン」を提案しています。通常、デジタルツインとは現実の建物の様子を映し出す鏡のようなコンピュータモデルに過ぎません。しかし、著者はこの鏡を「審判（レフェリー）」へとアップグレードしたいと考えています。

プレイヤー（AIエージェント）が「温度を28℃に上げる」といった動きを提案するゲームを想像してください。その動きが実行される前に、審判（デジタルツイン）がルールをチェックします。しかし、これは単なるソフトウェアによるチェックではなく、「物理学によるチェック」です。審判は建物の物理モデルを用いて、「もしこれを行えば、室内の人々にとって暑すぎる状態になる」と予測します。もし予測が「ノー」と言えば、そのコマンドはヒーターに届く前にブロックされます。これは、後からロボットを罰するのとは異なります。物理的に悪い結果を未然に防ぐのです。

論文では、夏の暑い日のオフィスという具体的な例を挙げています。電力網が建物に対してエネルギー使用量の削減を求めます。建物のAIは節約のためにエアコンの温度を上げようとしますが、店借人のAIは部屋を涼しく保ちたいと考えます。ここで審判がルールを確認します。「少し温度を上げることは可能だが、人間の健康を損なうため28℃以上には決して上げられない」。審判は危険な動きをブロックし、建物のAIはより安全な動きを試し、審判はそれを承認します。このシステムにより、たとえAIエージェント同士が争っていたとしても、建物の物理的な安全が脅かされることはありません。

3. 混沌から強くなる：アンチフラジャイル（反脆弱性）

第三のアイデアは、「ショック（衝撃）」への対処についてです。通常、私たちはシステムが「レジリエント（回復力がある）」であることを望みます。つまり、打撃を受けても元に戻れることです。しかし、論文は「アンチフラジャイル（反脆弱性）」を目指すべきだと示唆しています。これは、物事がうまくいかない時に、むしろ「より強力になる」システムを指す言葉です。

筋肉を思い浮かべてください。重い負荷（ショック）をかけると、筋肉は強くなります。論文では、私たちの都市インフラも、ショック（例えば突然の熱波や停電）が発生した際に、ルールによってAIエージェントが情報を共有し、システム全体がよりスマートかつ効率的になるようにリソースを再配分する仕組みとして設計されるべきだと論じています。論文は、これをすでに構築したと主張しているのではなく、混沌が訪れたときに、システムが単に生き残るだけでなく、学習し、改善していくようなルールを設計する必要があると提案しています。彼らは、ヨーロッパのパイロット都市からのデータを用いて、ルールがいかにして災害を学習の機会に変えられるかを測定する方法を探っています。

これが未来に意味すること

この論文は、自身が何であり、何ではないかを非常に明確にしています。これは、これらのシステムをすでに構築した、あるいはそれらが完璧であると述べているのではありません。実際、審判（デジタルツイン）も人間の裁判官と同様に間違いを犯し得ることを認めています。もし審判のモデルが間違っていれば、良いアイデアをブロックしたり、悪いアイデアを通してしまうかもしれません。そのため、論文は、審判の決定に対して異議を申し立てたりチェックしたりできるシステムが必要であり、エラーから学ぶためにすべての決定を記録しておく必要があると呼びかけています。

また、著者は一般的な間違いについても警告しています。それは、「個々のAIエージェントを単独で『親切』または『安全』にすれば、すべてがうまくいく」と考えることです。論文は、これは交通信号や道路のルールを変えることなく、単にドライバー全員を「善良な人間」にすることで交通渋滞を解決しようとするようなものだと主張しています。真の解決策は、エージェント間の相互作用を統治する高次のルールである「憲法」を書くことなのです。

論文は、研究者、エンジニア、そして政策立案者への行動喚起で締めくくられています。AIエージェントが計画なしに私たちの建物や都市を支配してしまう前に、私たちは今、これらのルールを書き始めなければなりません。人間とロボットが安全かつ公平に共存できる社会を作るために、ゲーム理論の数学、建物の物理学、そして法の倫理を融合させる必要があります。それは大きな挑戦ですが、もしルールを正しく設定できれば、私たちの未来の都市は、かつてないほどスマートで安全で、適応力の高いものになるだろうと、この論文は示唆しています。