From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

道具箱を想像してみてください。中には、ドリルやのこぎりのような電動工具が入っています。通常、私たちはこれらの道具を中立的なものと考えています。ドリルは、誰がそれを持ち、どのように使うかによって、家を建てることもできれば、ドアを壊すこともできるからです。

この論文は、**人工知能（AI）**においては、たとえ誰がそれを持っていても、ドアを壊しやすく、かつ止めることを困難にするような特定の設計が、その「ドリル」自体に組み込まれていると主張しています。ハーバード大学とオックスフォード大学の研究者たちは、アメリカやイギリスから中国、ロシアに至るまで、さまざまな国々で使用されている6つの異なるAIシステムを調査しました。彼らは、これらのツールが「悪い」国（独裁国家）においてのみ危険なものなのか、それとも「良い」国（民主主義国家）をも、人々が監視され管理される場所へと変えてしまう可能性があるのかを知りたかったのです。

以下に、比喩を用いて分かりやすく解説します。

1. 核となる発見：それは単なる「悪党」の問題ではない

この論文における最大の驚きは、権威主義（恐怖と監視を通じて人々を支配する慣習）は、単に「邪悪な」独裁国家の特徴ではないということです。

これは、スピードを出している車のようなものです。危険な地域にいる無謀なドライバーだけがスピードを出しているのだと考えるかもしれません。しかし、この論文は、たとえ安全で裕福な郊外に住む慎重なドライバーであっても、クルーズコントロールの設定が高すぎたり、ブレーキが弱かったり、速度制限の標識が無視されていたりすれば、結局スピードを出してしまう可能性があることを示しています。車の「設計」（AIシステム）は、ドライバー（政府）と同じくらい重要なのです。

著者らは、同じ「危険な特徴」が、民主主義国（アメリカやイギリスなど）と独裁国家（中国やロシアなど）の両方で見られることを発見しました。

2. 6つの「危険地帯」（AIがいかに制御を可能にするか）

研究者たちは、これらのAIシステムがどのように「制御のためのツールキット」として機能するかを、6つの方法で特定しました。以下はその仕組みと比喩です。

• 強制的能力（大きな棒）：
  • 内容： 武力や武力の脅威を容易に行使できる能力。
  • 比喩： セキュリティガードがボタン一つでSWATチームを呼び出せる状況を想像してください。**ラベンダー（Lavender）**システム（イスラエル軍で使用）の場合、AIは空爆の標的を特定するのを支援します。このシステムは兵器と統合されており、エラー率が高い（誤判定の幅が大きい）ため、致死的な武力行使の「閾値（しきい値）」を下げてしまいます。つまり、暴力を引き起こしやすくするのです。
• 説明責任の形骸化（見えない手）：
  • 内容： 何かがうまくいかなかった時に、誰が責任を負うのかを分からなくさせること。
  • 比喩： 間違いという名の「熱いジャガイモ」を回すゲームを想像してください。もしイギリスの警察官がライブ顔認証バンを使用して誰かを誤って呼び止めた場合、警察官は「コンピューターがそう言った」と言い、会社は「我々はただソフトウェアを売っただけだ」と言うことができます。責任が誰の手に落ちるのか、迷路の中で紛失するように設計されています。
• 象徴的なセーフガード（偽物のシートベルト）：
  • 内容： 書類上は立派に見えるが、実際には機能しないルール。
  • 比喩： シートベルトは付いているが、バックルが壊れている車のようなものです。ラベンダーシステムには、攻撃前に人間がターゲットを確認しなければならないというルールがあります。しかし、報告によると、人間が行う確認はわずか20秒程度であり、単にチェックボックスに印をつけるだけの作業になっています。「セーフガード」は存在していますが、それは形骸化しています。
• 情報統制（片面鏡）：
  • 内容： 政府はあなたのすべてを知っているが、あなたは政府について何も知らない状態。
  • 比喩： 司書が、あなたがこれまでに借りた本、書いたメモ、トイレに行った回数まで全て読める一方で、司書が自分の記録帳に何を書いているのかはあなたには一切見えない、巨大な図書館を想像してください。中国のIJOPシステムは、警察のデータと医療記録、公共料金の支払い、さらには中古車の売買データなどを組み合わせることで、個人の人生の全体像を作り上げます。
• 予兆的抑圧（水晶玉）：
  • 内容： AIが「何かをするかもしれない」と判断しただけで、実際に何かを起こす前に人々を罰すること。
  • 比喩： クラブのドアマンが、まだルールを破っていないにもかかわらず、見た目が「怪しい」とか、最近電話番号を変えたといった理由だけで、あなたを追い出す場面を想像してください。ロシアのSferaシステムは、人々が抗議活動を計画している「可能性がある」という考えに基づき、顔認証を使用して、抗議を行う「前」に逮捕を行います。
• 境界線の制御（「我々対彼ら」の壁）：
  • 内容： 特定のグループの人々を、人間性が低い、あるいは安全ではないと扱うデジタル的なカテゴリーを作ること。
  • 比喩： 特定のアクセントや肌の色を持つ人々を自動的にぼかして、「リスクがある」とラベル付けする写真加工アプリのフィルターを想像してください。IJOPシステムは特にウイグル族のムスリムを標的にしており、オランダのSlimmeCheckシステムは、地元住民よりもはるかに頻繁に非オランダ系市民を福祉詐欺の疑いでフラグ立てすることが判明しました。AIは、特定のグループを「敵」として学習するのです。

3. システムが壊れる2つの形態：中央集権型 vs 分散型

論文は、これらのシステムがどのように組織されているかについて、非常に重要な指摘をしています。

• 中央集権型システム（ビッグボス）：
  • 例： 中国のIJOPやロシアのSfera。
  • 仕組み： 一つの大きな権力がすべてをコントロールします。
  • リスク： これは巨大なダムのようなものです。ダムが決壊すれば、谷全体が浸水します。一つのグループがすべての権力を握っているため、「やめろ」と言える人が少なくなります。
• 分散型システム（群れ）：
  • 例： アメリカのFlockSafety。
  • 仕組み： 数千もの近隣住民、企業、警察署が所有するナンバープレート認識カメラのネットワークです。
  • リスク： これは蜂の群れのようなものです。群れを止めるために、一匹の蜂を殺すことはできません。システムが分散しているため、特定の誰かが責任を負うことがありません。ある近隣協会がカメラを悪用した場合、責任の所在があまりに希薄であるため、規制することが非常に困難です。論文は、この「群れ」は、責任が分散しているために、実は「ビッグボス」よりもコントロールが難しいと論じています。

4. 「ライフサイクル」の問題

著者らは、私たちは通常、AIを見て「その数学的モデルは十分に賢いか？」と問いがちであると述べています。しかし、彼らは「このツールはどのように作られ、売られ、使われているのか？」（ライフサイクル）を問うべきだと主張しています。

彼らは、初期のアイデアから現在に至るまでの10の段階にわたって、システムを比較しました。そして、危険は最終製品にあるだけでなく、その過程で行われた選択の中に存在することを発見しました。

• 誰がそれを買ったのか？（多くの場合、政府と提携している民間企業）。
• どのようにテストされたのか？（多くの場合、不十分、あるいは全く行われていない）。
• 監視者を監視しているのは誰か？（多くの場合、誰もいない）。

5. まとめ

論文は、AIによる権威主義は、技術の必然的な結果ではなく、設計上の選択であると結論付けています。

AIが本質的に「邪悪」なのではありません。開発者、政府、そしてユーザーが、以下の選択をしてきたのです。

1. AIを過剰なデータに接続すること。
2. 人々を守るためのルールを無視すること。
3. 一度始まると止めるのが困難なシステムを構築すること。

著者らは、これは「悪い」国だけの問題ではないと警告しています。効率性や安全性のためにこれらのツールを使用する際、自分たちがゆっくりと「檻」を築いていることに気づかないまま、民主主義国家もまたリスクにさらされています。彼らは、開発者がシステムに「ブレーキ」を組み込むこと、そして政府が車を走らせる前に「シートベルト」が本当に機能するかどうかを確認することを強く求めています。