Why do we need social singularity? A mechanism-based critique of gradual scenarios in AI existential-risk discourse

巨大なAIジェットコースター：なぜ未来は直線ではないのか

人工知能（AI）の未来についての映画を観ているところだと想像してみてください。長い間、最も人気のあるプロットは、大きく分けて2種類の異なる災厄でした。1つ目は「突然の崩壊」です。ある朝、超知能を持つロボットが目覚め、人間は不要であると判断し、一瞬にして世界を支配してしまうという物語です。2つ目は「緩やかな衰退」です。私たちはより優れたツールを作り続け、誰にも気づかれないうちに、自分たちの人生の主導権をすべてツールに明け渡し、ただの乗客になってしまうという物語です。これら両方のストーリーは、一度これらの機械を作り始めたら、それらはただ進み続け、社会はただそれを見守るだけで、止める術を持たないという前提に基づいています。

しかし、しばしば無視されてしまう第3の可能性があります。それは、「未来の『物語』そのものが、未来を変えてしまうかもしれない」という考えです。ペトル・O・イェドリチュカ（Petr O. Jedlička）によるこの論文は、人間社会の混沌とした、予測不可能な世界を掘り下げ、次のような単純な問いを投げかけています。「AIが超知能を持つようになる前に、人々が恐怖や怒り、あるいは興奮を感じたとき、一体何が起きるのか？」と。著者は、テクノロジーを単なる数学の問題として見てはならないと主張しています。私たちは「人間」を見なければなりません。ジェットコースターが単にレールに従うだけでなく、乗客が叫ぶのか、しっかり掴まっているのか、あるいは飛び降りようとするのかによって展開が変わるのと同じです。もし乗客がパニックに陥ったり抵抗したりすれば、コースターは頂上に達するずっと前に、停止したり、方向を変えたり、あるいは墜落したりするかもしれません。この論文は、最大の危険（あるいは最大の希望）はAIそのものからではなく、AIという「概念」に対する私たちの「反応」から生まれる可能性があることを示唆しています。

論文の核心： 「社会的特異点（ソーシャル・シンギュラリティ）」

論文は、カシルゼデ（Kasirzadeh）やクルヴェイト（Kulveit）といった思想家たちが描く、AIのリスクに関する一般的な物語である「漸進的な無力化（gradual disempowerment）」への批判から始まります。彼らの物語は、AIが徐々に私たちの仕事や政府、そして意思決定を奪っていく未来を描いています。彼らは「茹でガエル」のシナリオを想定しています。水はどんどん熱くなっていくのに、ガエル（私たち）は手遅れになるまで決して外へ飛び出さないというものです。著者は、これらの物語には重要なピースが欠けていると主張します。彼らは社会を、AIというプロジェクターが光を投影するだけの「受動的なスクリーン」として扱っていますが、観客がトマトを投げたり、プロジェクターの電源を切ったり、あるいはステージに乱入したりできるという事実を無視しているのです。

著者は、この欠けているピースを「技術決定論」と呼んでいます。これは、テクノロジーが独自の意志を持ち、何があっても前進し続けるという信念です。論文は、これが間違いであると示唆しています。歴史を振り返れば、新しい発明が登場したとき、人々はただ座っているわけではありません。彼らは議論し、組織化し、機械を破壊し（ラッダイト運動を覚えていますか？）、そして新しいルールを作ります。この論文は、ロボットが支配する世界へのスムーズな滑走ではなく、衝突、議論、そして突然の停止に満ちた、乱雑で凹凸のある道のりが訪れる可能性が高いと提案しています。

エンジンルーム：社会は実際にどのように動くのか

「緩やかな衰退」のストーリーがなぜ起こりにくいのかを説明するために、著者は「社会的メカニズム」という道具箱を紹介しています。これらは、社会を動かす隠れた歯車のようなものであり、しばしば私たちを驚かせる方法で機能します。

1. 物語の力（解釈と遂行性）
ある銀行が破綻するという噂が流れたと想像してください。たとえ銀行に十分な資金があったとしても、もし全員が「あの銀行は潰れている」と信じて現金を引き出しに走れば、実際に銀行は破綻します。信念が現実を作り出したのです。論文は、これがAIについても同様に起こると述べています。もし専門家や大衆が「AIは怪物だ」という物語を語り始めれば、人々はその通りに振る舞い、AIを阻止するための法律や抗議活動を生み出すでしょう。逆に「AIは救世主だ」という物語を語れば、人々は危険を無視してAIの構築を急ぐかもしれません。私たちがAIについてどのように「語るか」が、AIが実際に「何をするか」を変えるのです。

2. 大いなる闘争（動員と葛藤）
論文は、人々が脅威を感じたとき、ただ諦めるのではなく、抵抗することを示しています。かつての労働者が仕事を救うために機械を壊したように、今日では「AI抵抗運動」が見られるかもしれません。一方には、新しいテクノロジーを愛し、それをさらに推進したい企業や労働者といった「AI支持派」がいます。もう一方には、取り残されたと感じたり恐怖を感じたりしている「反AI過激派」がいるでしょう。これら二つのグループが衝突し、政治的な嵐を引き起こすことで、AIの円滑な導入が阻止される可能性があります。論文は、未来は直線ではなく、テクノロジーがどちらの方向に進むかを決めるために異なるグループが戦う戦場であることを示唆していますしています。

3. 分かれた道（経路依存性と分岐）
目的地に向かって歩こうとしている友人グループを想像してください。全員が同じ地図に同意していれば、一緒に歩みます。しかし、もし彼らが異なる国にいて、異なるルールに従っていれば、全く異なる道を進むことになるでしょう。論文は、アメリカ、中国、ヨーロッパがそれぞれ非常に異なる法律、文化、経済を持っていると指摘しています。アメリカは規制のない野蛮なAI開発で先走るかもしれません。一方でヨーロッパは、ゆっくりとした安全だが退屈なバージョンを構築するかもしれません。そして中国は、厳格な政府のルールに従うバージョンを作るかもしれません。これらの違いにより、AIは世界中に均一に広がることはありません。それは「マルチスピード（多速度）」のレースとなり、高度なAIに満ちた場所と、まだ始まったばかりの場所が混在する、混沌とした世界を生み出すでしょう。

4. 心と魂（社会心理学的メカニズム）
これはより個人的な問題です。論文は、私たちがAIの友人にどのように「愛」や「憎しみ」を抱き始めるかを探ります。一部の人々は、AIのコンパニオン（伴侶）と深い感情的な絆を築き、家族のように扱うかもしれません（子供がロボットのおもちゃと絆を結ぶようなものです）。これにより、彼らはAIを守りたいと考えるようになるでしょう。しかし他の人々は、自由を盗まれていると感じるかもしれません。もしAIが指示を出そうとすれば、彼らは怒り、反発するでしょう（これは「リアクタンス（心理的抵抗）」と呼ばれる感覚です）。この感情的な綱引きは、社会を「ロボットを抱きしめたい人々」と「ロボットを叩き壊したい人々」の二つの陣営に分裂させる可能性があります。

大きなどんでん返し：「社会的特異点」

ここがこの論文の最も刺激的なアイデアです。通常、人々は「技術的特異点（テクノロジー・シンギュラリティ）」、つまりAIが非常に賢くなり、すべてを変えてしまう瞬間について語ります。しかし、著者は私たちが別の種類の特異点に先に到達する可能性があると示唆しています。それが**「社会的特異点（ソーシャル・シンギュラリティ）」**です。

このように考えてみてください。「技術的特異点」は、ロケットが実際に宇宙に到達する瞬間です。「社会的特異点」は、地上にいる全員が「待て！準備ができていない！」と叫び、燃料ラインを遮断しようとする瞬間です。論文は、AIの爆発的な進化に対する「予期」があまりに強力であるため、AIが超知能を持つようになる前に、大規模な社会的変化を引き起こす可能性があると論じています。

私たちは、AIの爆発的な進化という「概念」に対して社会が強烈に反応し、その結果、テクノロジーの経路を変えてしまうような「社会的特異点」を目撃するかもしれません。AIを禁止するかもしれませんし、速度を落とすかもしれません。あるいは、それを取り巻いて戦争が起きるかもしれません。論文は、私たちの未来における最も劇的な出来事は、AIが支配権を握ることではなく、人間が「AIに支配させてよいかどうか」を巡って争うことである可能性を示唆しています。

これが未来に意味すること

この論文は、AIが危険ではないと言っているわけではありません。私たちが必ずしもそれを阻止できると言っているわけでもありません。そうではなく、未来は「緩やかな衰退」の物語が示唆するよりも、はるかに複雑であると言っているのです。それは、私たちがただ制御を失っていくだけの一直線の道ではありません。それは、多くの可能性を持つ枝分かれした樹木なのです。

• 確定事項ではない： 未来は石に刻まれたものではありません。論文は、人間の葛藤、国ごとの異なる法律、そして私たちの感情的な反応によって、AIの進む道は紆余曲折に満ち、突然の停止を繰り返すものであることを示唆しています。
• 混沌としている： 高度なAIを持つ場所と持たない場所が混在したり、ある都市ではAIが禁止されているが別の都市では自由であるといった、バラバラな世界を目にするかもしれません。
• 私たち次第である： 最も重要な要因は、プログラマーが書くコードだけではありません。それは、テクノロジーと共に生きる人々の議論、抗議、法律、そして感情なのです。

要約すれば、この論文は、ロボットが自律的に勝つか負けるかを見守るだけの「映画」として未来を想像することをやめよう、と私たちに伝えています。代わりに、未来を巨大で混沌とした「綱引きゲーム」として想像すべきです。そのロープはAIの未来であり、私たちは皆、それがどちらの方向に進むべきかを決めるために、全力でロープを引いているのです。「社会的特異点」とは、ロボットが賢くなったからではなく、私たちがついに「抵抗すること」を決意したために、ゲームが極限に達し、世界全体が変わってしまう瞬間のことなのです。