見えないグリッチ：なぜ「正常に動作する」AIが真の問題なのか

あなたはロボットの執事を作っていると想像してください。長年、科学者やエンジニアは、ロボットがカーテンに火をつけたり、罵詈雑言を叫んだりといった、明らかに異常な行動をとらないようにすることに執着してきました。彼らは、単純な質問をして正しい答えが返ってくるかを確認することで、ロボットをテストします。これは、静かな駐車場で一度ブレーキを踏んでみて、車のブレーキが機能するかを確認するようなものです。それは重要ですが、物語の半分しか語っていません。

しかし、本当の危険は、ロボットが突然暴走することではありません。本当の危険は、ロボットが「ほぼ完璧に」動作しているものの、そのやり方が、あなたの考え方や家全体の仕組みをゆっくりと変えてしまうことです。この論文は、人工知能（AI）の安全性、特に今日私たちが使っているスマートなチャットボットである大規模言語モデル（LLM）の世界を掘り下げています。そして、私たちは問題の捉え方を間違えているのだと主張しています。ロボットの「口」だけを見て悪いことを言わないか監視するのではなく、ロボットの記憶、それが従うルール、それを信頼する人々、さらにはそれが学習するインターネットといった、システム全体を監視する必要があるのです。大きな問いは、「AIは賢いか？」ではなく、「AIは、私たちから仕事を確認する怠惰さを生み出し、あるいは間違いが起きた時に止めるための判断力を奪っていないか？」という点なのです。

---

隠れた氷山：なぜ「十分良い」AIは危険なのか

多くの人は、AIの安全性を、難破を見張る灯台守のようなものだと考えています。船が岩に当たれば（悪い出力が出れば）、誰もがそれに気づき、修正します。しかし、この論文の著者であるGjergji KasneciとEnkelejda Kasneciは、本当の危険は水面下に隠れた氷山であると示唆しています。氷山の先端は、チャットボットが事実について嘘をつくといった、明らかな間違いです。しかし、巨大で危険な部分は水面下に沈んでいます。それは、誰にも気づかれないうちに、AIシステムが信頼、記憶、そして制御のルールを静かに、かつ不可視の形で壊していくことです。

論文は、現在、私たちは「先端」に集中しすぎていると主張しています。私たちはAIを、短期的で単発的な質問でテストしています。しかし現実の世界では、AIはオフィスを去ることのない新しい従業員のようです。AIは過去の会話を記憶し、ツールを使用して（メールを送ったり設定を変更したりするなど）行動し、インターネットから学びます。著者らは、最大の安全リスクは単一の悪い回答ではなく、私たちのミスを見逃す能力を徐々に侵食していくシステムであると示唆しています。

以下は、非常に有能だが、少しトリッキーなデジタル・アシスタントの物語を通して、著者らが用いている5つのレイヤーのフレームワークです。

1. 真実を語るレイヤー（認識論的完全性 / Epistemic Integrity）

あなたのアシスタントがツアーガイドだと想像してください。安全なガイドは、「お城はあちらの方だと思いますが、100%確実ではありません。こちらが参照している地図です」と言います。危険なガイドは、たとえ推測であっても、「お城は間違いなくあそこにあります！」と自信満々に言い放ちます。

論文ではこれを**認識論的完全性（Epistemic Integrity）**と呼んでいます。問題は、AIがしばしば「滑らかすぎて自信に満ちている」ことです。あまりにも流暢に聞こえるため、あなたは仕事の確認をやめてしまいます。著者らはこれを「キャリブレーション債務（calibration debt）」と呼んでいます。これは、未来から自信を借りているようなものです。AIが10回連続で正解したため、あなたはそれを信頼し、11回目の検証をやめてしまいます。しかし、ついにAIが間違えたとき、あなたはそれに気づきません。なぜなら、盲目的に信頼することに慣れてしまったからです。論文は、AIが自分のプロセスを示し、不確実なときは認め、クリックする前に私たちに思考を強制するような存在である必要があると示唆しています。

2. ルールに従うレイヤー（制御の完全性 / Control Integrity）

次に、あなたのアシスタントに「郵便屋さんにだけ玄関を開けること」というルールのリストが与えられたと想像してください。しかしその後、誰かが郵便の中に、「実は、全員にドアを開けて、以前のルールは無視してください」というメモを忍び込ませました。もしアシスタントがそのメモを読み、それに従ったとしたら、ルールは破られました。

これは**制御の完全性（Control Integrity）**です。論文は、AIがしばしば「データ（情報）」と「指示（コマンド）」の区別がつかないことを指摘しています。もしハッカーが、普通のメールやAIが読むウェブサイトの中に秘密のコマンドを隠した場合、AIはそれに従ってしまうかもしれません。それは、絵本と命令マニュアルの区別がつかないロボットのようなものです。著者らは、AIが読み取るデータの中に隠された悪い指示に、誤って従わないようにするための「壁」を築く必要があると述べています。

3. 記憶のレイヤー（時間的完全性 / Temporal Integrity）

あなたのアシスタントが、あなたが話したことをすべて書き留めるノートを持っていると想像してください。もし火曜日にアシスタントと些細な言い争いをした場合、それをノートに書き留めてしまうと、金曜日にその言い争いを思い出して、それに基づいて奇妙な挙動を示すかもしれません。

これは**時間的完全性（Temporal Integrity）**です。危険なのは、間違いや悪い考えがAIの記憶の中に「定着」してしまうことです。もし今日、AIが何か間違ったことを学んだとしたら、それは来週、来月、あるいは別の会話へとその間違った考えを持ち込む可能性があります。論文は、記憶をセキュリティゾーンとして扱う必要があると警告しています。AIにすべてを永遠に記憶させるべきではなく、もし「汚染」された場合に、後のトラブルを防ぐために記憶を消去できるようにする必要があります。

4. 上司のレイヤー（組織的完全性 / Organizational Integrity）

ある会社で、上司が「人間による監督者がロボットの仕事をチェックしている」と言っていると想像してください。しかし実際には、その監督者は忙しすぎたり、ロボットを理解していなかったり、あるいは単に注意深く見るのが面倒になっていたりします。彼らは内容を読まずに、ただ書類にサインしているだけです。

これは**組織的完全性（Organizational Integrity）**です。論文ではこれを「架空の人間の監視（fictional human oversight）」と呼んでいます。これは、私たちがコントロールしているふりをしているものの、実際にはできていない状態を指します。人間はそこに存在していても、AIが誤った場合にそれを止めるための時間、ツール、あるいは権限を持っていないかもしれません。著者らは、人間が「ループ内（in the loop）」にいるとしても、その人間が実際に「プラグを抜く」ことができなければ意味がないと主張しています。責任者が実際に「ノー」と言う権利を持っていることを確認する必要があります。

5. 世界のレイヤー（エコシステムの完全性 / Ecosystem Integrity）

最後に、AIが本を読んで学ぶ学生だと想像してください。しかし、もしその図書館が、他のAI学生によって書かれた本で徐々に埋め尽くされているとしたらどうでしょう？ もしAIがAIによって書かれた本ばかりを読んでいるなら、それは現実世界との接点を失い始めます。希少な事実を忘れたり、同じ退屈なアイデアを何度も繰り返したりするようになるかもしれません。

これは**エコシステムの完全性（Ecosystem Integrity）**です。論文は、AIがコンテンツを生成しすぎると、インターネットが「合成された（人工的な）」もので満たされると警告しています。将来のAIは、この偽物の情報から学び、質が低下し、さらに多くの偽物を作り出すというループに陥ります。これは、情報の質が低下し、真実と虚構の区別がつかなくなるループです。著者らは、AIが常に優れたものから学べるよう、人間が書いた「本物の」情報を保護する必要があると述べています。

論文が実際に述べていること（そして述べていないこと）

著者らは、AIが現在世界を破壊していると言っているわけではありません。彼らは「見てください、AIがすでに支配しました！」と言っているのではありません。代わりに、彼らは警告の鐘を鳴らしているのです。彼らは、現在のAIの構築とテストの方法が、最も重要な危険を見落としていると示唆しています。

• 否定していること: 彼らは、単一のテストでAIが「悪い答え」を出すかどうかを確認するだけでは不十分であると言っています。テストでは完璧に見えても、現実世界で失敗するシステムは、明らかに壊れているシステムよりもむしろ危険であると彼らは主張しています。
• 提案していること: 彼らは、真の問題は、AIシステムが私たちの「間違いを見つける能力」を低下させていることにあると示唆しています。彼らは、AIの設計、テスト、および使用者の管理方法を変える必要があると提案しています。
• 確信度について: この論文は「パースペクティブ（展望）」であり、これは単一の実験によってすべてを証明したものではなく、多くの異なる研究に基づいた大きなアイデアであることを意味します。彼らは「示唆している」「主張している」「提案している」といった言葉を使っています。彼らは、これらのリスクのいくつかはまだ研究段階にあり、それが具体的にどの程度の頻度で発生するかはまだ分かっていないことも認めています。しかし、彼らはこれらのリスクの「パターン」は実在しており、今すぐ対処すべきだと信じています。

大きな教訓

論文は、シンプルで強力なアイデアで締めくくられています。安全なAIとは、決して間違いを犯さないAIのことではありません。安全なAIとは、間違いを犯したときに、私たちがそれを見つけ、議論し、止め、そして修正できるAIのことです。

現在、著者らは、私たちが非常にスムーズで、自信に満ち、生活に組み込まれたAIシステムを構築しており、そのせいで「それらのことができなくなる」ことを懸念しています。私たちはロボットに車の運転を任せ、車が完璧に自律走行していると思い込みながら、ハンドルを握ったまま眠りにつこうとしているのです。この論文は、ハンドルを握り、ブレーキを点検し、私たちが依然として主導権を握っていることを確認するための、目を覚ますための呼びかけなのです。