あなたは、何千人もの人々が超スマートなロボット司書に助けを求めている、大規模でハイテクな図書館を運営していると想像してください。昔は、ただロボットに尋ねれば答えが返ってきました。しかし今、図書館はあまりに大きくなりすぎて、単一のロボットではこの混雑に対処できなくなりました。そこで、図書館員たちは、群衆とロボットの間に立つ超効率的な受付人である「ゲートウェイ（Gateway）」を構築しました。このゲートウェイの仕事は、あなたの質問を受け取り、どのロボットが空いているかを判断し、質問を送り、答えを持ち帰ることです。これはインターネットにおける交通整理のようなもので、誰もが自分の番を得られるようにし、何も紛失しないようにしています。

しかし、ここにはトリッキーな部分があります。これらのロボット（大規模言語モデルと呼ばれます）は、単語一つで答えるわけではありません。彼らは、水が流れるように、一語一語、長い物語を紡ぎ出します。そして、彼らは会話の中で以前に言ったことをすべて覚えています。つまり、ゲートウェイは非常に注意深くあらねばなりません。単にメッセージを渡すだけでなく、物語の筋道を立て、誰が誰と話しているのかを記憶し、言葉の流れが混ざり合わないようにしなければならないのです。もしゲートウェイが失敗すれば、ロボットは完璧に回答しているかもしれませんが、それは間違った質問に対して答えていたり、あるいはあなたが詩を書くよう頼んだのに、代わりに買い物リストを書いていたりすることになります。問題は、ゲートウェイ自身がミスをしたことさえ気づかないことが多いということです。ゲートウェイはただ、「完了しました！」と言って次に進んでしまうのです。

ここで、FAILUREATLAS と呼ばれる新しい論文が登場します。著者たちは、デジタル探偵のような存在です。彼らは、コンピュータ全般がどのように壊れるかについての地図はあっても、これら特定の「ゲートウェイ」システムがどのように失敗するかについての地図はないことに気づきました。彼らは、どのように不具合が起きるかを分類するための新しい種類の地図、「タクソノミー（分類体系）」を作り上げました。彼らは、最も危険な失敗は、システムがクラッシュして助けを求めるようなもの（壊れた電球のようなもの）ではないことを発見しました。最悪の失敗は「サイレント（静かな）」なものです。それらは機械の中に潜む幽霊のようです。システムは完全に健全に見え、ライトは緑色に点灯していますが、ロボットが語る物語は密かに破損しているのです。この論文は単に推測しているのではなく、システムに対してストレス・テストを行い、これらが起こる5つの具体的な方法を見つけ出し、現在のコンピュータ監視方法がいかに最も危険なバグに対して盲目であるかを証明しました。

壊れたものの地図

著者たちは、これらの失敗を分類するためにシンプルな二部構成のグリッドを作成しました。行が「どこで」故障が起きるか、列が「どのように」気づくかを示すチェス盤を想像してください。

行（どこで壊れるか）：

1. 道路（ネットワーク／トランスポート）： ケーブルやWi-Fiの調子が悪かったり、コンピュータが同時に二つのことをしようとして行き詰まったりしている状態。
2. 流れ（ストリーミング／プロトコル）： ロボットが水のように言葉を注ぎ出しているが、ゲートウェイがその滴の数を数え間違えたために、言葉が混ざって支離滅裂になっている状態。
3. 記憶（ステート／セッション）： ゲートウェイが5分前に言ったことを忘れてしまったり、さらに悪いことに、あなたの会話と友人の会話を混ぜ合わせてしまったりする状態。
4. 脳（モデルの振る舞い）： ロボット自体が奇妙な動きをし始める（ただし、著者らはこれについて確実な証拠で証明するのはまだ難しいと認めています）。
5. 財布（ガバナンス／コスト）： システムが節約や使用制限を試みているが、誤ってドアを永遠にロックしてしまう状態。

列（どのように気づくか）：

• ラウド（Loud / 騒がしい）： システムが叫び声を上げる！ クラッシュしたり、赤いエラーメッセージを表示したり、動作を停止したりします。すぐに気づけます。
• サイレント（Silent / 静かな）： システムがささやく。 「すべて正常です！」（HTTP 200）と言っていますが、答えは間違っています。これが恐ろしい部分です。なぜなら、誰もそれを探していないからです。

機械の中の5つの幽霊

この論文は、この地図の中に5つの実際の検証された事例を埋めています。3つは他の開発者からの公開バグレポートから見つけ出されたものであり、2つは著者らが自身のシステムをストレス・テスト中に発見したものです。

1. 「コピー＆ペースト」の混同（サイレント）

• 何が起きたか： ロボットが一度に複数の指示（例えば「猫を描いて」と「詩を書いて」）を送るとき、それらをストリームとして送ります。ゲートウェイはこれらの指示を数えようとしましたが、受け取る単語ごとにカウンターをリセットしてしまいました。
• 結果： ゲートウェイはコンピュータに「ここに2つの指示があります！」と伝えましたが、実際にはそれらを一つの巨大で混乱した塊として送ってしまいました。コンピュータはそれを読み取ろうとして失敗し、後にクラッシュしました。ゲートウェイは自分が何かを壊したことさえ知らず、ただ仕事をやり遂げたと考えていました。
• 修正策： ゲートウェイは、単語ごとにリセットするのではなく、指示の累計を保持する必要があります。

2. 「永遠にロックされた」ドア（ラウド）

• 何が起きたか： ゲートウェイは、一度にロボットに質問しすぎないようにするためのデジタル「カウンター」を使用しています。もしロボットの調子が悪くなって回答を止めた場合、ゲートウェイはカウンターを下げるはずです。しかし、もしゲートウェイがカウンターを下げようとしている最中にクラッシュした場合、カウンターは「満杯」のまま止まってしまいます。
• 結果： ロボット自体は正常であるにもかかわらず、ゲートウェイは満杯だと判断し、全員のアクセスを拒否し始めます。それはまるで、外に出た人々を数え忘れたせいで、クラブが満員だと思い込んでいるドアマンのようなものです。
• 修正策： 何か問題が起きても、カウンターが必ず下がるようにすること。

3. 「交通渋滞」（ラウド）

• 何が起きたか： ロボットが一瞬だけ体調を崩しました。ゲートウェイは100台の異なるコンピュータに対し、「再試行してください！」と全く同時に指示を出しました。
• 結果： 100台のコンピュータが一斉にロボットに突進し、「サンダリング・ハード（雷鳴のような群衆）」が発生しました。ロボットは圧倒されて完全にクラッシュし、ゲートウェイは復旧できませんでした。
• 修正策： 再試行する前に、コンピュータにランダムな待ち時間を設けるよう指示し、一度にロボットへ突撃しないようにすること。

4. 「記憶喪失」（サイレント）

• 何が起きたか： これは著者らによる独自の発見です。二台のコンピュータが同時にロボットと話していました。ゲートウェイは高速化を図るあまり、二台のコンピュータが会話の「記憶」を共有することを許してしまいました。
• 結果： コンピュータAが質問し、コンピュータBがそれに答えました。その後、コンピュータAが追質問をしようとしたところ、ゲートウェイはすでにコンピュータBのデータでメモリを上書きしてしまっていました。ロボットは、一度も行われていない質問に対して回答しました。システムは「成功！」と表示しましたが、会話は意味をなしませんでした。
• 修正策： 各会話に専用のプライベートなノートを与え、ページを盗み合わないようにすること。

5. 「凍りついた手」（ラウド）

• 何が起きたか： ゲートウェイは非常に高速で多くのことを同時に処理できるように設計されていました。しかし、その一部が、高速な処理を行うべき時に、低速で古風なタスク（データベースのチェックなど）を実行しようとしました。
• 結果： その一つの遅いタスクが、ゲートウェイ全体をフリーズさせました。ゲートウェイは他の質問に答えることができなくなり、システムはゲートウェイが死んでいると判断して、何度も再起動を繰り返しました。
• 修正策： 遅いタスクが速いタスクを凍結させないよう、それらを別個のラインに分けること。

大きな教訓：サイレント・キラー（静かなる殺し屋）

この論文が発見した最も重要なことは、**「私たちが見ることができないバグこそが最も恐ろしい」**ということです。

コンピュータの世界では、通常「ラウド（騒がしい）」な失敗を探します。サーバーがクラッシュすれば直せます。エラーコードが出れば直せます。しかし著者らは、これらの新しいAIシステムにおいては、「サイレント（静かな）」な失敗の方がはるかに悪いことを示しています。それらは完璧な「OK」メッセージを返し、ヘルスチェックをパスし、すべてが機能しているように見えます。しかし、その裏では、会話の履歴が削除され、指示が混ざり合い、ロボットはゆっくりと正気を失いつつあるのです。

論文は、新しい種類の「ウォッチドッグ（番犬）」が必要であると主張しています。コンピュータが起動しているかどうかを確認するだけでは不十分です。物語が意味を成しているかどうかを確認しなければなりません。コンピュータが「すべて正常」と言っていても、「おい、ロボットは3ターン前のことを忘れているぞ」と言えるようなツールが必要です。そのようなツールを構築しない限り、私たちのAIインフラにおける最も危険なバグは、すべてが完璧であると思っている間に、静かに破壊を続ける「目に見えない幽霊」であり続けるでしょう。