LLMs in the Real World: Evaluating "AI" in Emergency Contexts

大きな全体像：目覚めへの呼びかけ

AI研究の世界を、非常に複雑で未来的な橋を設計する、極めて優秀な建築家たちのグループだと想像してみてください。これらの建築家は、鋼鉄がどのように作られ、どこに弱点があり、ハリケーンが襲ったときに何が起こるかを正確に理解しています。

しかし、この論文は、こうした建築家たちが自分たちの塔の中に留まっている一方で、実際にその橋を「建設し、走行している」人々（市の職員、警察、救急隊など）には、「この橋は魔法のようです！誰にでも機能します！」というパンフレットが売りつけられているのだと主張しています。

著者であるサラ・コート、ララ・ダウニング、ミシャ・エルスナーは、研究者たちに対して、塔から降りて一般市民と対話することを強く求めています。彼女たちは、「ハイプ（過剰な期待）」を止め、誰かが怪我をする前に、現実的なリスクを説明することを求めているのです。

ケーススタディ：「魔法の」911翻訳機

この主張を証明するために、著者たちはアメリカのある都市における実例を調査しました。その市は、新しい**「テキストによる911通報（Text-to-911）」**サービスを開始しました。

• 約束された機能： 市は、このサービスが55の異なる言語に対応していると宣伝していました。そのアイデアは、もし英語が話せなくても、母国語でテキストを送れば、コンピュータが即座にディスパッチャー（通信指令員）のために翻訳してくれるというものでした。
• 現実： 研究者たちが911センターに行ってテストを行ったところ、このシステムは**「晴れた日にしか機能しないマジック8ボール（占い機）」**のようなものであることが分かりました。

何が間違っていたのか：

1. 「万能」の罠： システムは「アラビア語」をサポートしていると主張していました。しかし、アラビア語には多くのダイアレクト（方言）があります。システムが理解できたのは「現代標準アラビア語」（ニュースや本で使われる公式な言語）だけでした。もし人が地域特有の方言やスラングを使ってテキストを送ると、コンピュータは混乱してしまいます。それは、1800年代の単語しか載っていない辞書を買って、それでピザを注文しようとするようなものです。
2. スクリプト（文字）の問題： システムは「ネパール語」をサポートしていると主張していました。しかし、システムが理解できるネパール語は特定のスクリプト（デバナガリ文字）で書かれたものでした。ところが、その地域の多くの難民は、携帯電話に専用のキーボードがないため、ラテン文字（英語のような文字）を使ってネパール語を書いています。システムは彼らのテキストを全く読み取ることができませんでした。
3. 「ブラックボックス」の謎： 911センターのスタッフは、ソフトウェアがどのように機能するかを知りませんでした。マニュアルもなく、エラー率も分からず、どの言語が実際に安全に使用できるのかも分かりませんでした。彼らは、エンジンが持ちこたえることを願いながら、ダッシュボードもブレーキもない車を運転していたのです。

5つの大きな神話（誤解）

この論文は、人々がAIについて陥りがちな5つの一般的な嘘を特定しています。

1. 「AI」は魔法の言葉である： 人々は「AI」を一つの単一の存在だと思っています。著者は、それはすべての乗り物を「車」と呼ぶようなものだと言います。自転車、大型トラック、ロケットシップはすべて「乗り物」ですが、それぞれ全く異なります。自転車を使って家を運搬することはできません。
2. 超人的な脳： 私たちはAIが人間よりも賢いと考えがちです。実際には、それは**「インターネット上のすべてを読んだオウム」**のようなものです。事実は繰り返せますが、それを「理解」しているわけではありません。緊急時にトリッキーな質問を投げかけると、自信満々に間違った答えを言う可能性があります。
3. 言語は簡単である： 翻訳とは単に単語を入れ替えることだと思われがちです。しかし、言語は**「料理」**のようなものです。「塩」を「砂糖」に入れ替えただけで、ケーキの味が同じになるとは期待できません。文脈、トーン、文化が重要です。機械はしばしばメッセージの「風味」を見落とします。
4. 数字は嘘をつかない： 企業は製品を売るために、高いスコア（精度95%など）を提示します。しかし、著者は、これらのスコアは**「静かな教室で行われたテスト」**のようなものだと言います。現実の世界では、騒音、ストレス、タイポ（打ち間違い）によって、スコアは低下します。高いスコアが出ているからといって、最も重要な場面で失敗しないという保証はありません。
5. テクノロジーがすべてを解決する： これは「ソリューショニズム（解決至上主義）」と呼ばれます。問題があれば、ハイテクなアプリがあれば解決できるという信念です。著者は、時には**「人間」**こそが最善の解決策であることがあると主張しています。コスト削減のために、プロの通訳を安価で不完全なロボットに置き換えることは、病院の費用を節約するために外科医をロボット掃除機に置き換えるようなものです。

失われた環：「責任の空白」

論文は、壊れた信頼の連鎖について述べています。

• 研究者はリスクを知っていますが、公衆と対話していません。
• 販売者は、リスクを説明することなくテクノロジーを売りつけています。
• 購入者（911センターなど）は、助けになりたいという思いから購入していますが、それが安全かどうかを確認するための専門知識を持っていません。

これは、店主が「100%純粋なジュース」として売っているものの、買い手は店主が水道水と砂糖を混ぜていることを知らない**「レモネードスタンド」**のようなものです。買い手は看板を信じていますが、結果として体調を崩してしまいます。

解決策：私たちは何をすべきか？

著者は、これを修正するための「ベストプラクティス」を提案しています。

• AIを「薬」のように扱う： 新しい薬を副作用のラベルなしで服用しないのと同様に、緊急事態にAIを使用する場合は、**「モデルカード（Model Card）」**が必要です。このカードには、「これはスペイン語には適していますが、アラビア語の方言には対応していません。人間によるバックアップなしに、生死に関わる状況で使用しないでください」といった内容が明確に記されているべきです。
• 人間のバックアップを用意する： もしロボット翻訳機を使用する場合は、ロボットが混乱した場合にすぐに介入できる人間を控えておく必要があります。
• 正直であること： 911にテキストを送っている人に対し、「今、コンピュータが翻訳しています。もし内容がおかしい場合は、電話で知らせてください」と伝えるべきです。
• 研究者は声を上げるべきである： テクノロジーを構築した科学者たちは、研究所に隠れているのではなく、そのテクノロジーを購入する人々に危険性を説明し始める必要があります。

結論

論文は、命がかかっている場面（911の通報など）において、私たちは「まあまあの性能」のテクノロジーに頼ることはできないと結論付けています。もし翻訳が間違っていれば、誰かが怪我をしたり、死に至ったりする可能性があるからです。

著者たちは「AIを使うな」と言っているのではありません。**「盲目的にAIを使うな」**と言っているのです。私たちはスピードを落とし、ブレーキを点検し、緊急サービスに導入する前に、そのテクノロジーが本当に安全であることを確認しなければなりません。そうでなければ、私たちは人々の命を賭けてギャンブルをしていることになるのです。