PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations
LLM のハルシネーションを「知識欠落」「知識誤り」「推論誤り」「指示追従誤り」の 4 次元に分解し、生成プロセスの各段階で診断可能な新しいベンチマーク「PRISM」を提案し、24 種類のモデル評価を通じて異なる対策間のトレードオフを明らかにした。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
PRISM：AI の「嘘」を解き明かす新しい診断ツール
こんにちは。今日は、最新の AI 研究論文「PRISM」について、難しい専門用語を使わずに、わかりやすくお話しします。
想像してみてください。あなたの隣に、何でも知っているような「天才的な AI」がいます。しかし、この AI には少し困った癖があります。時々、自信満々に嘘をついたり、間違ったことを言ったりするのです。これを AI 界では「ハルシネーション（幻覚）」と呼びます。
これまでの研究では、「AI が嘘をついた！」と結果だけを見て「あいつはダメだ」と評価するだけでした。でも、それでは「なぜ嘘をついたのか？」がわかりません。
そこで登場したのが、この**「PRISM（プリズム）」という新しい研究です。名前の通り、光を虹の 7 色に分解するように、AI の「嘘」を4 つの異なる原因**に分解して詳しく見るツールなのです。
🌈 PRISM が解き明かす「嘘」の 4 つの正体
PRISM は、AI が間違った答えを出す原因を、大きく 4 つに分けて診断します。これを「4 つの失敗の次元」と呼びます。
1. 知識の欠落（Knowledge Missing）
例え話：「辞書に載っていない言葉」
AI が「その情報を知りません」と言えるべきなのに、無理やり答えようとして嘘をつくパターンです。
- 状況： 「2025 年の最新ニュース」や「架空のキャラクター」について聞かれたとき。
- 原因： AI の頭（知識）にその情報が入っていないのに、無理に答えようとして「でたらめ」を捏造してしまいました。
- 診断： 「知識不足」が原因です。
2. 知識の誤り（Knowledge Error）
例え話：「古い地図で新しい街を探す」
AI はその情報を知っているつもりですが、記憶が間違っているパターンです。
- 状況： 「太陽の周りを回るのは地球ですか？」と聞かれて「はい」と答える（実際は地球が太陽の周りを回っていますが、AI は逆の記憶を持っている場合）。
- 原因： 学習データに古い情報や間違った情報が含まれていて、AI がそれを「正解」と信じています。
- 診断： 「記憶の誤り」が原因です。
3. 推理の失敗（Reasoning Error）
例え話：「足し算はできるのに、文章題が解けない」
AI は正しい知識を持っていて、指示も理解しているのに、論理的なつなぎ方が下手なパターンです。
- 状況： 「A は B より大きく、B は C より大きい。では A と C はどちらが大きいか？」という問題で、正解が「A」なのに「C」と答える。
- 原因： 知識は正しいのに、それを組み合わせて論理的に考えるプロセスでつまずいています。
- 診断： 「思考のミス」が原因です。
4. 指示に従えない（Instruction Following Error）
例え話：「料理のレシピを守らないシェフ」
- 状況： 「3 行以内で、カンマを使わずに、日本語で答えて」と頼んだのに、「はい、わかりました。カンマを使って 5 行で説明します」と返してくる。
- 原因： 知識も推理も完璧なのに、**「ルールを守れない」**のです。
- 診断： 「指示の無視」が原因です。
🔍 PRISM が発見した「意外な事実」
PRISM で 24 種類の AI をテストしたところ、面白いことがわかりました。
⚖️ 「一長一短」のトレードオフ
AI を改良しようとして、ある能力を上げると、別の能力が下がってしまうことがよくありました。
- 例： 「指示を厳密に守るように訓練すると（指示従順性アップ）」→「論理的な推理能力が落ちる」。
- 例： 「新しい知識を詰め込むと（知識量アップ）」→「古い知識を忘れたり、混乱したりする」。
まるで、**「背を伸ばそうとすると、体重が増える」**ようなバランスの取り方が難しいのです。これまでの「AI をもっと良くしよう」という努力が、実は「ある部分は良くなったけど、別の部分は悪くなった」という結果を招いていた可能性があります。
🏆 どの AI が一番？
「Claude Opus 4.5」や「Gemini 3 Pro」などの最新モデルは、全体的にバランスが良く、嘘が少ないことがわかりました。しかし、それでも「推理」や「指示従順」の分野では、まだ完璧ではありません。
🛠️ なぜ PRISM は重要なのか？
これまでの AI 評価は、「テストの点数（結果）」だけを見ていました。でも、PRISM は**「テストのどこで間違えたか（診断）」**を教えてくれます。
- 医者で例えると：
- 従来の評価： 「患者さんは熱がありますね。だから風邪です（結果だけ）」
- PRISM の評価： 「熱の原因は、ウイルス感染（知識誤り）なのか、脱水症状（推理ミス）なのか、薬の飲み忘れ（指示違反）なのかを特定します」
このように、「なぜ AI が嘘をついたのか」を正確に特定できるからこそ、開発者は「ここを直せばいいんだ！」とピンポイントで AI を改良できるようになります。
🌟 まとめ
PRISM は、AI の「嘘」を単なるバグとして片付けず、**「知識不足」「記憶違い」「推理ミス」「ルール無視」の 4 つに分類して詳しく見る、新しい「AI 診断キット」**です。
これによって、私たちは AI との付き合い方をより賢く変え、医療や法律など、失敗が許されない分野でも、より信頼できる AI を作っていくことができるようになるでしょう。
AI が「嘘をつく」のは、まだ子供が成長過程で間違えるのと同じかもしれません。PRISM は、その「間違い」を正しく理解し、AI をより大人で賢い存在に育てるための、大切な地図のようなものなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。