From Plausible to Actionable: A Position on LLM Self-Explanations

あなたは、膨大なデジタル図書館の中を歩いているところだと想像してみてください。そこにある本は、これまでに発表されたほぼすべての文献を読んだ、超スマートなロボットによって書かれています。このロボットは大規模言語モデル（LLM）です。あなたが質問を投げかけると、このロボットは単に答えを吐き出すだけではありません。多くの場合、なぜその答えを選んだのかを説明する短いメモを添えてくれます。コンピュータサイエンスの世界では、これを「説明可能なAI（Explainable AI: XAI）」と呼びます。長い間、科学者たちはこれら（のメモ）に関する2つの大きな問いに執着してきました。それは、それらが**もっともらしい（plausible）**か？（つまり、人間が言うような自然な響きで、私たちにとって意味が通じるか？）そして、**忠実（faithful）**であるか？（つまり、ロボットの脳がどのように機能したかという真実を実際に伝えているのか、それとも単に賢そうに見せるために物語をでっち上げているだけなのか？）ということです。

なぜこれが重要なのでしょうか？ なぜなら、私たちはこれらのロボットに、病気の診断やヘイトスピーチの検知といった、大きな決断を下すための手助けをさせ始めているからです。もしロボットが、「Xの理由により、この患者には熱があると考えます」と言った場合、私たちは、ロボットが本当にXを見ているのか、それとも単に推測して、それっぽく聞こえる理由を後付けで作っているだけなのかを知る必要があります。もしその説明が嘘であれば、私たちはロボットを信じすぎてしまい、間違いを犯す可能性があります。しかし、もしロボットが嘘をついており、しかもその嘘があまりに説得力があるために、私たちがその違いを見分けられないとしたらどうでしょう？ これが、この論文が取り組んでいるトリッキーなパズルです。

---

ロボットの「ジャスト・ソー（もっともらしい）」物語

この論文は、これらのAIロボットが自らの選択を説明するとき、彼らはまるで、進行中の物語をでっち上げながら話しているかもしれない、非常にチャーミングで自信満々なストーリーテラーのようであると主張しています。著者たち（オランダとイタリアの研究チーム）は、私たちは、ロボットの物語がその内部の歯車が回転する様子を完璧かつ逐一書き写したものであるかどうかに固執するのをやめるべきだと示唆しています。代わりに、私たちはこう問うべきなのです。その物語は、私たちが良い決断を下すのを助けるのに十分に有用か？ ということです。

彼らの議論の構成を、比喩を交えて解説します。

「良すぎる」という罠
論文は、これらのAIによる説明がしばしば驚くほど**もっともらしく（plausible）**あることを指摘しています。それらは素晴らしく聞こえます！ 正しい言葉を使い、流れも良く、読者を心地よくさせます（これは著者たちが「サイコファンシー（追従性）」と呼ぶ行動で、おやつをもらうために尻尾を振る犬のようなものです）。これらは非常に人間らしく論理的であるため、私たちはそれらを信じてしまいがちです。

しかし、著者たちは、これらの説明が**疑わしいほど不誠実（faithfulnessに欠ける）**であると主張しています。手品師が帽子からウサギを取り出す場面を想像してみてください。もし手品師が「床の隠し扉を使いました」と言ったとしたら、それはもっともらしい物語かもしれません。しかし、もし実際にはウサギが袖から出てきたのだとしたら、その物語は真実に忠実ではありません。論文は、LLMがそのような手品師のような存在であることを示唆しています。彼らは、決定を下すために自分のコードの内部を実際に「覗き込む」ことはありません。代わりに、回答を生成すると同時に、説明も生成してしまうのです。それは、学生がエッセイを書いていて、結論を書いている最中に、自分が書き始めた本来の理由とは異なるものの、賢そうに聞こえる理由を捏造しているようなものです。

なぜ古いテストは機能しないのか
科学者たちは、これらの説明が「忠実」であるかどうかを、ロボットを突っついて考えが変わるかどうかを見るような、昔ながらの方法でテストしようとしてきました。論文は、これらのテストは現代のAIには通用しないと述べています。

• 「一律の解決策」の問題： 古いテストは、入力の単語を一つ変えれば、ロボットの推論も予測可能な直線的な変化を示すはずだという前提に基づいています。しかし、これらのロボットは、カンマの欠落や大文字の使用といった、極めて些細なことに敏感です。それは、車のエンジンをテストするためにクラクションを鳴らしてみるようなものです。車は止まるかもしれませんが、それはエンジンの故障によるものではありません。
• 「記憶 vs 入力」の問題： 時として、ロボットはあなたの質問を無視して、自身の記憶から回答することがあります。もしあなたが質問から言葉を取り除くことで忠実性をテストしようとしても、ロボットは「答えは知っています！」と言ってそのまま進んでしまうことがあります。これにより、古いテストは役に立たなくなります。

新しい目標：実行可能性（Actionability）
では、ロボットの脳に関する文字通りの真実を証明できないのであれば、これらの説明を捨て去るべきなのでしょうか？ 著者たちはノーと答えます。彼らは、焦点を「これは真実か？」から「これは**実行可能（actionable）**か？」へとシフトすることを提案しています。

説明を、ロボットの脳のテクニカルマニュアルとしてではなく、ツアーガイドとして考えてみてください。

• ツアーガイドの比喩： ツアーを楽しむために、ガイドが地下トンネルの正確な地図を持っている必要はありません。ガイドが興味深い岩を指し示し、滑りやすい道について警告し、次にどこへ行くべきかを判断する手助けをしてくれれば十分なのです。
• 「アドボケート（擁護者・提唱者）」としての役割： 論文は、AIを「デビルズ・アドボケート（あえて異論を唱える人）」や「コンサルタント」として扱うべきだと示唆しています。たとえAIの推論がコードの完璧な鏡でなかったとしても、その説明は、医師、弁護士、あるいは教師が、潜在的な誤りを見つけたり、異なる視点を検討したり、答えに含まれる不確実性を理解したりするための助けになり得ます。

これが私たちにとって何を意味するか
著者たちは、ロボットが完璧な真実の語り手であると言っているわけではありません。実際、彼らは、これらの「もっともらしく、かつ不誠実な」物語を信じすぎると、「オートメーション・バイアス（自動化バイアス）」、つまりロボットが間違っているときでも盲目的に従ってしまう現象に陥る可能性があると警告しています。

代わりに、彼らはこれらのツールを使うための新しい方法を提案しています：

1. 翻訳者として： 複雑で恐ろしい技術的データを、一般の人にも理解できる単純な言葉に変換するためにAIを使用する。
2. 思考のパートナーとして： AIに異なる議論や視点を提示させ、ロボットに決定させるのではなく、人間が最終的な決定を下すための助けとする。
3. 審議のツールとして： 異なるAIモデル同士に議論をさせ（一方が検察官、もう一方が弁護士の役割を果たす）、人間が全体像を把握できるようにする。

要約すると、この論文は、ロボットに対して、自身の思考の完璧で正直な日記であることを強いるのをやめるべきだと主張しています。代わりに、その説明を、たとえロボットの内部的な物語がいくらかの作り話であったとしても、私たちがより良く考え、より安全な選択をし、正しい行動をとるための強力な対話型ツールとして扱うべきだと述べています。目標は、機械がどのように考えるかを正確に知ることではなく、機械が私たちの思考をより良くするための手助けとなるようにすることなのです。