Explainability of Large Language Models: Opportunities and Challenges toward Generating Trustworthy Explanations

大規模言語モデル（LLM）を、巨大な厨房にいる、非常に才能豊かだが、どこか謎めいたシェフたちだと想像してみてください。彼らはプロンプトを読み取るだけで、完璧なレシピを作り上げたり、複雑な詩を書いたり、あるいは医学的な問題を診断したりすることができます。しかし、ここには落とし穴があります。彼らが一体どのようにしてそれを行っているのか、正確には誰も知りません。 彼らは「ブラックボックス」なのです。あなたが料理を注文すると、美味しい料理が出てきますが、彼らが実際にレシピに従ったのか、それとも厨房の匂いに基づいて勘で味付けしたのか、あるいはパセリに見える「毒入りの材料（ハルシネーション／幻覚）」を誤って加えてしまったのか、あなたには分からないのです。

この論文は、これらのAIシェフを信頼できるものにするために、食品批評家や厨房検査官のチームが調査を行っているようなものです。彼らはこう考えています。「シェフが、私たちが理解できる方法で調理プロセスを説明するようにさせることができるだろうか？ そうすれば、その料理が安全であると判断できるはずだ」

以下に、簡単な比喩を用いた彼らの調査の構成を示します。

1. シェフの思考を理解する2つの方法

論文では、これらのAIシェフを理解しようとする主な2つの方法について述べています。

• 局所的な説明可能性（「なぜこの料理を作ったのか？」というアプローチ）：
  これは、シェフが作りたての特定の料理について説明することを求めるものです。

  • 自然言語： シェフが「スープが薄味だったので塩を加えました」と言う。（論文は、たとえ本当の理由が違っていたとしても、シェフは賢そうに見せるために単に物語をでっち上げている場合がある、と警告しています。）
  • 思考の連鎖（Chain-of-Thought）： シェフが手順を順を追って話します。「まず玉ねぎを刻み、次にそれを炒めました……」（論文は、シェフはステップごとに考えているふりをしているだけで、実際には即座に答えを推測しているだけの場合がある、と警告しています。）
  • 検索（RAG）： シェフがレシピの根拠を示すために、料理本や参照カードを取り出します。これは、実在するソースを指し示しているため、最も信頼できる方法です。
  • 特徴量属性（Feature Attribution）： シェフがカウンターの上にある特定の食材を指さして、「この3つの玉ねぎが、このスープにとって最も重要な要素でした」と言います。

• メカニスティック・インタープリタビリティ（「厨房の仕組みはどうなっているのか？」というアプローチ）：
  これは、シェフの脳の内側を見て、歯車や配線を確認することです。

  • シェフの脳が巨大な回路基板であると想像してください。研究者たちは、特定の仕事を行う特定の「回路（ニューロンの集まり）」を見つけようとしています。例えば、彼らは「Mr. Dursley」という名前が物語の中で通常「Dursley」の前に来ることを認識するのに役立つ、特定の回路を見つけました。
  • 問題点： 厨房があまりにも巨大で複雑なため、回路が絡み合っています。一つのワイヤーがスイスアーミーナイフのように、同時に3つの異なる役割をこなしていることがあり、何が起きているのかを正確に把握することを非常に困難にしています。

2. 「偽の」説明の危険性

論文は、大きな問題である**「空言（Confabulation）」**を強調しています。
時として、シェフは話し上手すぎて、論理的な経路を辿ったかのようにあなたを納得させることができますが、実際には単に答えを推測しただけである場合があります。

• 比喩： 数学のテストを受けている生徒を想像してください。彼らは正解（12）に辿り着きましたが、解き方を求められると、論理的に見えるものの実際には間違っている計算式を書き出します。答えは合っていますが、その*理由（プロセス）*は嘘なのです。
• 論文は、医療分野（クローン病の診断）や自動運転（赤信号での停止）のような重要な分野において、これが危険であることを示しています。もし医師がAIによる偽の説明を信じてしまったら、誤った判断を下す可能性があります。もし自動運転車が「停止信号を見ている」と考えているものの、実際には幻覚を見ているとしたら、衝突事故につながる恐れがあります。

3. シェフへの「ストレス・テスト」

シェフが真実を語っているかどうか、どうすれば分かるでしょうか？ 論文は、彼らにストレス・テストを受ける必要があると示唆しています。

• 比喩： 単に「なぜ止まったのですか？」（これに対してはシェフは容易に答えられるかもしれません）と聞くのではなく、「もし信号が青だったのに歩行者が横断していたら、あなたはどうしましたか？」とか、「もし前の車が赤ではなく青だったら？」と聞いてみます。
• もしシェフが、これらのトリッキーな「もしも」の質問に対して一貫した論理的な回答を出すのであれば、より信頼することができます。もし混乱したり、作り話をしたりするのであれば、彼らはまだ実社会に出る準備ができていません。

4. 聞き手に合わせた説明の調整

誰もが調理プロセスについて同じレベルの知識を必要としているわけではありません。論文は、3つのレベルの説明を提案しています。

• 一般市民向け（粗い説明）： 「信号が赤だったので止まりました。」（シンプルで理解しやすい）。
• 医師や専門家向け（粗い説明から細かい説明へ）： 「信号が赤だったので止まりました。具体的には、センサーが3メートルの位置に歩行者を検知しました。」（シンプルに始まり、その後で具体的な証拠を提示する）。
• エンジニア向け（細かい説明）： 「『赤信号検知』を担当するニューロン回路が作動し、『ブレーキ』経路を活性化させました。」（厨房を構築した人々向けの深い技術的詳細）。

5. 信頼できるシェフのための8つのルール

最後に、AIが真に信頼できるものであるためには、その説明が8つのルール（TrustLLMと呼ばれるフレームワークに基づく）に従わなければならないと論文は提案しています。

1. 真実性（Truthfulness）： 嘘をついたり、でっち上げたりしないこと。
2. 安全性（Safety）： 危険な助言（例：「この毒を食べて」）を与えないこと。
3. 堅牢性（Robustness）： トリッキーな質問をされても混乱しないこと。
4. 公平性（Fairness）： 特定のグループに対して偏見を持たないこと。
5. プライバシー（Privacy）： 知らず知らずのうちに秘密の情報を漏らさないこと。
6. 機械倫理（Machine Ethics）： 誰も見ていなくても、正しい行動をとること。
7. 透明性（Transparency）： どのように機能しているかをオープンにすること。
8. 説明責任（Accountability）： 間違いを犯したときに、責任を取れること。

結論

論文は、これらのAIシェフは驚異的な能力を持っていますが、現在のところ、生死に関わる状況において完全に信頼するにはあまりにも謎めすぎていると結論付けています。私たちは、彼らの仕事をチェックする方法、彼らが単に「口先だけで動いている」のではないかを確認する方法、そして彼らの説明が誠実で正確であり、問いかける相手に合わせて調整されていることを保証する方法を、より良くしていく必要があります。それが実現するまでは、彼らに車の運転を任せたり、患者の診断をさせたりすることについては慎重になるべきです。