Explainability in Practice: A Survey of Explainable NLP Across Various Domains

ブラックボックスと魔法のランタン

あなたは、本を読み、物語を書き、さらには病気を診断することさえできる、超スマートなロボットを作ったと想像してみてください。そのロボットは仕事において驚くほど優秀ですが、一つだけ問題があります。それは、そのロボットが「魔法の箱」のように機能するということです。質問を投げかけると完璧な答えが飛び出してきますが、ロボットはその答えをどう導き出したのかを教えてくれません。ただ、「私を信じてください、私は賢いのです」と言うだけです。これは、科学者が「ブラックボックス」と呼んでいるものです。人工知能（AI）、特に自然言語処理（NLP）――これはコンピュータに人間の言語を理解させるための専門的な名称です――の世界では、こうしたブラックボックスが至る所に存在します。これらは、あなたが話しかけるチャットボットや、ローンの審査を決定するシステム、そして医師が患者の記録を確認するために使うツールを動かしています。

問題は、ブラックボックスが間違いを犯したり、不公平だと感じられる決定を下したりしたときに、なぜそうなったのかが全く分からないことです。それはまるで、証拠を読まずに判決を下す裁判官のようなものです。これを解決するために、研究者たちは「説明可能なAI（XAI）」を開発しています。XAIを、ブラックボックスの中に光を照らし、コンピュータが選択を下すために使った歯車や手がかりを見せてくれる「魔法のランタン」だと考えてみてください。しかし、ここにひねりがあります。「良い説明」とは何であるかは、誰がそれを求めているかに完全に依存するのです。医師が必要とする証明は、銀行のマネージャーやカスタマーサービス担当者が求めるものとは全く異なります。この論文は、これらのスマートな言語ロボットが働いている様々な世界を巡る、大規模なツアーガイドです。どのようにしてコンピュータに「情報を吐かせよう」としているのか、そしてなぜ「万能な解決策（ワンサイズ・フィッツ・オール）」は決して通用しないのかを調査しています。

大探偵の捜査：AIによる説明の調査

この論文は、ハディ・モハマディ（Hadi Mohammadi）氏らを中心とした著者たちによる、巨大な探偵小説のようなものです。彼らは、AI言語モデルが本格的な業務を行っている7つの異なる「近隣地域」へのフィールドワークに出かけました。彼らは単にロボットを見ているのではありません。ロボットが提供する（あるいは提供できない）「説明」に注目し、「その説明は実際にそれを使う人の役に立っているのか？」と問いかけているのです。

著者たちは、医学、金融、系統的レビュー（科学者が数千もの研究論文を要約するプロセス）、顧客関係管理（CRM：企業が顧客と対話する方法）、チャットボット、社会・行動科学（ヘイトスピーチやフェイクニュースの研究）、そして人事（採用と解雇）を訪問しました。

それぞれの地域での発見は以下の通りです：

• 医学において： 医師は命を救っていますが、「患者にリスクがあります」と言うだけのロボットを信頼することはできません。医師は「なぜ」を知る必要があります。論文によれば、病院において、説明は医師の懐中電灯に対する「もう一つの懐中電灯」として機能します。例えば、コンピュータが心不全を予測する場合、その結論に至った特定の医学的コードや症状（高いクレアチニン値など）をハイライトする必要があります。著者らは、いくつかの手法はうまく機能するものの、医師は単なる綺麗なチャートではなく、彼らの忙しいワークフローに直接組み込める説明を求めていることを発見しました。
• 金融において： ここでは、お金と法律が懸メント（賭け金）となります。銀行がローンの申請を拒否する場合、政府や顧客に対してその理由を説明しなければなりません。論文では、契約書や取引ログの中で不正アラートを誘発した特定の単語を指し示すことができるツールを、金融チームが好むことが記されています。しかし、厄さつな問題も見つかりました。説明が、システムを欺こうとする悪意のある行為者によって「操作（ゲーミング）」されてしまう可能性があるのです。
• 系統的レビューにおいて： 図書館員が、重要な50冊を見つけるために1万冊の本を読もうとしている場面を想像してください。AIはそれらを分類することで支援しますが、図書館員はなぜAIがその本を選んだのかを知る必要があります。論文は、ここでの説明が研究者がAIの分類を信頼する助けとなり、プロセス全体をより速く、かつヒューマンエラーを少なくすることを示唆しています。
• CRMとチャットボットにおいて： ボットと話すとき、あなたはそれが人間らしく聞こえることを望みます。しかし、もしボットが奇妙な回答をした場合、なぜそうなったのかを知りたいと思うでしょう。著者らは、チャットボットがその理由（例：「先週あなたがSF好きだったので、この映画を提案しました」など）を説明できれば、人々はより信頼を寄せることを発見しました。ただし、バランスが重要です。説明が長すぎると、会話のテンポを壊してしまいます。
• 社会科学において： これはインターネットの「警察」であり、ヘイトスピーチやフェイクニュースを探しています。論文はここで大きな課題、すなわち「文化」を強調しています。ある国ではヘイトスサーチに見えるものが、別の国では普通の俗語である可能性があります。著者らは、AIが過敏になりすぎていないか、あるいは見落としがないかを人間がチェックできるように、どの単語がアラームを鳴らしたのかを正確に示す必要があると示唆していますか。
• 人事において： 企業は履歴書をスキャンするためにAIを使用します。論文は、恐ろしい真実を明らかにしています。これらのシステムは、特定の名前や背景に対して偏見（バイアス）を持つ可能性があるということです。ここでは説明が極めて重要です。なぜなら、説明こそがバイアスを「見る」ための唯一の方法だからです。説明がなければ、AIが優れた候補者を拒絶しても、手遅れになるまで誰もその理由を知ることはできません。

「万能な解決策」という神話と二段階のソリューション

この論文における最大の発見の一つは、あらゆる仕事に対して同じ説明ツールを使うことはできないということです。それは、釘を打つのにドライバーを使おうとするようなものです。多少は役に立つかもしれませんが、適切な道具ではありません。

著者らは、これらの分野すべてが「信頼」を求めている一方で、必要としている「信頼の種類」は異なると主張しています。医師は医学的に正確な理由を必要とし、銀行は法的に遵守された理由を必要とし、チャットボットのユーザーは親しみやすい理由を必要とします。論文は、これらの説明をテストするための新しい方法として、**「二段階評価プロトコル（Two-Tier Evaluation Protocol）」**を提案しています。

• 第1段階（テクニカル・コア）： これは数学の部分です。説明がコンピュータが実際に行ったことと一致しているか？（これは「忠実性/faithfulness」と呼ばれます）。正しい答えを得られたか？（これは「再現性/fidelity」と呼ばれます）。すべての説明はこの基本テストに合格する必要があります。
• 第2段階（ドメイン層）： これは人間に関する部分です。医師はこれを理解できるか？ 銀行の規制当局はこれを受け入れるか？ 顧客は安心感を得られるか？ この部分は、仕事の内容に応じて変化します。

また、論文は現代の「超スマート」なAI（エッセイを書くようなもの）に関する巧妙な問題にも取り組んでいます。時として、これらのAIモデルは、自分がどのように考えたかについて非常に説得力のある物語を書くことができますが、その物語は実は真実ではありません。それは、数学の問題を解いたプロセスについて完璧なエッセイを書いているものの、実際には単に答えを推測しただけの学生のようなものです。著者らはこれを「思考の連鎖の忠実性問題（Chain-of-Thought Faithfulness Problem）」と呼んでいます。彼らは、AIがステップ・バイ・ステップで推論していると「言っている」からといって、実際にそうしたとは限らないことを発見しました。これは、深刻な決定のためにこれらのモデルに頼ろうとするすべての人への大きな警告です。

次なるステップは？

論文は、私たちは進歩しているものの、まだ完成には至っていないと結論づけています。ブラックボックスの中に光を当てる道具は持っていますが、その光が、今いる部屋に合った正しい色であることを確認しなければなりません。著者らは、今後の研究において、誰が求めているかに基づいて変化する説明（パーソナライズされた説明）を作ることや、AIの「推論」が単なる作り話ではなく、現実のものであることを証明する方法を見つけることに焦点を当てるべきだと示唆しています。

要するに、この論文はロードマップです。AIを真に役立ち、安全なものにするためには、単に賢いロボットを作るだけでなく、彼らと対話し、彼らを理解するためのより良い方法を構築しなければならないということを、私たちは教えてくれます。そして現実の世界と同じように、最高の説明とは、それを聞いている人に意味が通じるものなのです。