Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
この系統的マッピング研究は、大規模言語モデルの解説手法に関する1,252件の研究論文を分析しており、ほとんどの手法がアクセス不可能な内部モデルデータを必要としていること、および人間の有用性と実世界への導入に関するエビデンスが決定的に不足していることを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ここ数年、新しい種類のコンピュータプログラムが、私たちのテクノロジーとの関わり方を一変させました。大規模言語モデルとして知られるこれらのシステムは、物語を書き、数学の問題を解き、驚くほど人間らしく感じられる会話を行うことができます。これらは、一つの完全な思考が浮かび上がるまで、文章中の次の単語を層状に予測することによって機能しています。しかし、これらのプログラムは何十億もの調整可能な設定を用いて構築されているため、その内部構造はしばしば謎に包まれています。このようなシステムがある答えを出したとき、その答えが事実に対する深い理解に基づいたものなのか、それとも以前に見たパターンの巧妙な推測に過ぎないのかを知ることは困難です。この不確実性は、「説明可能性」、すなわち、機械の内部を覗き込み、なぜ特定の選択をしたのかを理解できる能力への切実なニーズを生み出しました。研究者たちは、決定をその源泉まで遡って追跡し、最終的な出力につながった論理、データ、あるいはコンピュータの脳の特定の部位を明らかにするためのツールを構築しようとしています。
ギリシャのピレウス大学の研究チームは、この分野を明確化するための大きな一歩を踏み出しました。彼らは、2019年から2026年8月までに発表された約8,000件の科学報告書を包括的に調査し、大規模言語モデルの仕組みを説明することを具体的に試みた1,252件の研究に絞り込みました。彼らの目的は、新しい手法を発明することではなく、既存の手法の全容をマッピングすることでした。どのような種類の説明が科学者によって構築されているのか、コンピュータのどの部分を見ることが許されているのか、そして、それらの説明が実際に人々の機械への理解を助けているのか、それとも単に説得力があるように見えるだけなのかを知りたかったのです。この膨大な作業を管理するために、研究者たちは、すべての論文を読み取り分類するために、入念に設計された人工知能システムを使用し、正確性を確保するために人間の専門家がその作業を検証しました。
彼らが作成したマップから得られた最も衝撃的な発見は、科学者が構築しているツールと、今日におけるこれらのモデルの実際の使われ方との間にある根本的なミスマッチです。彼らが見つけた手法の大部分、すなわち約70パーセントは、コンピュータの脳への深い内部アクセスを必要とします。これらのツールを使用するには、システム内を流れる生の数値を見たり、モデル自体の設定を変更したりする必要があります。しかし、人々が日常的に使用している最も強力な言語モデルの多くは、クローズドなサービスとして企業によって提供されています。ユーザーはメッセージを送り、返信を受け取ることはできますが、内部の数値を見たり設定を変更したりすることはできません。これは、最も洗練された説明手法が、人々が最も説明を必要としているまさにそのシステムに対しては、事実上役に立たないことを意味しています。公衆が利用可能な限られたアクセス権（例えば、テキストの出力や次の単語の確率スコアを読み取ることなど）で機能できる手法を記述した研究は、わずか23パーセントでした。
研究者たちはまた、これらの説明が実際に何を証明しているのかについても調査しました。その結果、ほとんどの研究が「忠実性（faithfulness）」、つまり、その説明がコンピュータの内部論理と真に一致しているかどうかを問う技術的な問いに焦点を当てていることが分かりました。約70パーセントの論文が、自分たちの手法が決定の原因を正しく特定したことを示そうとしました。しかし、この研究では、これらの説明が実際に人間に役立つかどうかをテストした研究者が極めて少ないことが判明しました。説明がより良い判断を下したり、システムを理解したり、出力を信頼したりするのに役立つかどうかを、実際の人間にテストさせた研究は、わずか3パーセントに過ぎませんでした。それはまるで、エンジニアたちが長年かけて都市の地下トンネルの地図を完璧に作り上げている一方で、その地図が利用者の道案内として役立っているのかどうかを一度も尋ねたことがないかのようです。
もう一つの重大なギャップは、研究者たちがアイデアをどのようにテストしたかに現れました。多くの研究が自らの手法の堅牢性を主張していましたが、結果が単なる偶然ではないことを証明するために厳格な対照群を用いたものは、3分の1未満でした。さらに、現実世界の規則や規制との関連性は、ほとんど存在しませんでした。人工知能の透明性に関する法律が頻繁に言及されているにもかかわらず、技術的な手法を特定の法的要件に結びつけた研究はごくわずかでした。研究者たちは、この分野が急速に成長しており、含まれた研究のほぼ半分が昨年発表されたものである一方で、市場を支配しているのは、誰でもダウンロードできるオープンソースのモデルではなく、所有権を持つクローズドなシステムであると指摘しました。
本研究は、大規模言語モデルの説明という分野が岐路に立たされていると結論付けています。現在利用可能なツールは強力ですが、しばしばアクセスが困難であり、技術的な正確さを人間の有用性よりも優先しています。研究者たちは、将来の研究は、商用サービスによって提供される限られたアクセス権でも機能する手法と、実在の人々を用いた説明のテストに焦点を当てる必要があると示唆しています。それまでは、最も高度な説明は、マシンへのフルアクセスを持つ研究室の中に閉じ込められたままであり、一般大衆には、ますます強力になりながらも、ますます理解が困難なシステムが残されることになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。