💬 NLP

Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks

本論文は、事実に基づくタスクにおける大規模言語モデルの信頼性の低いことが多い知識を考慮した拒否能力を効果的に測定し、明らかにするために、拒否確率と誤り確率との相関に基づいた新たな指標である拒否指数（RI）を導入する。

原著者： Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

原著者： Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「LLM は知らない質問を拒絶できるか？」という論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問題：過信する生徒

非常に難しい歴史の試験を受ける生徒を想像してください。本当に賢い生徒は、自分が答えを知らないときを把握しており、「これは確信が持てません」と手を挙げて言います。しかし、大規模言語モデル（LLM）は、しばしば過信する生徒のようです。答えが全くわからない場合でも、自分が知らないことを認める代わりに、自信満々に物語（「幻覚」）を捏造してしまいます。

これは危険です。なぜなら、医療や法律のアドバイスを AI に求める場合、確信が持てないときは「わかりません」と言うべきであり、自信を持って誤った情報を提供してはならないからです。

従来の測定方法：間違いの数を数える

以前、研究者たちは AI がこの点においてどれほど優れているかを測定するために、2 つの単純な数値を見ていました。

回答を拒絶する頻度
正解する頻度

この論文は、これらの方法に欠陥があると主張しています。それは、生徒を「『わかりません』と言った回数」だけで評価するようなものです。

生徒に「すべてに『わかりません』と言ってください」と指示すれば、彼らは 100% の確率で手を挙げます。しかし、それは彼らが賢いという意味ではなく、単に指示に従っているに過ぎません。
逆に、「何があってもすべて答えなさい」と指示すれば、より多くの質問に正解するかもしれませんが、同時に自信を持って誤った回答も与えてしまいます。

従来の指標では、賢明に難しい質問を拒絶する生徒と、単にランダムに拒絶したり回答したりする生徒の違いを区別できませんでした。

新しい解決策：「拒絶指数（RI）」

著者たちは、**拒絶指数（Refusal Index: RI）と呼ばれる新しいスコアを作成しました。これは「真実を語るスコア」**と考えることができます。

AI が「わかりません」と言う回数を単に数えるのではなく、RI はこう問いかけます：「AI は質問が難しいときに特に『わかりません』と言い、質問が簡単なときに回答しているか？」

高い RI: AI は賢明な司書のようになります。それは難解で不可能な質問を拒絶しますが、簡単な質問には喜んで回答します。違いを理解しています。
低い RI: AI は混乱したロボットのようになります。回答可能な簡単な質問を拒絶したり、逆に不可能な質問に自信満々に回答したりするかもしれません。その「拒絶」の行動はランダムか、破綻しています。

測定方法：「2 パス」のトリック

AI の内部の「思考」（私たちが直接見ることができないもの）を知る必要なくこのスコアを計算するために、研究者たちは巧妙な2 パスのトリックを使用しました。

パス 1（正直なテスト）: AI に一連の質問を投げかけ、「回答したいか、『わかりません』と言いたいのか」を決定させます。どの質問を拒絶したかを記録します。
パス 2（強制回答）: パス 1 で AI が拒絶した質問のみを取り出します。そして、「わかった、これらは今、必ず答えなければならない。スキップ禁止だ」と言って戻ります。AI が実際に試みれば正解できたかどうかを確認します。

2 ラウンドを比較することで、AI が回答できない質問を賢明に拒絶していたかどうかを判断できます。パス 1 で難しい質問を拒絶し、パス 2 でそれらを間違えた場合、その AI は高い拒絶指数を持っています。

発見されたこと

研究者たちは GPT-4、Claude、Llama などの 16 種類の異なる AI モデルをテストし、いくつかの驚くべき事実を発見しました。

精度は知恵を保証しない: AI が質問に答えるのが非常に得意（精度が高い）だからといって、いつ止めるべきかを知っているわけではありません。非常に賢いモデルでも、知らないことについて自信を持って推測する場合があります。
「ファミリー」が最も重要: AI がいつ拒絶すべきかを知っているかどうかの最も重要な要因は、そのサイズや正解する質問の数ではありません。それはどの会社が作ったかです。ある AI「ファミリー」（Claude や Qwen など）は、サイズに関係なく、他のもの（Gemini や GPT-4.1 など）よりも一貫して賢明に振る舞います。
文脈が鍵: AI に文書を読みさせて、その文書に含まれていない質問をされた場合、AI は混乱します。文書に固執するのではなく、自身の学習データに基づいて推測しようとし、拒絶するべき場面で失敗することがよくあります。

結論

この論文は、AI を評価する新しい方法が必要であると結論付けています。単に「何問正解しましたか？」と問うだけでは不十分です。私たちはまた、**「いつ止めて『わかりません』と言うべきかを知っていましたか？」**と問う必要があります。

拒絶指数はこれに対する新しい物差しです。それは、単に賢いだけでなく、自分の限界を認めることができる謙虚で信頼できるAI モデルを見つけるのを助けます。

技術的概要：LLM は知らない質問を拒否できるか？事実タスクにおける知識認識型拒否の測定

問題定義

大規模言語モデル（LLM）は、知識集約型の事実タスクへの展開が増加している。しかし、これらはしばしば不十分な較正に悩まされ、高い確信度で誤った回答を提供する（ハルシネーション）。重要な安全性メカニズムが知識認識型拒否である。すなわち、モデルが自らの知識の境界外にある質問への回答を拒絶する能力である。最近の研究では、プロンプトや微調整を通じて拒否を誘発する試みがなされているが、既存の評価指標はこの能力を正確に測定できていない。拒否率や、精度と拒否の組み合わせ（例えば F スコア）といった従来の指標は、しばしばヒューリスティックであり、プロンプトに起因する拒否頻度の変化に敏感で、モデルが拒否する決定と、それが提供していたであろう実際の誤答との間の根本的な相関を捉えきれていない。

手法：拒否インデックス（RI）

これらのギャップに対処するため、著者らは知識認識型拒否を定量化するために設計された新しい指標**拒否インデックス（RI）**を提案する。

定義

RI は、一連の質問におけるモデルの拒否確率（ $r_i$ ）と誤答確率（ $w_i$ ）との間のスピアマン順位相関として定義される。
$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$
完全な RI 値 1 は、モデルが一貫して最も困難（誤答しやすい）な質問を拒否し、最も簡単な質問に回答することを示す。RI 値 0 は、ランダムな拒否行動を意味する。絶対的な不一致を測定する較正指標（例えば期待較正誤差）とは異なり、RI は難易度の順位に焦点を当てており、全体の拒否率のシフトに対して頑健である。

2 パス評価フレームワーク

拒否確率は潜在変数である（モデルは単一パスで拒否するか回答するかのいずれかである）ため、著者らは RI を推定するための軽量な2 パス評価手法を導入する：

第 1 パス: システムプロンプトで回答または拒否を許可し、モデルを事実データセットで評価する。回答は「正解」「誤答」「拒否」に分類される。これにより、拒否率（ $r$ ）と試行された回答の精度が得られる。
第 2 パス: 第 1 パスで拒否された質問に対し、拒否オプションを削除してモデルに回答を強制するようにシステムプロンプトを更新する。これらの強制回答の正誤を記録する。
計算: 拒否判断と強制回答の正誤の結合分布を用いて、著者らはガウスコピュラを用いて関係をモデル化する。得られた $2 \times 2$ 分割表に対して最尤法で相関パラメータ（ $\rho$ ）を推定し、標準的な式 $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$ を用いてスピアマン順位相関（ $\rho_S$ ）に変換する。

主要な貢献

拒否インデックス（RI）: モデルの全体の精度や拒否率に依存せず、拒否判断と回答の誤答との間の整合性を直接測定する、原理的な指標。
軽量評価: 補助モデル、内部状態へのアクセス、または高価なサンプリングベースの確信度推定を必要とせず、標準的なブラックボックス評価のみで RI を計算できる 2 パスプロトコル。
実証的検証: 16 のモデル（Qwen、Llama、Claude、GPT、Gemini などのオープンソースおよびプロプライエタリモデルを含む）と5 つのデータセット（SimpleQA、PreciseWikiQA、FaithEval など）にわたる広範な実験。
モデルの信頼性に関する洞察: 高い事実的精度が、信頼性の高い拒否行動を保証するものではないことを明らかにし、現在の LLM の能力における持続的なギャップを特定した。

実験結果

安定性: RI は、システムプロンプトを変化させて誘発される異なる拒否率の間で安定している。対照的に、ヒューリスティックな指標（F スコア、加重スコアなど）は、拒否率が変化すると大幅に変動し（最大 70% の変動）、一貫した潜在的な能力を捉えられていない。
較正との相関: RI は、サンプリングベースの不確実性推定（ $P(\text{Answering})$ ）から導出された AUROC スコアと強い正の相関（85.8%）を示し、順位較正の指標としての忠実性を裏付けている。
モデルのランキング: RI は、精度や拒否率に依存しない一貫したモデルランキングを提供する。精度と拒否率の単調な効果を除去すると、ヒューリスティックな指標はほぼランダムな安定性まで劣化するのに対し、RI は高いランキングの一貫性を維持する。
モデルファミリーの影響: 知識認識型拒否能力の最も強力な予測因子は、モデルの規模や一般的な精度ではなく、モデルファミリー（トレーニングパイプラインとデータ）である。例えば、Claude と Qwen モデルは RI において一貫して他社モデルを上回る一方、Gemini や GPT-4.1 のバリエーションはしばしば回帰直線より下に位置する。
コンテキスト感受性: 提供されたコンテキストに正解が存在しない場合（「回答不能」または「矛盾」シナリオなど）、モデルは拒否性能が低下する傾向を示し、内部の知識較正ではなく、コンテキストの手がかりへの過剰な依存を示唆している。

意義と主張

本論文は、RI がモデルの信頼性の本質的かつ以前に見過ごされていた次元を捉えていると主張する。現在の事実性評価は精度やハルシネーション率に焦点を当てているが、RI は、高い精度を持つモデルでさえも信頼性が高くなく脆弱な拒否行動を持つ可能性があることを浮き彫りにする。

著者らは以下を主張する：

プロンプトだけでは不十分: モデルに「より慎重になる」よう指示するだけでは拒否率は増加するが、拒否判断の質は向上しない（RI は安定しており、完全から程遠い）。
新しい評価基準の必要性: 包括的な事実性評価には、知識認識型拒否の測定を組み込む必要がある。精度や標準的な較正指標のみに依存することは、モデル展開における重大なリスクを隠蔽する可能性がある。
実用性: 2 パス RI 評価は、高価な較正手法に対する実用的で低コストな代替手段を提供し、ホワイトボックスアクセスや補助トレーニングを必要とせずに、モデルの自己知識のより信頼性の高い比較を可能にする。

この研究は結論として、LLM の事実的精度は向上しているが、自らの知識の限界を正確に判断する能力は、 Dedicated な測定と改善を必要とする重要な課題であると述べている。