💬 NLP

Disentangling Ambiguity from Instability in Large Language Models: A Clinical Text-to-SQL Case Study

本論文は、意味的な不確実性を個別のスコアへと分解することで、入力の曖昧性とモデルの不安定性を切り離し、既存の手法と比較して標的を絞った介入とより効率的なエラー・トリアージを可能にする、臨床におけるText-to-SQLのためのフレームワークであるCLUESを導入するものである。

原著者： Angelo Ziletti, Leonardo D'Ambrosi

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Angelo Ziletti, Leonardo D'Ambrosi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超高性能なAIアシスタントを使ってミステリーを解決しようとしている探偵だと想像してください。あなたはAIに対して、「18歳以上の患者のうち、アトピー性皮膚炎の人は何人いますか？」といった、膨大な医療記録に関する質問を投げかけます。AIは、SQLクエリ（データベースに質問するための特別な言語）と回答を返してくるかもしれません。しかし、ここに落とし穴があります。時として、AIは間違えることがあり、しかもその間違いには、全く異なる2つの理由があるのです。

この論文「Disentangling Ambiguity from Instability in Large Language Models（大規模言語モデルにおける曖昧さと不安定さの分離）」は、CLUESという新しい探偵ツールを紹介しています。その主な役割は、AIがなぜ混乱しているのか、その理由を突き止めることです。質問自体が複数の意味を持つ謎解きなのか（曖昧さ：Ambiguity）、それともAIがただ体調が悪くて、挙動が不安定になっているだけなのか（不安定さ：Instability）を見極めるのです。

2種類の混乱

AIの脳をキッチンと考えてみてください。

1. 曖昧さの問題（謎解き）
シェフに「サンドイッチを作って」と頼んだとします。

解釈A： 「マヨネーズなしのターキーサンドイッチ」
解釈B： 「チーズ増しのハムサンドイッチ」
もしシェフが両方作り、あなたが2種類の異なるサンドイッチを受け取ったとしたら、それは曖昧さです。問題はシェフの料理技術ではなく、あなたの注文が漠然としていたことにあります。医療の世界では、「18歳以上」と尋ねることはトリッキーです。「18歳以上」とは、「現在の年齢」を指すのか、それとも「最初に診断された時の年齢」を指すのか？もしAIが誤った意味を推測してしまった場合、答えは間違ったものになります。この論文は、このような状況では人間に「ねえ、現在の年齢のことですか？それとも診断時の年齢のことですか？」と尋ねるべきだと示唆しています。

2. 不安定さの問題（落ち着きのないシェフ）
さて、あなたに完璧に明確な注文を出したとしましょう。「マヨネーズなしのターキーサンドイッチを作って」。

試行1： 完璧なターキーサンドイッチ。
試行2： 焦げたターキーサンドイッチ。
試行3： マヨネーズ入りのターキーサンドイッチ（おっと！）。
ここでは、注文は完璧でしたが、シェフが不安定になっています。これが不安定さです。AIが自分自身の内部ルールについて混乱しているか、あるいは単に不具合を起こしています。この論文は、この場合に人間へ確認を求めるのではなく、回答にフラグを立てて人間に再確認させるか、AIのトレーニングを修正すべきだと示唆しています。

旧来の手法 vs CLUESの手法

この論文以前、研究者たちは、AIの回答がいかに「かき乱されているか」を測定するために、単一のスコア（カーネル言語エントロピー、またはKLEと呼ばれる）を使用していました。

旧来の手法： もしAIが5つの異なる回答を出せば、スコアは上昇します。しかし、古いスコアは「なぜ」そうなったのかを教えてくれませんでした。質問が謎解きだったのか、それともAIが不具合を起こしているのか？それは、火事かどうかを教えずに、ただ「火事だ！」と叫び続ける火災報知器のようなものでした。
論文の主張： 著者たちは、単一のスコアを使用することに明確に反対しています。彼らは、次に何をすべきかを知るためには、これら2種類の混乱を分離しなければならないと述べています。

CLUESの仕組み：魔法のグラフ

著者たちは、CLUES（Conditional Language Uncertainty via Entropy and Schur）と呼ばれるフレームワークを構築しました。彼らはAIの思考プロセスを、2段階のショーとして扱います。

第1段階（解釈）： AIが、質問がどのような意味になり得るかを推測します。AIは質問の異なるバージョンをいくつか書き出します。
第2段階（回答）： それぞれの質問バージョンに対して、AIは何度も回答を試みます。

混乱を測定するために、彼らは巨大なマップ（二部グラフ・セマンティックグラフ）を描きます。

マップの片側には質問（解釈）があります。
もう片側には回答があります。
これらを線で結びます。2つの質問が似ていれば線は太くなり、2つの回答が似ていれば線は太くなります。

そして、彼らは高度な数学的トリックであるシューア補行列（Schur complement。これは、質問の混乱を全体の混乱から差し引く数学的なフィルターだと考えてください）を使用します。

結果： 彼らは2つの別々の数値を得ます。
- $H_I$ （曖昧さスコア）： 質問同士がどれほど異なっているか。
- $H_{R|I}$ （不安定さスコア）： 質問が固定されているにもかかわらず、回答がどれほど異なっているか。

数値が示すこと

チームは、2種類のパズルでテストを行いました。

一般的なトリビア： AmbigQAから300問、SituatedQAから300問を使用しました。
- 新しい不安定さスコア（ $H_{R|I}$ ）は、従来の単一スコアよりも、AIが失敗するタイミングを予測する上ではるかに優れていることがわかりました。
- 例えば、KimiK2モデルにおいて、古いスコアによる失敗予測の精度（AUROC）は0.663でしたが、新しいCLUESスコアは0.770へと跳ね上がりました。
- また、単にスコアを引き算しようとする（「素朴な」手法）と、失敗し、**37%から60%**の確率で負の値になることも気づきました。これは、彼らの複雑な数学的トリックが必要であることを証明しています。
医療記録（本番）： 彼らは、2,180の質問を含む臨床Text-to-SQLデータセットでテストを行いました。
- ここでも、新しいスコアはより優れた結果を出しました。古いスコアの精度は0.600でしたが、CLUESは0.762に達しました。
- 彼らは、「不安定さ」のスコアが、AIが単に挙動不審になっているときを見抜くのに特に有効であることを発見しました。

「レジーム」戦略：混乱の整理

論文は、2つのスコアに基づいて、すべての質問を4つの「レジーム（領域）」に分類することを提案しています。

レジーム I（自信あり）： 低い曖昧さ、低い不安定さ。 $\rightarrow$ 自動的に回答する。
レジーム II（曖昧さ）： 高い曖昧さ、低い不安定さ。 $\rightarrow$ 人間に明確化を求める。
レジーム III（不安定さ）： 低い曖昧さ、高い不安定さ。 $\rightarrow$ 人間によるレビューのためにフラグを立てる。
レジーム IV（複合的）： 高い曖昧さ、高い不安定さ。 $\rightarrow$ 両方を行う！

この分類は、効率性の面でゲームチェンジャーとなります。展開テストにおいて、彼らはレジーム IV（混乱した高リスクゾーン）が、全質問の**25%しか占めていないにもかかわらず、すべてのエラーの51%**を含んでいることを発見しました。

教訓： もし、この混乱した25%の質問だけを人間に送ってチェックさせれば、ミス（エラー）の半分を捕まえることができます！これは、ランダムに質問をチェックする場合よりも2倍効率的です。

信頼性はどの程度か？

著者たちは、自らの結果にかなりの自信を持っていますが、自分たちの知見の性質を誇張しすぎないよう注意深く記述しています。

彼らは、特定のデータセット（AmbigQA、SituatedQA、および臨床ベンチマーク）を用いた経験的な証拠を通じて、フレームワークの有効性を実証し、検証しました。これは、基礎となる方程式の理論的な数学的証明を行ったものではありません。
彼らは、現実世界に近い設定で改善を測定し、新しいスコアが失敗を特定する上で一貫して優れていることを示しました。
しかし、エラーが稀な（テストでは約**4.4%**の質問が誤りでした）現実世界の運用においては、システムはまだ完璧ではないことも認めています。これは「トリアージ（選別）」のための優れたツールですが、すべての問題を自動的に解決するものではありません。
また、解釈を生成する際に、まず複数の解釈を生成する必要があるという制限も指摘しています。解釈を生成するAIの性能が低い場合、システム全体が混乱する可能性があります。

結論

この論文は、AIの不確実性を「解決した」と主張しているわけではありません。むしろ、2段階のプロセスと特殊な数学的フィルター（シューア補行列）を使用することで、混乱した質問と、不具合を起こしているAIをようやく区別できるようになったと示唆しています。これにより、推測をやめ、適切な行動を取ることが可能になります。つまり、質問が漠然としているときは助けを求め、AIが挙動不審なときはその作業をチェックするという、適切なアクションを選択できるのです。これは、AIによる医療や研究をより安全で信頼できるものにするための一歩です。

技術要約：大規模言語モデルにおける曖昧性と不安定性の分離

問題提起

臨床分野のText-to-SQLアプリケーションへの大規模言語モデル（LLM）の導入において、構文的には正しくても意味的には誤ったクエリを生成してしまうリスクが、重大な障壁となっている。主要な課題は「潜在的な曖昧性（latent ambiguity）」である。これは、入力クエリに暗黙的な不確実性が含まれているケース（例：「18歳以上の患者」が、診断時の年齢を指すのか現在の年齢を指すのかといった事象）であり、これらは結果を大きく変える可能性があるが、ユーザーには判別できない。

カーネル言語エントロピー（KLE）のような既存の不確実性定量化手法は、出力の多様性を測定するための単一のスコアを提供する。しかし、このアプローチは、根本的に異なる2つの不確実性の源泉を混同してしまう。

入力の曖昧性（アレオトリック的）： ユーザーのクエリ自体に内在する曖昧さに由来する多様性であり、正当に複数の解釈を生じさせるもの。
モデルの不安定性（エピステミック的）： 単一の明確な解釈を処理している際、モデルの内部的な不整合や知識不足に由来する多様性。

この混同は、効果的なシステム展開を妨げる。高い曖昧性はユーザーへの確認ダイアログをトリガーすべきであるが、高い不安定性は人間によるレビューをフラグ立てすべきものである。既存の手法はこれらを区別できないため、ターゲットを絞った介入を行うことができない。

手法：CLUESフレームワーク

著者らは、意味的な不確実性を分解するために、Text-to-SQLを2段階の生成プロセスとしてモデル化するCLUES（Conditional Language Uncertainty via Entropy and Schur）フレームワークを提案する。

1. 二段階生成プロセス

システムは以下のように定式化される：

解釈ステージ（Interpretation Stage）： システムは、元のクエリの妥当な読み方を示す $N$ 個の異なる意味的解釈（ $I = \{I_1, ..., I_N\}$ ）を生成する。
生成ステージ（Generation Stage）： 各解釈 $I_n$ に対して、システムは $M$ 個の候補となるSQLクエリと対応する回答（ $R_n = \{R_{n,1}, ..., R_{n,M}\}$ ）を生成する。
この構造は、解釈を跨ぐ多様性が「曖昧性」を表し、単一の解釈内での多様性が「不安定性」を表すという二部グラフの関係性を生み出す。

2. 二部意味グラフの構築

類似度関数 $k(\cdot, \cdot)$ を用いて、システム全体の重み付き隣接行列 $W$ を二部グラフとして構築する：
$W = \begin{pmatrix} W_{II} & W_{IR} \\ W_{RI} & W_{RR} \end{pmatrix}$

$W_{II}$ ：解釈間の意味的類似性をエンコードする。
$W_{RR}$ ：生成されたすべての回答間の意味的類似性をエンコードする。
$W_{IR}/W_{RI}$ ：回答とその親となる解釈を紐付けるバイナリ割り当て行列。

熱拡散カーネル（ $K_\tau = e^{-\tau L}$ ）を適用してこれらの類似度を平滑化する。ここで、 $\tau$ はクラスタリングの粒度を制御する。

3. Schur補数による分解

核心となる革新は、全不確実性を**曖昧性スコア（ $H_I$ ）と不安定性スコア（ $H_{R|I}$ ）**に分解することである。

曖昧性（ $H_I$ ）： KLEフレームワークを用いて、 $W_{II}$ のエントロピーとして計算される。
不安定性（ $H_{R|I}$ ）： 解釈に対する回答の条件付きエントロピーとして定義される。著者らは、単純な減算（ $H_{R,I} - H_I$ ）によるアプローチを拒絶している。なぜなら、それはフォン・ノイマン・エントロピーの熱カーネル密度行列における連鎖律に違反し、頻繁に負の値をとるためである。
Schur補数による解決策： 減算の代わりに、フレームワークは条件付き類似構造を直接計算する：
$S = W_{RR} - W_{RI}(W_{II} + \epsilon I)^{-1}W_{IR}$
行列 $S$ は、解釈構造によって説明できない回答の残留類似性を表す。 $S$ のエントロピーが $H_{R|I}$ を算出する。このアプローチは、非負のスコアを保証し、数学的にシステムの内部的不整合を孤立させる。

4. 不確実性レジーム

本フレームワークは、 $H_I$ と $H_{R|I}$ の閾値に基づき、4つの運用レジームを定義する：

レジーム I（確信）： 低曖昧性、低不安定性 $\rightarrow$ 自動回答。
レジーム II（曖昧）： 高曖昧性、低不安定性 $\rightarrow$ 確認ダイアログのトリガー。
レジーム III（不安定）： 低曖昧性、高不安定性 $\rightarrow$ 人間によるレビューのフラグ立て。
レジーム IV（複合）： 高曖昧性、高不安定性 $\rightarrow$ 確認＋レビュー。

主な貢献

CLUESフレームワーク： Schur補数を用いた二部意味グラフを用いて、意味的不確実性を曖昧性と条件付き不安定性に分解する、モデルに依存しない手法。
臨床データセットと手順： 疫学的な質問のための解釈・生成手順、および既知のクエリに対して複数の妥当な解釈を備えた臨床Text-to-SQLベンチマーク。
実証的検証： $H_{R|I}$ が状態最高のKLE（ $H_R$ ）よりも失敗予測において優れていること、およびレジームベースのルーティングを通じて効果的なエラー・トリアージが可能であることを示す証拠。

実験結果

オープンドメインQA (AmbigQA & SituatedQA)

ゴールドスタンダードの解釈を用い、CLUESを5つの最先端LLMで評価した。

失敗予測： 不安定性スコア $H_{R|I}$ は、失敗の予測においてベースラインの $H_R$ を一貫して上回った（統合データにおいてAUROCが+0.074から+0.077向上）。
レジーム識別： 出力の多様性が高い（高い $H_R$ ）クエリの中で、不安定性が低い（低 $H_{R|I}$ ）ものは、不安定性が高いものよりも有意に高い精度を示した。例えば、SituatedQAでは、精度は46.8%（レジームA）から13.3%（レジームB）へと低下し、統計的に有意な差（オッズ比 ~5.7）が見られた。
単純な減算の失敗： 単純な減算によるアプローチ（ $\tilde{H}_{R|I}$ ）は、37〜60%のケースで負の値をとり、偶然レベルの性能しか示さなかった。これはSchur補数の必要性を裏付けている。

臨床Text-to-SQL (既知の解釈)

EHRSQLおよびEpiAskKBから派生した、2,180のクエリ-モデルインスタンスを含むデータセットで評価した。

パフォーマンス： $H_{R|I}$ は、 $H_R$ の0.600に対し、0.762の統合AUROCを達成した（p < $10^{-10}$ ）。
堅牢性： 不安定性スコアは、異なる熱カーネルパラメータ（ $\tau \in [2, 20]$ ）に対しても安定していたが、ベースラインの $H_R$ は高い $\tau$ において著しく低下した。
温度感度： 中程度のサンプリング温度（T=1.0–1.5）が最も強い不安定性のシグナルを与えた。これは、多様性を高めることで潜在的なモデルの不安定性が露呈することを示唆している。

デプロイメント設定 (生成された解釈)

（ゴールドラベルではなく）解釈をオンザフライで生成するプロダクション環境に近い設定において：

精度： モデルは高い精度（84–100%）を達成し、エラーは稀であった（エラー率4.4%）。
レジームの効率性： 単一スコアのAUROCにおいては、 $H_R$ と $H_{R|I}$ の間に大きな差はなかったが、レジーム分析は価値あるものとなった。レジームIV（高曖昧性＋高不安定性）は、**全エラーの51%**を含んでいた一方で、**全クエリのわずか25%**しかカバーしていなかった。
ルーティング： レジームIVのみを人間によるレビューにルーティングする戦略は、ランダムな選択による効率化の2倍にあたる、クエリの4分の1をレビューするだけで、全失敗の半分を捕捉できる。

意義と主張

論文は、CLUESが単一スコアの指標からは得られない診断的分解を提供すると主張している。入力の曖昧性とモデルの不安定性を区別することで、本フレームワークはターゲットを絞った介入を可能にする：

高曖昧性クエリに対する確認（Clarification）。
高不安定性クエリに対する人間によるレビュー（Human Review）。

著者らは、これが「もっともらしいけれども誤っている」結果が重大なリスクをもたらす臨床EHRアクセスのような安全性が極めて重要な領域において、運用上不可欠な区別であると強調している。本フレームワークは、出力のサンプリングのみを必要とするモデルに依存しない設計となっており、不確実性に対する原理的な数学的アプローチを提供し、単純なエントロピー減算の落とし穴を回避している。

著者らは、複数のLLM呼び出しによる計算コストや、生成された解釈の質への依存といった限界についても謙虚に述べている。また、高精度なデプロイメント設定においては、エラー率が低いために微細な不確実性シグナルの識別力が制限されることを認めているが、レジームベースのルーティングは依然としてランダム選択よりも効率的な手法であるとしている。