💬 NLP

Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

この論文は、追加モデルや複数回のサンプリングを必要とせず、単一の生成のみで埋め込みクラスタリングと接頭辞一致を用いてトークンを意味的にグループ化し、その確率質量に基づいて効率的に不確実性を定量化する「意味トークンクラスタリング（STC）」手法を提案し、最先端の手法と同等の性能を大幅な計算コスト削減で実現することを示しています。

原著者： Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

公開日 2026-03-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：LLM の「自信」を測る新しい方法（STC）

この論文は、**「AI（大規模言語モデル）が何かを話しているとき、その内容は本当なのか、それとも自信満々に嘘をついている（ハルシネーション）のか、どうやって見抜くか？」**という問題に、非常に賢く、かつ安価な方法で答えようとするものです。

タイトルは**「意味トークンクラスタリング（STC）」**と言います。

以下に、専門用語を排し、日常の例え話を使ってわかりやすく解説します。

1. 問題：AI は「自信過剰」な嘘つきになりがち

AI は素晴らしい能力を持っていますが、**「本当はわかっていないのに、自信満々に間違った答えを出す」**という癖があります。
例えば、「1939 年の万博でテレビについて何があった？」と聞かれたとき、AI は「初めて公開された！」と自信を持って答えたとします。でも、もしそれが事実と違っていたらどうでしょう？

これまでの方法には 2 つの大きな欠点がありました。

何度も同じ質問をさせてみる方法：「本当にそう？」「違う？」「もう一回教えて」と AI に 10 回も 20 回も答えさせ、答えがバラバラなら「不安定（不確実）」だと判断します。
- 欠点： 時間と計算リソースが大量に必要で、現実的ではありません。
別の AI を使う方法：「この答えは正しい？」と、もう一人の AI（審査員）にチェックさせます。
- 欠点： 審査員 AI も必要なので、コストがかさみます。

2. 解決策：STC（意味のグループ化）というアイデア

この論文の提案するSTCは、**「AI が一度だけ答えた瞬間の情報」**だけで、その答えの信頼性を測ります。しかも、追加の AI も不要です。

例え話：「辞書とグループ分け」の魔法

AI が文章を作るとき、次の言葉を選ぶ確率を持っています。
例えば、「テレビ」という言葉が出てくる確率が高いとします。
でも、AI の頭の中では、「テレビ」という言葉は、**「TV」「tele」「television」「TV 機」など、「同じ意味を持つ言葉のグループ」**として存在しています。

これまでの方法は、**「『テレビ』という 1 つの言葉だけ」**を見て確率を計算していました。
しかし、もし AI が「テレビ」という言葉の確率は低いけど、「TV」や「television」の確率も少しだけ持っていたら？
**「あ、この AI は『テレビ』について言いたいことはあるけど、言葉の選び方が少し揺らいでいるな（＝自信がない）」**と判断できるはずです。

STC の仕組みは以下の 2 ステップです：

事前準備（オフライン）：「意味のグループ」を作る
- 計算機が休んでいる間に、AI が使うすべての言葉（トークン）を、意味が似ているもの同士で**「グループ（クラスタ）」**に分けておきます。
- 例：「TV」「television」「tele」はすべて「テレビグループ」に入ります。
- これは一度やれば終わりなので、実際の使用時にはコストがかかりません。
実行時（オンライ）：「グループ全体の力」を測る
- AI が実際に文章を生成しているとき、「『テレビ』という単語だけでなく、そのグループに属する『TV』や『television』などの確率も全部足し合わせます」。
- もし、グループ全体の確率の合計が低ければ、「AI はこの話題について確信が持てていない」と判断します。
- もし、グループ全体の確率が高ければ、「AI はこの意味に対して非常に自信を持っている」と判断します。

さらに、**「接頭辞マッチング（Prefix Matching）」**というテクニックも使います。
「television」という単語が「tele」「vision」に分かれて書かれる場合でも、それらが「テレビグループ」に属していることを認識し、確率を正しく足し合わせることで、より正確に測ります。

3. なぜこれがすごいのか？

一度きり（Single Generation）： 何度も同じ質問を繰り返す必要がありません。AI が 1 回答えるだけで終わります。
追加の AI 不要（No External Models）： 審査員役の AI を呼ぶ必要がありません。AI 自身の「頭の中（内部表現）」を直接使います。
超高速・低コスト： 重い計算は事前に終わらせているので、実際の使用時にはほとんど時間がかかりません。

4. 結果：どうなった？

実験の結果、この方法は以下のようになりました。

精度： 最新の複雑な方法（何度も試行して調べる方法など）と同じくらい正確に、AI の嘘や不安定さを検知できました。
速度： 計算コストは、それらの方法に比べて98% 以上削減されました。つまり、**「同じ性能で、ほぼ無料で」**使えます。

まとめ：AI の「心の声」を聞く方法

この論文は、AI が「自信を持って」何かを言っているとき、それが**「本当に確信がある」のか、それとも「たまたまその言葉が出てきただけ（実は不安）」**なのかを、AI の「言葉の選び方の癖（内部の確率分布）」をグループ化して見ることで見抜く方法を提案しました。

まるで、**「一人の人の発言だけでなく、その人が使おうとした『類語』や『言い換え』まで含めて、その人の『本気度』を測る」**ようなイメージです。

これにより、医療や法律など、ミスを許さない分野で AI を使う際、**「この答えは信頼していいか？」**を、コストをかけずに即座に判断できるようになる可能性があります。

論文「Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models」の技術的サマリー

本論文は、大規模言語モデル（LLM）の出力の信頼性を評価するための**「意味トークンクラスタリング（Semantic Token Clustering: STC）」**という新しい不確実性定量化手法を提案しています。既存の手法が抱える計算コストの高さや外部モデルへの依存という課題を解決し、単一の生成結果から効率的かつ高精度に不確実性を推定することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

LLM は多様なタスクで卓越した性能を示していますが、事実誤認（ハルシネーション）を起こしたり、過信（Overconfidence）によって誤った回答を高い確信度で出力したりする傾向があります。これを防ぐために「不確実性定量化（Uncertainty Quantification）」が重要ですが、既存の手法には以下の課題がありました。

計算コストの高さ: 多くの高精度な手法（Semantic Entropy など）は、不確実性を推定するために複数の生成サンプル（サンプリング）を必要とし、推論時間を大幅に増大させます。
外部モデルへの依存: 一部の手法（CCP など）は、自然言語推論（NLI）モデルなどの外部モデルを必要とし、リソースを消費します。
意味構造の活用不足: 従来の手法の多くは、LLM 内部に埋め込まれた意味的な構造を十分に活用できていません。

本研究は、**「単一の生成（Single Generation）」と「外部モデルなし（No External Models）」**という制約下で、LLM の内部表現を活用して効率的に不確実性を定量化する手法の確立を目指しています。

2. 提案手法：Semantic Token Clustering (STC)

STC は、LLM のトークン埋め込み（Embedding）に含まれる意味情報を活用し、トークンを意味的に一貫したクラスターにグループ化することで不確実性を評価します。

手法の概要

不確実性のスコアは、モデルが次のトークンを生成する際の確率分布に基づいて計算されます。単一のトークンの確率だけでは、意味的に等価な別表現（例: "TV" と "television"）が分散しているため、モデルの真の自信度が過小評価される可能性があります。これを解決するため、以下の 2 段階のプロセスを踏みます。

事前計算ステージ（Pre-computation Stage）:
- LLM の語彙（Vocabulary）に含まれるすべてのトークンの埋め込みベクトルを取得します。
- 教師なしクラスタリング（Agglomerative Clustering など）を用いて、意味的に類似したトークンをグループ化（クラスタリング）します。
- この処理は推論前に一度だけ行われるため、推論時のオーバーヘッドにはなりません。
推論ステージ（Inference Stage）:
- 生成中に、各ステップでモデルが出力するトークンに対して、以下の 2 つの条件を満たすトークンの確率を合計（集約）します。
  - 埋め込みクラスタリング: 生成されたトークンと同じ意味クラスターに属するトークン群。
  - 接頭辞マッチング（Prefix Matching）: 生成されたトークンが、その後の生成文脈（またはその一部）の接頭辞として機能するトークン群（例: "tele" は "television" の接頭辞）。
- これにより、意味的に等価な表現や、文脈的に連続する表現の確率をまとめて考慮します。
- 最終的な不確実性スコア $S(x, y)$ は、各ステップでの集約された確率の積の補数（ $1 - \prod \hat{p}_c$ ）として定義されます。

特徴

単一生成: 複数のサンプルを生成する必要がなく、1 回の推論で完了します。
自己完結型: 外部の NLI モデルや追加の学習データ、ファインチューニングを一切必要としません。
計算効率: 重たいクラスタリング処理はオフラインで行われるため、推論時の CPU 負荷も極めて低いです。

3. 主要な貢献

効率的な不確実性定量化手法の提案:
既存の最先端手法と同等の精度を維持しつつ、計算オーバーヘッドを劇的に削減しました。特に、CCP などの手法と比較して、推論時間のオーバーヘッドを平均 98% 削減しています。
内部表現の直接的な活用:
LLM の内部トークン埋め込みが持つ意味的構造を、外部モデルなしで直接不確実性評価に利用するパイプラインを構築しました。
実用性の高い実装:
教師あり学習や追加データ不要であり、ホワイトボックスの LLM に対して即座に適用可能です。また、GPU がなくても CPU のみで実行可能であり、リソース制約のある環境でも利用可能です。

4. 実験結果

データセットとモデル:
- データセット: TriviaQA (TQA), Natural Questions (NQ), WebQuestions (WQ)。
- モデル: Llama-2/3, Mistral, Qwen2.5 (3B〜14B パラメータ)。
性能評価 (AUROC):
- STC は、Semantic Entropy や CCP などの最先端手法と同等か、それ以上の AUROC（Receiver Operating Characteristic 曲線下面積）を達成しました。
- 異なるモデルサイズやデータセットにおいても安定した性能を示しています。
効率性:
- 図 3 に示されるように、STC は「高い性能」と「低い計算オーバーヘッド」の両立を実現しており、他の手法が GPU 上で数百秒かかるのに対し、STC は数秒で完了します。
アブレーション研究:
- 「埋め込みクラスタリング」と「接頭辞マッチング」の両方が性能向上に寄与しており、これらを組み合わせることで、単なる確率ベースの評価よりも大幅に精度が向上することが確認されました。

5. 意義と限界

意義:
本手法は、LLM の出力信頼性をリアルタイムで評価する実用的なソリューションを提供します。医療、法務、科学など、高い信頼性が求められる分野において、誤った情報をフィルタリングするための軽量なガードレールとして機能します。また、リソースが限られた環境（エッジデバイスや CPU 環境）でも導入可能である点が大きな強みです。

限界:

クローズドモデルへの適用: トークンのロジットや埋め込みベクトルにアクセスできる必要があるため、API 経由でしか利用できないクローズドソースのモデルには直接適用できません。
多義性の問題: 静的な埋め込みを使用しているため、文脈によって意味が変化する多義語（Polysemy）の処理において、ノイズが生じる可能性があります（文脈依存の埋め込みへの拡張が今後の課題）。
較正（Calibration）: 出力されるスコア自体の確率的な較正は行われていませんが、必要に応じて事後較正が可能です。

結論

Semantic Token Clustering (STC) は、LLM の不確実性定量化において、「精度」と「効率性」のトレードオフを打破する画期的な手法です。追加の計算リソースや外部モデルを必要とせず、LLM 自身の内部表現を最大限に活用することで、実社会での信頼性ある AI 利用を促進する可能性を秘めています。