技術的サマリー：分布整合型敵対的蒸留によるブラックボックス LLM の不確実性推定

問題定義

大規模言語モデル（LLM）は推論と生成において著しい進歩を遂げましたが、「ハルシネーション」、すなわちもっともらしいが事実上誤った情報を生成する傾向 remains あります。この問題は、より大規模で指示に従順なモデルにおいて悪化し、過信を示すことで信頼性の誤った感覚を生み出します。不確実性定量化（UQ）は有望な緩和策ですが、既存の手法は API 経由でのみアクセス可能なブラックボックス LLM（例：GPT-4、Claude-3）に適用される際、以下の重大な限界に直面しています：

1. マルチサンプル手法（例：セマンティックエントロピー）は、不確実性を推定するために複数の推論呼び出しを必要とし、リアルタイムアプリケーションにとって計算コストが高く非効率的です。
2. 内部状態（例：logits、隠れ活性化）に依存するシングルサンプル手法は、これらのパラメータを公開しないクローズドソースモデルには適用不可能です。
3. 自己評価手法は、特定のファインチューニングなしには信頼できる推定を生み出すことがよくありません。

この研究が取り組む核心的な課題は以下の通りです：内部モデル状態へのアクセスや複数回のサンプリング反復なしに、単一の入力 - 応答対のみに基づいて、ブラックボックス LLM のリアルタイム不確実性をどのように予測できるか？

手法：分布整合型敵対的蒸留（DisAAD）

著者らは、ターゲットのブラックボックス LLM の出力分布を近似する軽量なプロキシモデルを活用する 2 段階のフレームワークDisAADを提案します。このプロキシモデルは、「ブラックボックス LLM が知っているかどうかを判断する」ように訓練され、実質的にターゲットの不確実性特性を継承します。

1. 分布整合型敵対的蒸留

第一段階では、ターゲットのブラックボックス LLM（$M_B$）の出力分布の高確率領域を模倣する小型のプロキシモデル（$M_p$）の訓練に焦点を当てます。

• データ収集: 多様なプロンプトでターゲット LLM にクエリを送信することで蒸留データセット（$D_{distill}$）を構築します。各プロンプトに対して複数の応答を生成し、相互セマンティック整合性が最も高い上位 $M$ 個の応答を選択します。この戦略により、ターゲットの条件付き出力分布の高確率領域を分離します。
• 敵対的訓練アーキテクチャ: このフレームワークは生成・識別のセットアップを採用します：
  • 生成器（プロキシモデル）: 対象 LLM と整合した応答を生成することを学習する、**低ランク適応（LoRA）**を介してファインチューニングされたベースモデル（例：LLaMA3）。
  • 識別器: プロキシによって生成された応答と、ターゲットのブラックボックス LLM からの応答を区別するように訓練されたモデル。
• 最適化目的: プロキシモデルは、複合損失を最小化するように最適化されます：
  • タスク損失（$L_{task}$）: プロキシの次のトークン予測をターゲットの応答と整合させるトークンレベルの蒸留損失。
  • 正則化損失（$L_{reg}$）: プロキシモデルが識別器によって「偽」として自信を持って分類されない出力を生成するシーケンスレベルの制約。
  • 訓練は、識別器がプロキシとターゲットの出力を区別できなくなるまで交互に行われ、これによりプロキシがターゲットの分布に成功裏に整合したことを示します。

2. プロキシ誘導型不確実性定量化

第二段階では、訓練済みのプロキシモデルを用いて、ブラックボックス LLM からの新しいクエリに対する不確実性を推定します。

• 再現: 入力プロンプト $x$ とブラックボックスの応答 $y_B$ が与えられた場合、プロキシモデルは応答を再現し、それ以外ではアクセス不可能な内部信号（logits）を抽出します。
• 証拠深層学習: 抽出された logits は、ディリクレ分布のパラメータとしての証拠とみなされます。これにより、不確実性を以下の 2 つのコンポーネントに分解できます：
  • 偶然的不確実性（AU）: データの不確実性（分布の尖度）を反映します。高い AU は、モデルが特定のトークンについて確信がないことを示します。
  • 認識的不確実性（EU）: モデルの不確実性（知識の欠如）を反映します。高い EU は、分布が尖っていても（過信であっても）、モデルが確信ある予測を行うための知識を欠いていることを示します。
• 信頼性推定: 最終的な応答の信頼性は、シーケンス内の最も不確実なトークンにおける AU と EU の相乗効果を集約して計算されます。

主要な貢献

1. ブラックボックス UQ への新たなパラダイム: DisAAD は、内部モデル状態へのアクセスや複数回のサンプリング反復の必要性を排除し、単一の入力 - 応答対のみを使用してリアルタイムの不確実性定量化を可能にします。
2. 分布整合型プロキシ学習: 本論文は、小型のプロキシモデルが敵対的蒸留を通じてターゲット LLM の出力分布の高確率領域を近似し、プロキシがターゲットの不確実性を特徴づけることを可能にする手法を導入します。
3. 実証的検証: 広範な実験により、ターゲット LLM のサイズわずか**1%**のプロキシモデルが、最先端のベースラインと比較して優れた不確実性推定性能を達成することが示されました。

実験結果

この手法は、3 つのベンチマークで評価されました：TruthfulQA（真実性）、BioASQ（バイオメディカル）、TriviaQA（一般知識）。

• 性能: ブラックボックス設定（GPT-4 と LLaMA2-70B を対象）において、DisAAD は平均AUROC 0.7321およびAUPR 0.9134を達成しました。これは最高性能のベースラインを大幅に上回るもので、AUROC で平均18.2%、AUPR で**22.9%**の向上を示しました。
• ホワイトボックス手法との比較: 内部状態へのアクセスがないにもかかわらず、DisAAD は多くの場合、logits を使用する LogTokU などのホワイトボックス手法を上回りました。例えば、ターゲットを LLaMA2-70B とした場合、DisAAD は LogTokU に対して AUROC を 6.7% 改善しました。
• 効率性: このフレームワークは、効果的なプロキシモデルを訓練するために、わずか 100 のプロンプトから約 1,000 サンプルの小さな蒸留データセットのみを必要とします。性能は約 50 の蒸留プロンプト後に安定します。
• モデルサイズ: 1B、3B、8B の異なるプロキシサイズを用いた実験により、非単調な関係が明らかになりました。3B モデルが最適な結果を達成しました。より大きなモデル（8B）は過信の問題を継承する傾向があり、より小さなモデル（1B）は複雑な不確実性モデリングの能力が不足していました。

意義と主張

本論文は、DisAAD が、特に商用ブラックボックスモデルを含む安全性が重要なアプリケーションにおいて、LLM の不確実性定量化に対してより効果的で実用的なパラダイムを提供すると主張しています。軽量なプロキシを通じてハルシネーションを検出可能にすることで、この手法は、マルチサンプリングの計算オーバーヘッドや内部パラメータへのアクセスに伴うプライバシー制約なしに、LLM のより安全で信頼性の高い展開を可能にします。

著者らは限界を認め、この手法がトークンレベルの不確実性に焦点を当てており、より高レベルのセマンティックな不一致を見逃す可能性があると指摘しています。さらに、敵対的蒸留への依存は蒸留データセットの品質に依存しますが、実験では限られたサンプルでも手法が頑健であることを示唆しています。この研究は、実世界のシナリオにおけるブラックボックス LLM の信頼性を強化するための一歩として提示されています。