論文「Confident in a Confidence Score: Investigating the Sensitivity of Confidence Scores to Supervised Fine-Tuning」の技術的サマリー

この論文は、大規模言語モデル（LLM）の出力に対する「信頼度スコア（Confidence Scores）」が、教師あり微調整（Supervised Fine-Tuning: SFT）によってどのように変化し、その品質との相関性がどう影響を受けるかを調査した研究です。

1. 問題定義 (Problem)

言語モデルの出力の信頼性を定量化する技術（不確実性定量化：UQ）は、幻覚（Hallucination）の検出や、ユーザーへの警告、高品質な回答の選択など、多くの応用で不可欠です。これらの手法が有用であるためには、モデルが出力する「信頼度スコア」と「実際の出力品質」の間に強い相関がある必要があります。

しかし、近年の研究では、SFT によってモデルが過剰に自信を持つ（Overconfident）ようになり、信頼度スコアと品質の相関が崩れる可能性が示唆されていました。既存の UQ メトリクスは、事前学習済みモデルや特定の微調整設定で設計されていることが多く、異なる SFT パラメータ（エポック数、サンプル数など）やモデルに対して「そのまま（Off-the-shelf）」適用できるかどうかは不明確でした。

本研究は以下の 2 つの研究課題（RQ）を扱います：

1. RQ1: 信頼度メトリクスの品質との相関は、SFT のパラメータ（エポック数、トレーニングサンプル数）に対してどの程度敏感か？
2. RQ2: 品質との相関を悪化させる信頼度スコアの背後にある動的変化（ダイナミクス）は何か？

2. 手法 (Methodology)

実験設定

• タスク: 機械翻訳（NLLB/Eng-Afr）、質問応答（SQuAD）、数学（GSM8K）の 3 つのタスク。
• モデル: BART-Base, Flan-T5-Base, Llama 3.1-8B, Gemma-2-2B の 4 種類のモデル。
• 微調整: 上記タスクに対して SFT を実施し、早期停止（Early Stopping）を用いて最適なモデルを特定。また、エポック数（1〜10）やトレーニングサンプル数（100〜2000）を変えて実験。
• 評価指標: 出力品質と信頼度スコアの関係を測るため、スピアマン相関係数（Spearman Correlation）を使用。

対象とした信頼度メトリクス

モデルの内部状態や出力のみに依存し、追加の微調整を必要としない 2 種類のメトリクスを調査：

1. 確率ベース（Probability-based）: トークンの対数確率の平均、エントロピー、ドロップアウトを用いた不確実性、ビームサーチのスコアなど。
2. 自己整合性ベース（Self-Consistency-based）: ドロップアウトやビームサーチで生成された複数の回答間の一致度（BLEU 分散、KL 発散、METEOR 分散など）を測定。
   • これらを組み合わせた CoCoA メトリクスも評価対象。

分析アプローチ

• 相関の変化: SFT 前後、およびエポックごとの相関係数の変化を測定。
• サンプルレベルの分析: 個々のサンプルにおいて、品質の変化と信頼度の変化が「一致（Concordant）」しているか、「過剰自信（Relatively Overconfident）」または「過小自信（Relatively Underconfident）」になっているかを四象限で分類。
• 相関崩壊のメカニズム: 2 つのサンプル A, B について、品質の順位と信頼度の順位の関係がエポック間でどう逆転するか（Case 1: 品質順位は変わらず信頼度順位が逆転、Case 2: 逆）を分析。
• ダウンストリームタスクへの影響: 信頼度スコアを用いて「回答が正しいか」を予測するタスク（AUROC 評価）を行い、SFT による性能低下を実証。

3. 主要な結果 (Key Results)

RQ1: SFT パラメータに対する感度

• 相関の不安定性: 144 種類の設定（3 データセット × 4 モデル × 12 メトリクス）のうち、約 33%（48 件）で SFT 後に相関が低下し、メトリクスとしての有用性が損なわれました。逆に改善したケースもありましたが、結果は設定に大きく依存します。
• エポック数とサンプル数の影響: 1 エポック増えるだけで相関係数が最大 0.391 変動することが確認されました。また、トレーニングサンプル数を変化させるだけでも、相関に統計的に有意な差が生じます。
• 結論: 信頼度メトリクスは SFT の詳細な設定（エポック数、データ量）に極めて敏感であり、デプロイ前に厳密なテストなしに使用することはできません。

RQ2: 相関崩壊のメカニズム

• メトリクスごとの傾向:
  • 確率ベースメトリクス: SFT 後、相対的過剰自信（Relative Overconfidence） になりやすい傾向があります。つまり、出力品質が低下しても、モデルの出力確率（ログプロバビリティ）が上昇し、自信過剰になるケースが多いです。
  • 自己整合性ベースメトリクス: SFT 後、相対的過小自信（Relative Underconfidence） になりやすい傾向があります。
• 相関崩壊の主要原因: 多くの場合、相関の崩壊は「出力の品質そのものが変わったから」ではなく、「出力の品質が変わっていないにもかかわらず、モデルの自信スコアが変化したから」起こります。
  • 特に、トレーニング分布に似たサンプルに対してモデルが高確率を出す傾向があり、これが「トレーニングデータへの類似度」と「信頼度スコア」の間に正の相関を生み、真の品質との相関を歪ませていることが示されました。
• ダウンストリームタスクへの影響: 質問応答タスクにおいて、SFT 後に信頼度スコアを用いて正解を識別する能力（AUROC）が、47% のケースで低下しました。

4. 主要な貢献 (Key Contributions)

1. SFT に対する信頼度スコアの感度の実証: 既存の UQ メトリクスが SFT によって大きく変化し、品質との相関が崩壊する可能性があることを、多様なモデルとタスクで実証しました。
2. 相関崩壊のメカニズムの解明: 確率ベースと自己整合性ベースで異なる方向性（過剰自信 vs 過小自信）の誤相関が生じることを発見し、その原因が「出力品質以外の要因（例：トレーニング分布への類似度）」にあることを示しました。
3. 実用的な警告と提言: 信頼度スコアは「そのまま（Off-the-shelf）」使えるものではなく、特定の SFT 設定に対してテストと検証が必須であることを強調しました。
4. 今後の研究方向の提示: SFT に頑健な信頼度メトリクスの開発、またはトレーニングデータとの類似度などの要因を考慮した新しいメトリクスの必要性を提案しました。

5. 意義と結論 (Significance)

この研究は、LLM の信頼性評価において「SFT 後のモデルは事前学習モデルとは異なる振る舞いを示す」という重要な洞察を提供しています。

• 実用面: 医療、法務、金融など高リスク分野で LLM を利用する際、SFT 後に信頼度スコアを盲目的に信頼することは危険です。デプロイ前には、対象となる微調整設定での相関検証が不可欠です。
• 学術面: 単に「自信」を測るだけでなく、その自信が「なぜ」生じているのか（品質によるものか、分布の類似によるものか）を区別するメトリクスの開発が急務であることを示唆しています。

結論として、信頼度スコアは万能なツールではなく、モデルの学習履歴（SFT）に強く依存する特性を持つため、開発者はその限界を理解し、適切な検証プロセスを確立する必要があります。