技術要約：Perplexity（パープレキシティ）は常に正誤を判別できるわけではない

問題提起

Perplexityは、自己回帰型言語モデルを評価するための標準的な指標であり、損失関数であると同時にモデル品質のプロキシ（代用指標）でもあります。これは、グランドトゥルース（正解データ）に遭遇した際のモデルの「驚き」を測定するものです。計算の単純さから広く利用されていますが、経験的な観察によれば、パープレキシティは必ずしもサンプルの質や精度と相関しないことが示唆されています。具体的には、精度は低いものの、より適切に較正された（あるいは過剰な）確信度を持つモデルが、精度は高いが躊躇のあるモデルよりも、低いパープレキシティ・スコアを達成してしまう可能性があります。

本論文は、この乖離に関する理論的根拠を扱います。特にデコーダーのみのTransformerにおいて、パープレキシティがモデル選択の信頼できる目的関数であるかどうかを調査します。核心となる問題は、パープレキシティが「確信度」と「正しさ」を混同しており、特にエラー信号が希釈されやすい長文コンテキストのシナリオにおいて、自信満々に間違っているモデルを報酬として与えてしまう可能性があることです。

手法

著者らは、パープレキシティの限界を実証するために、厳密な理論的証明、分析的モデリング、および経験的な検証を組み合わせて用いています。

1. 理論的枠組み（連続性と崩壊）：

   • 著者らは、Transformerの表現の連続性に関する最近の理論的結果（Pasten et al., 2025）を活用しています。
   • 本研究は、RoPEのような一般的な埋め込みを含むクラスである、コンパクトな位置埋め込み（CPE）を持つデコーダーのみのTransformerに焦点を当てています。
   • 著者らは、モデルがビット列を正確に再現しなければならないビット文字列コピー・タスクを分析します。このタスクは明確な正解が存在し、LLMがロバストに学習するのが難しいことが知られているため、これを選択しました。
   • 精度とパープレキシティに関する強固な主張を確立するために、ベースラインとして**貪欲デコーディング（決定論的サンプリング）**を用い、後に温度スケーリングによる確率的サンプリングへと分析を拡張しています。

2. 分析的モデリング（等パープレキシティ曲線）：

   • 著者らは、**等パープレキシティ曲線（iso-perplexity curves）**を導出するために、簡略化された二値分類フレームワークを構築しています。
   • **精度（$a$）と確信度（$1-\gamma$）**の関係を、スカラー変数としてモデル化しています。
   • パープレキシティを上げることなく確信度を高めるために必要な「臨界精度」を解くことで、パープレキシティがより正確なモデルを選択できない、確信度／精度の空間における領域をマッピングしています。

3. 経験的検証：

   • コピー・タスク実験： 著者らは、ビット文字列コピー・タスク用にカスタムCPE Transformerを訓練し、事前学習済みのGemma 3 4Bモデルを評価しました。モデルが正しいシーケンス（$\alpha_N$）と、モデルがコピーに失敗する摂動を加えたシーケンス（$\beta_N$）に対する性能を比較しました。
   • パリティ・タスク実験： より複雑な設定でのモデル選択を研究するために、パリティ（XOR）タスクを用いてTransformerを訓練しました。訓練中のチェックポイントを追跡し、イン分布（IID）およびアウトオブ分布（OOD）データの両方で評価を行いました。ログ・パープレキシティ、マイクロF1スコア、および平均シャノン・エントロピー（確信度のプロキシ）の間の相関を分析しました。

主な貢献

1. 連続性によるパープレキシティの失敗の証明：
   著者らは、コンパクトなデコーダーのみのTransformerにおいて、モデルがある程度長いシーケンスを正確かつ自信を持って予測する場合、モデルが失敗する別のシーケンスが必ず存在することを証明しました。その際、シーケンスの長さが増加するにつれて、その失敗のログ・パープレキシティはゼロに近づきます。これは、正しい入力に対して高い確信度を持つことは、モデルが自信満々に間違っている「混同を招く」入力の存在を必然的に伴うことを意味します。そして、平均化によってそのエラーはパープレキシティの指標からは見えなくなります。

2. 誤ったサンプルにおける勾配の消失：
   本論文は、モデルが正しいシーケンスに対して完全な損失を達成するにつれ、対応する「混同を招く」誤ったシーケンスに対する勾配信号が消失することを実証しています。その結果、これらの誤ったサンプルに対する訓練信号は消滅し、正しいものへの高い確信度を維持しながら、これら誤ったサンプルを同時に修正するように学習することは不可能になります。

3. 分析的な等パープレキシティ曲線：
   著者らは、確信度と精度の空間における等パープレキシティ曲線の解析的な式を導出しました。彼らは以下の**「好ましくない領域」**を特定しました：

   • モデルが精度を向上させることなく確信度を高めることができ、かつパープレキシティを下げられる領域（「正当な理由のないフリーランチ」）。
   • 逆に、モデルが精度を向上させたとしても、確信度の向上が精度向上と十分に一致しない場合、パープレキシティを下げることができない領域。
   • 具体的には、完璧に自信を持ったモデルがパープレキシティによって選択されるためには、完全に正確でなければなりません。そうでなければ、拒絶されます。

4. 分布シフトへの感受性の経験的証拠：
   パリティ・タスクの実験を通じて、著者らは、パープレキシティはイン分布（IID）データにおいては精度とよく相関するものの、アウトオブ分布（OOD）データではこの関係が崩れることを示しました。OODのレジームでは、高精度（低エントロピー）を持つモデルが、精度が低いにもかかわらず、最高のパープレキシティ・スコアを獲得することがあり、事実上、等パープレキシティ曲線の「誤った側」に位置することになります。

結果

• 理論的限界： 証明により、Transformerの表現の連続性が、モデルが正しいシーケンス $\alpha_N$ に対して非常に高い確信度を持ちつつ、近傍のシーケンス $\beta_N$ に対しては失敗するというシナリオを作り出し、$\beta_N$ のパープレキシティが $N \to \infty$ においてゼロに収束することを裏付けました。
• 経験的傾向：
  • コピー・タスク実験では、摂動を加えたシーケンス $\beta_N$ を正しくコピーする確率がほぼゼロに崩壊した一方で、正しいシーケンスと誤ったシーケンスの間のログ・パープレキシティは収束しました。これは理論的予測を検証するものです。
  • パリティ・タスクでは、イン分布データについてはログ・パープレキシティと精度の間のピアソン相関は強く負（$r \approx -0.94$）でしたが、アウトオブ分布（OOD）データでは正となりました。
  • 最高精度のOOD精度を持つチェックポイントは、しばしば最悪のOODパープレキシティを示しており、これらのチェックポイントは低エントロピー（高確信度）という特徴を持っていました。

意義と主張

本論文は、パープレキシティが単なる集計のアーティファクト（長文コンテキストの平均化に焦点を当てた先行研究が示唆するもの）ではなく、確信度と対数尤度の数学的な関係によって本質的に偏っていると主張しています。

• モデル選択のリスク： 著者らは、パープレキシティのみに依存したモデル選択は、特に分布シフトや長文コンテキストを伴うレジームにおいて、「自信はあるが間違っている」モデルを選択してしまう可能性があると主張しています。
• 訓練ダイナミクス： 本研究は、パープレキシティを最小化しようとする駆動力が、モデルに精度を確信度とトレードオフすることを促し、モデルが精度を高めることなく確信度を高め、それでもなお指標のスコアを改善できてしまう「好ましくない領域」を生み出すことを示唆しています。
• 注意喚起： 本論文は、パープレキシティに代わる新しい指標を提案するものではありません。むしろ、これは診断的な警告として機能します。精度を直接測定できない場合には、パーデックスをモデル品質のプロキシとして使用する際に適切な注意を払うべきであることを示唆しており、モデル選択のプロトコルにおいてモデルの確信度と分布シフトを考慮する必要性を強調しています。

要約すると、本論文は、パープレキシティは「正しさ」と「誤り」を必ずしも区別できないことを示す、厳密な理論的および経験的な基礎を提供しています。なぜなら、自信を持って間違っているモデルによってもパープレキシティは最小化され得るため、汎化性能の信頼できる選択指標としては機能しないからです。