Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

技術的概要：有界予測システムにおける記述的対規制的不確実性

問題定義
本論文は、現在の大規模言語モデル（LLM）における根本的な安全性と認識論的限界、すなわち真の知識と確信に満ちた幻覚を区別できないという課題に取り組む。現在の議論はモデルの能力に焦点を当てているが、著者らは、認識論的に有益な不確実性を持つシステムと、単なる基盤のアーティファクトに過ぎない不確実性を持つシステムとの間に、より重要な区別が存在すると主張する。

核心的な問題は熱力学的脱結合として特定される。物理的計算システムにおいて、ランダウアの原理は、不可逆なビット操作には最小限のエネルギーコスト（$k_B T \ln 2$）が伴うと規定する。しかし、現在の LLM においては、この熱力学的コストが出力の認識論的品質に対して不変である。モデルが因果的に根拠のある導出を生成するか、確信に満ちた幻覚を生成するかにかかわらず、ハードウェア（例えば A100 GPU）によって散逸するエネルギーは同一である。その結果、システムの不確実性（シャノンエントロピーとして測定される）は、出力分布の統計的性質である「記述的」なものではなく、誤りを罰する物理的コスト関数に参加するシグナルである「規制的」なものではない。

理論的枠組み
著者らは、この区別を以下の 2 つの概念を通じて形式化する。

1. 熱力学的脱結合: システムの出力シャノンエントロピー（$H_{out}$）と因果的精度（$\alpha$）が、物理的基盤状態を条件として統計的に独立している場合、そのシステムは熱力学的に脱結合している。このようなシステムでは、操作あたりのエネルギーコストは認識論的誤りに比例しない（$\partial E_{cost}/\partial \epsilon = 0$）。
2. ソフトマックス脱結合定理: 固定された重みと固定された推論温度を持つトランスフォーマーにおいて、トークンレベルのシャノンエントロピーは、重み、温度、コンテキストの決定論的関数であることを著者らは証明する。これは、コンテキストが分布内（in-distribution）の検索を必要とするか、分布外（OOD）の因果的一般化を必要とするかに関わらず、構造的に独立している。物理的熱力学的システムにおいて温度がエネルギー的帰結を持つこととは対照的に、トランスフォーマーにおける「計算温度」（$\tau$）は脱結合されたハイパーパラメータである。

方法論
熱力学的脱結合の仮説を実証的に検証するため、著者らは 2 つのオーダーにわたるスケールにまたがる 3 つの Llama モデル（3B、8B、70B パラメータ）において、トークンレベルのシャノンエントロピーとタスク精度を測定する実験を実施した。

• タスクスイート: 因果的要求が増加する 3 つのカテゴリーにまたがる 18 タスクのスイートが構築された。
  • ケプラータスク: 確立された物理的関係の検索（パターン検索）。
  • ニュートンタスク: 新規のパラメータ構成への因果演算子の適用（因果的導出）。
  • ニュートン OOD タスク: あり得る訓練カバレッジを超えて設計されたパラメータ領域における導出（急激な分布シフト）。
• モデル: llama3.2:3b、Llama-3.1-8B-Instruct、および Llama-3.1-70B-Instruct。
• 測定:
  • エントロピー: 確率的サンプリングノイズを最小化するため、低い推論温度（$\tau = 0.1$）におけるトークンレベルの logprobs から抽出。
  • 精度: 数学的に検証されたグランドトゥルースに対する人間による評価を通じて評価。有効な導出を経て正しい結論に到達した場合のみ回答に 1 点を付与し、誤った結果を含む妥当なナラティブには 0 点を付与した。
• 統計分析: 各モデル内でのカテゴリー間におけるエントロピーと精度を比較するために、ウェルチの t 検定が使用された。

主要な結果
実験結果は、熱力学的脱結合の強力な証拠を提供する。

1. エントロピーの平坦性: トークンレベルのシャノンエントロピーは、3 つのモデルすべてにおいて、3 つのタスクカテゴリー全体で統計的に平坦であった。
   • モデル内のエントロピー範囲は無視できるほど小さく（0.011–0.028 ナット）、事前に指定された平坦性閾値 0.10 ナットを大きく下回った。
   • エントロピー比較のすべてのペアワイズ p 値は有意ではなかった（$p \ge 0.568$）。
2. 精度の分散: 対照的に、タスク精度はタスクカテゴリーとモデルサイズに応じて劇的に変動した（0% から 100%）。
   • 70B モデルはケプラータスクで 100% の精度を達成し、ニュートンタスクで 67%、ニュートン OOD タスクでは 17% にとどまった。
   • 正解率のこの巨大な分散にもかかわらず、エントロピーは一定であった。
3. スケール不変性: この脱結合は小規模モデルの特性ではなく、アーキテクチャ的な不変量である。より大規模なモデルはより低いベースラインエントロピー（より高い確信度）で動作していたが、エントロピーの難易度レベル間での平坦性はすべてのスケールで持続した。すべてのモデルは、不確実性の対応する増加なしに、OOD タスクにおいて同じ低い精度（17%）に収束した。

意義と主張
本論文は、現在の LLM が構造的な安全性の欠陥を有していると主張する。すなわち、「最大限に確信を持ち、同時に最大限に間違っている」ことが可能である。

• 安全性への含意: エントロピーが精度から脱結合されているため、トークンレベルのエントロピーは安全性フィルタのための信頼できる自信シグナルとして機能し得ない。エントロピーに依存して信頼性の低い出力を警告するシステムは、知識と虚構の区別に対して「機能的に盲目」である。
• アーキテクチャ的限界: これは事後の修正、ファインチューニング、またはスケーリングによって解決可能な較正問題ではない。これは、熱力学的基盤が認識論的誤差に対して無関心である固定重み推論の根本的な帰結である。
• 将来の方向性: 著者らは、「規制的不確実性」を達成するには熱力学的結合が必要であると示唆する。これは、操作のエネルギーコストがその認識論的誤差に比例してスケールするものである。彼らは、予測誤差が誤差依存のエネルギーコストを伴うリアルタイムの重み更新を駆動する内在的コストモジュールを持つニューロモルフィック・アーキテクチャがこのギャップを埋め、虚構を物理的に高価なものとし、システムの基底状態を理解と整合させる可能性があると提案する。

本論文は、真の認識論的根拠付けには、熱力学的基盤状態と情報処理コストとの間の因果的結合が必要であると結論づけており、これは現在展開されているすべての LLM に欠けている特性であると述べている。