技術要約：封印された監査における符号付き圧縮の進捗

問題提起

圧縮または予測の進捗に基づく内発的動機付けは、シュミドフーバーによる人工的な好奇性に関する研究に端を発する、エージェント学習を駆動するための長年の提案である。その核心となるアイデアは、エージェントの世界モデルが経験の予測または圧縮において改善したときに報酬を与えるというものである。しかし、これらの報酬の非公式な定式化は、エージェントがターゲットとなる分布に対して真の改善を達成することなく、プロキシ報酬を最大化してしまう「グッドハートの法則（報酬ハッキング）」に対して脆弱である。

特定された具体的な失敗モードには以下が含まれる：

• ストリーム・スコアリング（Stream Scoring）：エージェントが、ターゲット分布上で劣化しながらも、自身で適応的に選択したデータストリームにおいて改善を行う。
• クリッピング（Clipping）：純粋な進捗がゼロであるにもかかわらず、正の報酬を得るために状態間を循環する（例：忘却と再学習）。
• ホールドアウトの再利用（Holdout Reuse）：繰り返されるスカラーフィードバックに対して、有限の検証セットに過学習する。
• ノイズへの誘引（Noise Attraction）：予測誤差ボーナスが、不可避なノイズ（「ノイジーTV」問題）の減少に対して報酬を与えてしまう。

本論文は、定量的な問いを投げかけている。どのような精密な測定条件の下で、圧縮進捗の信号が「信頼できる（credible）」ものになるのか。ここでいう信頼できるとは、累積報酬が真の監査改善量を有限かつ有界な量を超えて上回ることができない状態を指す。

方法論

著者らは、**封印された監査（Sealed Audit）における符号付き監査圧縮進捗（Signed Audit Compression Progress: Audit-CP）**という形式的な測定フレームワークを提案している。

コア定義

1. 封印された監査分布 ($Q$)：エージェントの適応的な学習軌跡から独立した固定された分布。エージェントは、許可されたリリースメカニズムを通じてのみ、$Q$を選択、歪曲、または検査できる。
2. 監査損失 ($E(\theta)$)：モデルの状態 $\theta$ が $Q$ に対して持つ期待損失（例：ログロスまたはクロスエントロピー）。
3. 符号付き進捗 ($r_t$)：ステップ $t$ における報酬は、監査損失の符号付き減少量として定義される：
   $$r_t = E(\theta_{t-1}) - E(\theta_t)$$
   極めて重要な点は、負の進捗（損失の増加）もエージェントに課されることである。報酬はクリップされない。

理論的枠組み

論文では、ホライゾン $T$ にわたる累積報酬が**入れ子状の和（telescoping sum）**を形成することを確立している：
$$\sum_{t=1}^T r_t = E(\theta_0) - E(\theta_T)$$
この恒等式は、累積報酬が監査損失の純粋な改善量と正確に一致することを意味する。したがって、真の監査パフォーマンスが停滞または劣化している場合、いかなる方策も累積報酬を無限に押し上げることはできない。

有限の監査パネル（サイズ $n$ のサンプル $A_n$）の場合、報酬は経験的（$\hat{r}_t$）となる。論文では、累積経験的報酬が真の改善量を、モデルクラスのパネルにおける一様偏差 $\Delta_n$ の2倍を超えないことを証明している：
$$\sum_{t=1}^T \hat{r}_t \leq E(\theta_0) - E(\theta_T) + 2\Delta_n$$
この結果は**ホライゾンフリー（horizon-free）**である。つまり、パネルがモデルクラスを一様に制御している限り、適応によるコストは時間の経過とともに蓄積しない。

アルゴリズムの分離

著者らは、報酬信号とスケジューラを区別している：

• 報酬信号：Audit-CPは、信頼できる会計信号を提供する。
• スケジューラ：マルチプライ・ウェイツ（MWU）やEXP3アルゴリズムは、Audit-CP報酬に基づいて異なるデータソース間のトレーニングリソースを割り当てる。この分離により、スケジューラはハック可能なプロキシではなく、信頼できる信号を最適化することが保証される。

主要な貢献

1. 予算化されたグッドハート耐性：論文では、累積報酬が真の改善量を有限の予算 $\Gamma$ を超えて上回ることができない場合、信号は「予算化されたグッドハート耐性がある」と定義される。厳密な封印監査CPでは $\Gamma=0$ であり、有限パネルCPでは $\Gamma = 2\Delta_n$ である。
2. 機械化された証明：構造的な核となる理論（入れ子の恒等式、有限監査の境界、エントロピーフロア、およびギブスの非負性）は、Lean 4において機械化されている。これには、厳密な入れ子の証明と、一様偏差の下での条件付きグッドハート耐性の証明が含まれる。
3. エントロピーフロア定理：ログロスに関して、監査損失はデータの条件付きエントロピーによって下限が抑えられることを証明している。これにより、純粋なランダム成分（ノイズ）には有限の改善予算があり、モデルがエントロピーフロアに達すると、それ以上の圧縮進捗を生み出せないことが保証される。
4. 実験的検証：ARC-TGI（グリッド変換タスクの生成器）を用いた包括的な実験スイートにより、様々な失敗モードおよびベースラインに対する理論の妥当性を検証している。

実験結果

実験は理論的境界を裏付けるとともに、手法の有効性の境界を特定している：

• 有限監査の集中：経験的な一様偏差（$\Delta_n$）は $n^{-0.527}$ のスケールで推移し、有限クラスに対する理論的な $n^{-1/2}$ のレートと密接に一致している。
• 報酬信号のアブレーション：ノイズのディストラクターを含むカリキュラムにおいて、Audit-CPは非オラクル・ベースラインの中で最も高いアクティブセル再構成精度（0.387）を達成し、予測誤差（0.338）を大幅に上回った。決定的なことに、Audit-CPはノイズ・ディストラクターへのサンプリング予算を約22%しか割り当てなかったのに対し、予測誤差は約50%を割り当てていた。
• 符号付き vs クリッピング：報酬をクリップ（正の進捗のみを使用）すると、エージェントが報酬をファーミング（累積報酬 +1.49 を蓄積）できた一方で、符号付き進捗はほぼゼロに留まった。これは、循環を防ぐために符号付きの会計が必要であることを裏付けている。
• ストリーム vs 監査：ストリーム・スコアによる進捗（エージェント自身のデータに基づく報酬）は、封印監査による進捗を約40倍過大評価しており、ストリーム・スコアリングが監査進捗の有効なプロキシではないことを確認した。
• 適応的スカラーフィードバック攻撃：
  • ナイーブな再利用：適応的な攻撃者が再利用可能なパネルに過学習することで、見かけ上の進捗と真の進捗の間に3.24のギャップを生じさせ、これは $2\Delta_n$ の閾値（1.64）を超えた。
  • 防御策：標準的なリリース防御（新鮮なサブサンプリング、ラダリング、丸め、ワンショットリリース）は、このギャップを理論的閾値以下に抑え、攻撃を効果的に抑制した。
• キャリブレーション：温度スケーリングは、ハードな精度を変えることなくログロス（NLL）とECEを変化させた。これは、Audit-CPが単なる0-1識別ではなく、確率的なキャリブレーションを測定していることを示している。

意義と主張

本論文は、封印された監査における符号付き圧縮進捗が、真の改善を示す「会計信号」であることを主張している。その意義は、圧縮進捗がグッドハートの法則に対して耐性を持つための精密な測定条件を提供した点にある。

• 信頼性：報酬はエンドポイントの会計恒等式であるため、信頼できる。いかなる長期的な報酬の増大も、「真の監査損失の減少」によって支払われなければならない。
• 失敗モード：論文は、この保証が失敗する箇所を明示している。すなわち、進捗がクリップされた場合、エージェント自身のストリームに基づいてスコアされた場合、高容量のモデルクラスが再利用可能なパネルを記憶した場合、あるいは監査分布が封印されていない場合である。
• 設計ルール：内発的動機付けおよび再帰的自己改善システムのために、著者らは以下の設計ルールを提案している。圧縮進捗を監査報酬として使用し、探索のための別個のスケジューラを用い、負の進捗を保持し、監査を保護された測定器として扱うこと。

著者らは、本研究の主張について控えめな姿勢をとっており、これは測定条件を提供するものであり、安全性の保証ではないとしている。これは、信号が真の改善量を有限の予算を超えて過大評価できないことを証明するものではあるが、監査分布が能力のあらゆる側面を捉えていることや、エージェントが安全であることを保証するものではない。本研究の役割は、圧縮進捗の境界条件を可視化し、数学的に扱いやすくすることにある。