技術的サマリー：UG-TTT（不確実性ガイド型テスト時学習）

問題定義

大規模言語モデル（LLM）を用いた自動科学発見は、構造的な限界に直面している。標準的な強化学習（RL）は平均性能を向上させることができるが、真に新規な解を発見できず、達成可能な最大報酬が早期に頭打ちになる傾向がある。この現象はモード崩壊と称され、標準的な RL の目的関数が期待報酬を最大化する性質上、高分散の突然変異を本質的に罰するためである。その結果、方策はトレーニングデータに見られる「安全で慣れ親しんだ」パターンに収束し、知識の最前線にある希薄で高報酬の領域を探求することを放棄する。

これを緩和しようとする既存の試み（エントロピーボーナスや信頼度に基づく重み付けなど）は、単一の学習済みネットワークに依存している。これらの手法は、アレイタロア的不確実性（不可避な入力曖昧さ）とエピステミック不確実性（モデルの学習済み知識におけるギャップ）を区別できない。科学発見においては、この混同は致命的である。方策は、真の知識の最前線（ブレイクスルーが発生する場所）ではなく、曖昧だが慣れ親しんだ領域に計算リソースを浪費してしまう。さらに、既存のテスト時学習（TTT）システムはしばしば多様性の崩壊に悩まされ、複数のアダプターや軌道が同一の重み設定に収束することで、あらゆる探求シグナルが無効化される。

手法：UG-TTT

著者は、アンサンブルの多様性を維持し、探求をエピステミック不確実性の高い位置へ誘導するように設計されたフレームワーク、UG-TTT（不確実性ガイド型テスト時学習）を提案する。この手法は、TTT-DISCOVER ベースラインを、3 つの結合コンポーネントで拡張したものである。

1. LoRA アンサンブルによるエピステミック不確実性

単一のアダプターの代わりに、UG-TTT は共有された凍結ベースモデル上で $K$ 個の低ランクアダプター（LoRA）のアンサンブルを維持する。各アダプター $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ は、変分事後分布からの独立したサンプルとして扱われる。

• シグナル: システムはトークンレベルで相互情報量（MI）を計算し、エピステミック不確実性を定量化する。これは、アンサンブルの混合分布のエントロピーと、個々のアダプターの平均エントロピーとの差として定義される。
  $$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$$
• 解釈: 高い MI は、アンサンブルメンバーが次のトークンについて異議を唱えていることを示し、モデルがまだ解決していない領域（高いエピステミック不確実性）をシグナルする。低い MI は、トークンが曖昧であっても（アレイタロア的不確実性）、合意があることを示す。
• 集約: 意味のあるシグナルに焦点を当てるため、MI はロールアウト内の最も不確実な上位 7% のトークンに対してのみ平均化され、アダプターが自明に合意する構文のボイラープレートは除外される。

2. 不確実性形状化アドバンテージ

生 MI シグナルは、探求ボーナスとして方策勾配に統合される。

• 正規化: MI スコアは、タスク間でのスケール不変性を確保するため、各ロールアウトグループ内で標準化される。
• 動的結合: 探求係数は、方策の信頼性を測定する適応的エントロピー温度 $\beta(s)$ に結合される。方策が鋭くなる（潜在的なモード崩壊を示す）につれて、探求圧力が自動的に増大する。これにより、ボーナスは方策が狭い解のセットに収束するリスクがある場合にのみ正確に適用される。
• 損失関数: 形状化されたアドバンテージ $A^{shaped}_i$ は、クリップされた重要度サンプリング損失における標準的なアドバンテージを置き換え、方策を高 MI 位置へと誘導する。

3. 部分空間多様性正則化器（NNM）

アンサンブルアダプターが同一の重み設定に崩壊し（これにより MI がゼロになる）、を防ぐため、著者は核ノルム最大化（NNM）正則化器を導入する。

• メカニズム: この正則化器は、アンサンブル全体にわたってスタックされたダウン射影行列（$A^{(k)}$）の核ノルム（特異値の和）を最大化する。
• 理論的保証: 著者は（命題 2 で）証明している。固定されたフロベニウスノルム制約の下では、アダプターの行空間が互いに直交しているときに、核ノルムの大域的最大値が達成される。この幾何学的条件は、各アダプターが異なる入力部分空間に注意を向けることを保証し、BALD（不一致によるベイズ能動学習）分解の実質性を維持する。

主要な貢献

1. 不確実性の分解: 本論文は、独立して適応された重み仮説間（LoRA アンサンブル経由）の不一致を測定することが、単一ネットワークアプローチには存在しないシグナルであるエピステミック不確実性を分離するために必要であることを実証している。
2. 新規正則化: 核ノルム最大化正則化器の導入は、アンサンブル多様性を維持するための決定的なメカニズムとして特定されている。これを欠くと、アダプターは 2 エポック以内に同一の解に収束し、探求シグナルが消失する。
3. 効率的なテスト時学習: UG-TTT は、重み上の明確な事後分布を維持しつつ、フルモデルの複製に伴う計算コストを回避する、少数の低ランクアダプターによる小規模アンサンブルでこれらの成果を達成する。

実験結果

この手法は、Qwen3-8B モデルを用いて、4 つの科学発見ベンチマーク（AC1、AC2、CP26、および Erdős）で評価された。

• 最大報酬: UG-TTT は、TTT-DISCOVER ベースラインと比較して、4 つのタスクのうち 3 つで最大報酬（$R_{max}$）を向上させた。4 つ目のタスク（Erdős）では、ベースラインの天井値に匹敵しつつ、質的に異なる解を発見した。
• 多様性の維持: ベースラインの解ファミリーのエントロピーは 5 エポックまでに約 0.65 ビットに崩壊したが、UG-TTT は約 1.42 ビットのエントロピーを維持した。これは、モデルが単一の「安全な」戦略に収束するのではなく、多様なアルゴリズムファミリーを探求し続けたことを示している。
• 新規解の発見:
  • AC1: UG-TTT は上位 30 回ロールアウトの 18 回でコーシー・シュワルツの目標（$\sqrt{2n}$）を発見したが、ベースラインは 30 回中 1 回しか発見しなかった。
  • AC2: ベースラインは scipy.optimize.differential_evolution を利用できなかった（上位 30 回ロールアウトで 0 回）のに対し、UG-TTT は 30 回中 13 回で利用し、より高い報酬を達成した。
  • Erdős: UG-TTT は、ベースラインが決して到達しなかったフーリエベースの初期化戦略を発見した。
• 効率性: UG-TTT は、ベースラインが 25,600 回必要としたロールアウトに比べて、384 回で CP26 における最先端の天井値に到達した。

意義と主張

本論文は、テスト時発見における多様性の崩壊が、単一モデル・スカラー報酬最適化の構造的帰結であると主張している。アンサンブルベースの相互情報量シグナルを核ノルム正則化器と結合させることで、UG-TTT は方策を真の発見が可能な「知識の最前線」へと成功裡に誘導する。

著者は、核ノルム正則化器がシステムの「荷重を支えるコンポーネント」であると強調している。アブレーション研究により、これを除去すると不確実性シグナルが崩壊し、システムが標準的な RL 行動に戻ることが確認された。この研究は、スパース報酬の科学発見タスクにおいて探求を維持するためには、アダプター間の部分空間直交性を維持することが必要条件であることを示唆している。

論文は一般化については控えめであり、結果は特定のモデル（Qwen3-8B）、単一の GPU 構成、および固定されたアダプター数（$K=5$）に基づいていると指摘している。また、ストリーミング早期停止メカニズムは特定のタスクに対して経験的に較正が必要であり、ノイズの多い検証器や学習済み検証器への移植には再較正が必要であると認めている。