技術要約: PACE – 自己進化型エージェントのための、いつでも有効な（Anytime-Valid）受容テスト

1. 問題定義：「静かなる弱点」としての自己進化

自己進化型エージェントは、自身のプロンプト、スキル、またはワークフローの修正案を反復的に提案し、パフォーマンススコアに基づいてそれらの変更をコミットするかどうかを決定することで動作します。研究の多くは、候補を生成するメカニズムである**提案者（proposer）**の改善に焦点を当ててきましたが、受容者（acceptor）（変更をコミットするかどうかを判断するルール）はほとんど見過ごされてきました。

標準的な受容ヘリスティックは「強欲（greedy）」です。すなわち、候補となる修正が、現行のモデル（incumbent）よりも保持された開発セット（$D$）においてスコアが向上した場合にのみ、その修正がコミットされます。本論文は、このアプローチにおける重大な統計的欠陥を指摘しています。

• 制御されていない適応的多重テスト: エージェントは、同じノイズを含む開発セットに対して、受容ルールを数百回適用します。
• エージェントのPハッキング: 開発セットが小さく再利用されるため、そのスコアは真のパフォーマンスのノイズの多い推定値となります。このノイズに対して繰り返しテストを行うことで、エージェントは実質的に「自己に対してPハッキング」を行っています。これにより、偽のコミット（ノイズによって偶然スコアが向上したが、真のパフォーマンスは向上していない変更）と、有害なコミット（パフォーマンスを積極的に低下させる変更）が蓄積されます。
• 結果: これにより、「チャーン（空回り）」が発生します。エージェントは絶えず自身を修正し続け、最適性能から逸脱し、特に確率的な環境や小規模なモデルにおいて性能を劣化させます。

2. 手法: PACE (Paired Anytime-valid Commit Evaluation)

著者らは、PACEを提案しています。これは、コミットの決定を逐次仮説検定として再定義する、トレーニング不要の統計的な「コミット・ゲート」です。

コアメカニズム

1. ペア評価 (Paired Evaluation): 現行モデル（$c_t$）と候補モデル（$c'_t$）のスコアを開発セット上で絶対値として比較するのではなく、PACEはそれらを同一のインスタンス上で評価します。一致するケース（両方正解、または両方不正解）を排除し、不一致のペア（一方が正解で他方が不正解であるケース）に焦点を当てます。これはMcNemar型の比較に従っており、インスタンスの難易度から候補の真の改善度を分離します。
2. 賭けによるテスト (Testing by Betting - E-process): PACEは、e-process（非負のマルチンゲール）を採用して証拠を蓄積します。
   • プロセスは「富（wealth）」$E_0 = 1$ から始まります。
   • 各不一致ペアに対して、プロセスは現在の富の割合 $\lambda$ を、候補が正解であるという方に賭けます。
   • 富は次のように更新されます：$E \leftarrow E \cdot (1 + \lambda(2w - 1))$。ここで、$w=1$ は候補がペアに勝利した場合、$w=0$ は敗北した場合です。
   • 帰無仮説（候補が優れていない）の下では、期待される富は1のままです。もし候補が真に優れていれば、富は増加します。
3. いつでも有効な停止ルール (Anytime-Valid Stopping Rule): 蓄積された富 $E$ が閾値 $1/\alpha$（$\alpha$ はユーザーが設定する偽コミット確率、例：0.05）を超えた直後に、エージェントは候補をコミットします。
   • オプション停止 (Optional Stopping): このテストは、閾値を超えた時点で評価を早期終了した場合でも有効性を保ちます。
   • 棄却: 予算が尽きた時点で閾値を超えなかった場合、候補は拒否されます。

理論的保証

PACEは、**候補ごと（per-candidate）**の保証を提供します。すなわち、単一の候補について、改善しない変更をコミットする確率は、いつテストを停止したか（オプション停止）に関わらず、$\alpha$ によって制限されます。これは、実行レベルの家族誤差制御（familywise error control）とは異なります。これは、個々の決定が統計的に健全であることを保証し、エージェントの生涯における偽陽性の蓄積を防ぐものです。

3. 主な貢献

1. 診断: 本論文は、強欲な受容ルールが、制御されていない適応的多重テストであることを形式的に特定し、偽のコミットおよび有害なコミットの高い発生率を予測・実証しました。
2. 手法 (PACE): コミットステップを逐次的なテストに変換する、単純な約10行のアルゴリズム・ラッパーです。これはトレーニングを必要とせず、ペアによる正誤の結果のみを消費するため、プロポーザーの内部メカニズムに依存しません。
3. 実証的証拠: 算術（GSM8K, SVAMP）および科学（ARC-Challenge）のタスクにおけるQwen2.5エージェント（0.5B–3B）を用いた広範な評価。

4. 実験結果

著者らは、PACEを制御されたレジーム（Controlled Regime）（ノイズの中に既知の有益な編集が隠されている状態）と、確率的レジーム（Stochastic Regime）（真の利得が存在せず、サンプリングノイズのみが存在する状態）の2つの条件下で評価しました。

制御されたレジーム (既知の利得)

• Greedy (強欲): 1回の実行につき3～3.4回の変更をコミットしました。そのうち30～42%が偽のコミットであり、10～33%が有害でした。
• PACE: たった一つの真の改善を正確にコミットしました（偽コミット0%、有害0%）。
• パフォーマンス: PACEは、保持された精度向上においてGreedyと同等の性能を示しましたが、分散は大幅に低くなりました（例、3Bモデルにおいて：PACEは $+0.74 \pm 0.04$ に対し、Greedyは $+0.54 \pm 0.30$）。
• コスト: PACEは、証拠が決定定的になった時点で早期に停止することにより、評価コストを約18%削減しました。

確率的レジーム (利得なし)

• Greedy: 1回の実行につき13～21回の偽の修正をコミットしました（72～100%が偽）。最も脆弱なエージェント（0.5B）では、このチャーンにより真の精度が4.9ポイント低下しました。
• PACE: 実質的に何もコミットしませんでした（1回あたり0～0.3回）。これにより、ベースラインの精度を維持しました。
• 比較: 他の統計的ベースライン（固定$n$のペアテスト、オンラインFDRなど）は、制御された設定で真の利得を見逃すか、あるいは確率的設定においてノイズを抑制する能力においてPACEほど効果的ではありませんでした。

感度と汎用性

• 堅牢性: PACEは、幅広い $\alpha$ (0.01–0.10) および開発セットのサイズ ($n=20$ to $80$) において、0%の偽コミットを維持しました。
• 汎用性: 結果は異なるタスク（SVAMP, ARC-Challenge）およびモデルスケール間で一貫しており、問題が特定のタスクに固有のものではなく、ノイズの多い評価下における受容ルールの特性であることを裏付けています。

5. 意義と主張

本論文は、自己進化ループにおいて、**受容者（acceptor）**こそが重要かつ見落とされているコンポーネントであると位置づけています。

• 生の利得よりも信頼性: PACEの主な価値は、必ずしも平均的な精度向上を増大させることではなく（Greedyが同等の結果を出すこともあります）、ノイズによる劣化と不安定化というダウンサイドリスクを排除することにあります。
• 決定ごとの制御: 本論文は、実行レベルの家族誤差制御ではなく、**決定ごと（per-decision）**の偽コミット境界（$\le \alpha$）を明示的に主張しています。各決定を独立して制御することが、Greedyのアプローチで見られるエラーの累積を防ぐのに十分であると論じています。
• 謙虚な姿勢: 著者らは以下の限界を認めています：
  • 保証はペアの帰無仮説に基づいています。つまり、非常に小さな利得を検出する力（予算内で閾値を超えられなかった場合に拒否される可能性がある）を制御することはありません。
  • 手法は、単一のモデルファミリー（Qwen2.5）に対するプロンプトレベルの進化で示されています。インターフェースは一般的ですが、システムレベルの汎用性は議論されているものの、証明はされていません。
  • PACEは、開発セット自体が検出できない改善を証明することはできません。

結論として、本論文は、信頼できる自己進化には、有能な提案者と同じくらい、統計的に厳密な受容者が必要であると主張しています。PACEは、エージェントがノイズに対して「空回り」することを防ぐための、シンプルでトレーニング不要のメカニズムを提供し、自己修正が統計的なドリフトではなく、真の改善につながることを保証します。