Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

技術要約：エージェンティック・サイエンスにおける発見の主張の監査

問題提起
本論文は、自己改善型AIシステムによる科学的発見の主張を検証することの困難さを扱っている。そのようなエージェントが新しい能力（例：シュードノット構造を持つRNAの設計）を主張する場合、その証拠は通常、ベンチマークの差分、記述長によるゲート、あるいはp値に限定される。これらの指標は、真の能力獲得と、以下のようなアーティファクト（人工的な現象）を区別できない。

• オーラクル・ゲーミング（Oracle gaming）： 特定の、誤りを含む可能性のある予測器に対して過剰に最適化すること。
• 探索強度（Search intensity）： 新しい原理の獲得ではなく、より困難な探索によって性能が向上すること。
• 記憶（Memorization）： 一般化可能な規則を学習するのではなく、特定のターゲットに対する解を想起すること。
• 検証器のシフト（Verifier shifts）： エージェントのポリシーの変化ではなく、検証基準の変化によって生じる性能の変化。

著者らは、現在の手法には、これらのような混同要因から真の利得を分離するための、少なくとも一方の側で決定可能（decidable）な**両側基準（two-sided criterion）**が欠けていると主張している。

手法：両側監査（The Two-Sided Audit）
著者らは、RNA逆設計の領域、特に交差（シュードノット）構造を対象とした正式な監査フレームメントを提案している。この監査は非対称であり、負の側面と正の側面から構成される。

1. 負の側面（決定可能／厳密）：

   • 形式的基礎： チョムスキー階層を利用する。入れ子状のRNA構造は文脈自由（Context-Free, CF）であるが、交差構造（シュードノット）は緩やかな文脈依存（Mildly Context-Sensitive, MCS）である。
   • 定理： シュードノットを含まないフォールディング・オーラクル（$\Omega_{cf}$）の表現範囲は、入れ子状の構造（$L_{nest}$）に厳密に限定されている。このオーラクルが交差ペアを証明することは形式的に不可能である。
   • 監査メカニズム： 実行前に、著者らは、$\Omega_{cf}$によってのみ検証される事前のポリシーが、交差ターゲット（$L_{pk}$）の集合と互いに素である実現可能ターゲット言語 $R_{\Omega_{cf}}(\pi_{before})$ を持つことを証明する。これにより、正確なオフライン境界が提供される。つまり、事前のシステムは、探索予算に関わらず、これらのターゲットを証明することは不可能であった。

2. 正の側面（モデル相対／判定）：

   • 判定（Adjudication）： 単一の厳密なオーラクルでは交差構造を検証できないため、著者らは3つのヒューリスティック予測器のパネル（pKiss, ProbKnot, ShapeKnots）を使用する。
   • プロトコル：
     • 封印されたコミットメント（Sealed Commitment）： エージェントは、ループ内最適化の後、保持された判定器を実行する前に、設計を（ハッシュで固定して）コミットする。これにより、事後的な選択を防ぐ。
     • 棄権（Abstention）： 3つの予測器が一致しない場合、そのターゲットは「未解決」としてマークされる。これにより、モデリングのアーティファクトが能力の主張へと転換されるのを防ぐ。
     • 指標： 監査は、厳密な定理、経験的な利得、および属性テストを区別する6つのコンポーネント（$E_{range}, \Delta_{prior}, \Delta_{gamer}, \Delta_{undirected}, \Delta_{held-out}, g_{aut}$）のベクトルを報告する。

3. 実験設定：

   • ターゲットプール： Pseudobase++からの60個の交差ターゲット（開発／評価プール）と、構造的に分離された27個のターゲットプール。
   • ベースライン： 単一のオーラクル（pKiss）に対して最適化されたゲーマー・オペレーター、最小自由エネルギーソルバー（DesiRNA）、および人間が記述したオペレーター。
   • エージェントの発明： LLMエージェントにソルバーフリーのオペレーターを書くためのプリミティブを与え、その後、そのオペレーターを固定し、監査を行う。

主要な貢献

1. 両側基準： 「できるようになった（経験的利得）」と「以前はできなかった（決定可能な排除）」を分離する、能力獲得を監査するための形式的なフレームワーク。
2. 実現可能ターゲット言語の形式化： あるオーラルの下でポリシーが実現可能なターゲットの集合として $R_{\Omega}(\pi)$ を定義し、オペレーターのコードではなく、構造の言語を制約するためにポンピング補題を適用すること。
3. オーラクル・ゲーミングの提示： 単一のオーラクルに最適化されたオペレーターが、いかに能力の主張を膨らませるか（例：一つの予測器の下での43/60の成功が、三予測器パネルの下では1/60に崩壊する）を示す経験的証拠。
4. 二段階属性ゲート： 相関とメカニズムを区別するために、まずシステム間の差異となる特性を特定し、次に介入（移植）して因果関係を検証するプロトコル。
5. エージェント記述コードに関する経験的結果： 固定されたエージェント記述のオペレーターが、保持された判定器の下で、より少ないオーラクル呼び出し数でありながら人間が書いたもの outperforms するという証拠（ただし、具体的なメカニズムは特定されていない）。

結果

• オーラクル・ゲーミングの測定： pKissに対して最適化された発明されたオペレーターは、43/60の成功を達成した。しかし、保持された予測器（ProbKnot）によって再判定されると、43のうち2しか生き残らなかった。三予測器パネルの下では、60のうち1しか生き残らなかった。この43$\to$1の崩壊は、単一オーラクル指標が不十分であることを示している。
• 著者らのシステムの監査： 著者らの「パネル最適化」オペレーターは、開発プールにおいて、混合パネルの一致性が3～8/60（平均3.29）を達成した。これは、0/60の文脈自由フロアを大幅に上回っている。しかし、その利得は限定的であった：
  • $\Delta_{gamer}$： このオペレーターは単一オーラクル・ゲーマーよりも優れた性能を示したが、複製が増えるにつれて効果量は縮小した。
  • $\Delta_{undirected}$： 非誘導探索と区別がつかないレベルであり、利得は探索のガイダンスではなく、成功述語（オーラルの共役）から来ていることを示唆している。
  • 探索フリー・プローブ： オペレーターの成功の84%は、ランダムな適合配列が既にターゲットを解決していたケースで発生しており、オペレーターが「困難な」ケースを解決していないことを示している。
• ポジティブ・コントロール（エージェント記述オペレーター）： フロンティアLLMによって書かれた固定済みオペレーター（特にタイムアウトなしで実行された6モデルのうち2つ）は、人間が書いたオペレーターの0.095に対し、保持された予測器（ShapeKnots）への持ち越し率0.293を達成した。
  • この差は（D1）によって確立され、（D2）によって計算量で稼いだものではないことが示された（エージェントは4.6～10倍少ないオーラクル呼び出しを使用した）。
  • メカニズム（D3）： 7つの候補メカニズム（構造的特徴やアンサンブル・ギャップを含む）を人間が書いたオペレータに移植したが、いずれもエージェントの優位性を再現できなかった。メカニズムは未特定である。

意義と主張
本論文は、メカニズムが特定されていないため（D3に到達していないため）、新しい科学的発見はないと主張している。むしろ、その意義は監査ツール自体にある：

1. 厳格性と無感性： 監査は、真に能力を持つシステムと、単一のオーラルの失敗モードに対して単に無感なシステムを、正常に区別できる。43$\to$1の崩壊は、このツールが過剰最適化を検出できることを証明している。
2. 検証された非使用： 監査は、エージェント記述のオペレーターが、宣言されたツールクラスに対する「ソルバーフリー」の能力として、パッケージ化された逆設計ソルバーを呼び出すことなく結果を出したことを確認した。
3. 控えめな能力獲得： 著者らは、エージェント記述のオペレーターのいくつかが、厳格な保持された基準を（D1およびD2により）クリアし、かつ少ない計算コストで達成できることを確立したが、「堅牢な自律的上昇」や「発見」という主張については、メカニズムが不明であり、結果が特定のモデルと単一のベンチマーク・プールに限定されているため、明示的に控えている。
4. 限界： 著者らは、パネル予測器が熱力学的パラメータ（近傍モデル）を共有しているため、判定の独立性に限界があることを認めている。より強力な主張のためには、異なるモデルクラスの予測器が必要であるとしている。

要約すると、本論文は、単一のオーラルの失敗モードに対して無感であるだけのシステムと、真に能力を獲得したシステムを区別する厳格な両側監査プロトコルを提供しており、エージェント記述の手順が厳格な条件下で人間のベースラインを凌駕できる一方で、そのような改善の根底にあるメカニズムは依然として不透明で、帰属不能であることが多いことを明らかにしている。