Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop

技術要約：AI生成コードに対する敵対的テスト・ハードニング（Adversarial Test-Hardening）

問題提起
大規模言語モデル（LLM）は、生成されるプロダクションコードだけでなく、それを検証するためのテストスイートの生成も担うことが増えている。しかし、標準的なカバレッジ指標は、どの行が実行されたかを記録するだけであり、その挙動がどれほど厳密に検証されたかまでは記録しない。LLMは「ハッピーパス（正常系）」のみを対象とした弱いアサーションを持つテストを生成する傾向があり、その結果、カバレッジは完全であるものの、欠陥検出能力に欠けるテストスイートが生じてしまう。さらに、これらの生成されたテストの評価は「LLM-as-judge（判定役としてのLLM）」プロトコルに依存することが多いが、これには自己嗜好バイアス、冗長性バイアス、および自身の出力やその系統の出力を客観的に判断できないという問題がある。ミューテーション・テスティング（変異テスト）は、欠陥検出を測定するための機械的なオラクルを提供するが、従来の敵対的ループ（例：MuTAP、AdverTest）は、「クリティック（批判者）」モデルがテストスイートを強化することによる因果的な効果を厳密に分離できておらず、また、クロスモデル比較におけるインストルメント（計測器）の非対称性を制御できていない。

手法
本研究では、機械的なミューテーション・キル・オラクル（mutmutおよびpytestを使用）を用いた、2つの役割による敵対的ループを採用している。

1. テスター（Tester）の役割: LLMが初期テストスイート（Round 0）を生成する。
2. クリティック（Critic）の役割: 第2のLLMが、特定の「生存したミュータント（初期スイートが見逃した欠陥）」を提示され、それらのミュータントを確実に殺す（検知する）ために設計された新しいテストを生成する。
3. 機械的な判定: ループは、新たなミュータントが殺されなくなるまで繰り返される。極めて重要な点は、判定は完全に機械的であることだ。生成されたテストがテストランナー下でミュータントを殺したか、あるいは殺さなかったかのみが判定される。モデルが他のモデルの出力を判定することはない。

研究は、事前登録された2つの実験で構成されている。

• 実験1: 5つのPython対象題材を用いたパイプラインレベルの比較。これは、ワンショット生成のベースライン、敵対的ループ（同一系統のクリティック）、およびクロス系統のクリティック（異なるプロバイダー）を比較した。しかし、この設計には混乱要因があった。各アームが独自のRound 0テストスイートを独立して再サンプリングしていたため、差異がループやクリティックの系統によるものか、初期サンプリングの分散によるものかを区別できなかった。
• 実験2: 因果的な、同一レプリケート内での設計。初期ドローの混乱要因を取り除くため、Round 0のスイートを固定し、すべての比較アーム（ノー・クリティック、同一系統ループ、クロス系統ループ）で共有した。これにより、クリティックによる継続的な強化の増分効果を分離した。

主要な知見と結果

• H1（再現性）: 敵対的ループは、ワンショット生成よりも有意に多くのミュータントを殺害した。実験1において、ループはワンショット生成が見逃した105個のミュータントを殺害し、損失はゼロであった。この知見は、インストルメントの欠陥を補正した後でも維持された。
• H2（クロス系統の効果）: クロス系統のクリティック（異なるプロバイダー）が、同一系統のクリティックよりも多くの生存者を殺害するという仮説は、実験1では支持されなかった。初期分析では、巨大かつ統計的に有意な効果（$p = 9.5 \times 10^{-66}$）が示されたが、これは後に**インストルメントのアーティファクト（人工的な誤差）**であると特定された。
• インストルメントの解剖（Instrument Autopsy）: 本論文の重要な発見は、初期のH2の結果が、系統に関連したインストルメントの失敗によって捏造されたものであることを突き止めた点にある。同一プロバイダーのモデル（Anthropic）には、冗長なレスポンスをサイレントに切り詰める出力トークン制限があり、その結果、同一系統のクリティックによるラウンドが拒否されるか、キル数がゼロとしてカウントされていた。一方、クロスプロバイダーのモデル（OpenAI）には同様の制限が有効になっていなかったため、同一系統の優位性が偽りの形で現れていた。インストルメントを修正し、切り詰めを検知してエラーを出すようにしたところ、有意な効果は消失し、非有意な結果（$p = 0.0625$）となった。
• 実験2の因果推定: 固定・共有されたRound 0を用いた修正後の設計において、同一系統のクリティック・ループは、固定された初期スイートによって残された生存者の平均**78.3%**を殺害した（95%クラスター・ブートストラップ区間 [0.592, 0.935]）。
• クロス構成のパイロット調査: クロスプロバイダー構成は、コストが5.5倍低いにもかかわらず、キル率においてプラスの差（0.178のギャップ）を示した。しかし、論文では、このギャップは同一プロバイダー構成が運用上の失敗（切り詰め）に見舞われた単一のレプリケートによって大きく支配されていると注記している。著者らは、これは孤立した「系統」の効果ではなく、特定の「構成（モデル + プロバイダーAPI + ハーネス）」の比較であることを強調している。
• コスト会計: 本研究は、正規化指標として「ミュータント・キルあたりのコスト」を導入している。実験2では、クロスプロバイダー・アームは、1キルあたりの増分コストにおいて6.4倍安価であった。これは、トークン単価の違いではなく、主に出力トークン量の少なさと、拒否されたラウンドの少なさに起因する。

意義と主張
本論文は、以下の3つの貢献を行う。

1. 因果推定: 固定された初期スイートに対する、ガード付きの「追加のみ（add-only）」のクリティック・ループの増分効果について、初期サンプリングの分散から隔離された、事前登録済みの、同一レプリケート内での因果的推定を提供した。
2. 構成比較: 機械的なオラクルを用いたクロスプロバイダー対同一プロバイダーの構成比較を提供し、そのような比較がモデルの系統だけでなく、特定のハーネスやAPIの挙動に敏感であることを示した。
3. インストルメントの解剖: プロバイダーに関連したインストルメントのアーティファクトの「領収書付きの解剖（receipted autopsy）」を提供した。本論文は、モデルによる判定を除去しても、実行ハーネスの非対称性（出力制限など）によって、巨大で誤ったクロスモデル間の差異が捏造され得ることを実証している。

結論
本研究は、クロスモデル比較は、それを実行するハーネスの非対称性を継承することを結論づけている。「モデルによる判定」の経路を閉じることは必要条件ではあるが、十分条件ではない。モデルに供給する装置自体も対称的である必要がある。著者らは、事後的な再解釈を防ぐための事前登録（pre-registration）と、サイレントな破損を検知するために（妥当に見える誤った数値を出すのではなく）システムを停止させて報告するフェイル・クローズド（fail-closed）な計装を提唱している。著者らは、自らの不完全なインストルメントの「解剖」自体を科学的貢献の中核として位置づけ、再現性を確保するためにすべてのプロトコル、領収書、および分析コードを公開している。