Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

技術要約：プロダクションLLMエージェントのレイヤー分離型評価

問題提起
現在の大規模言語モデル（LLM）エージェントの評価パラダイムは、エンドツーエンドのタスク成功指標に大きく依存しています。これらの集計数値はエージェントが退行したかどうかを示す指標にはなりますが、エージェントの複雑なアーキテクチャ（意図解釈、プランニング、安全性検証、メモリなど）の「どこ」で失敗が発生したのかを診断することはできません。特定の故障したサブシステムを特定するには、確率的なライブ・エージェント・エピソードを再実行し、二分探索的に変更箇所を特定する必要があり、このプロセスは低速でノイズが多く、コストがかかります。さらに、集計指標は局所的な退行を「隠蔽（マスク）」してしまうことがあります。単一コンポーネントにおける重大な失敗が、システム全体の成功によって希釈され、全体的なパス率の低下が通常の分散（バラツキ）と区別がつかなくなるためです。

手法
著者らは、プロダクション環境の飲食注文エージェント向けに設計された、決定論的でLLMを使用しないテストハーネスである**レイヤー分離型評価（Layer-Isolated Evaluation）**を提案しています。この手法は、以下の3つのコアコンポーネントで構成されています。

1. アーキテクチャの分解: エージェントを23の固定されたタクソノミーのアーキテクチャレイヤー（例：オントロジー事前解決、意図シグナル、ルーティング、分解、エスカレーション、安全性、メモリ、および横断的な防御）に分解します。
2. 純粋モードによるアサーション・スライス（Pure-Mode Assertion Slices）: 各レイヤーは、決定論的でLLMを使用しない「純粋（pure）」モードで動作する専用の「アサーション・スライス」によって実行されます。生成モデルを呼び出す代わりに、これらのスライスは決定論的な出力（例：オントロジー・リゾルバーからの標準的なID、ルールベースのエスカレーション決定、辞書による書き換え、またはサーバー側の価格再計算）に対する契約（コントラクト）を検証します。
   • フルスイートは、238のベースラインケース（225の純粋なケース ＋ 13のレガシーなエンドツーエンド・ケース）で構成されます。
   • 実行時間は約2.39秒（1ケースあたり約10ミリ秒）であり、継続的インテグレーション（CI）におけるすべてのプルリクエスト（PR）での実行を可能にします。
3. カバレッジ・ホネスティ・ベースライン（Coverage-Honesty Baseline）: システムは「スライスごとにロックされたベースライン」を採用しています。決定的な点として、これはカバレッジ・ホネスティ（網羅性の誠実性）基準を強制します。つまり、あるレイヤーにテストケースがゼロの場合、そのパス率は100%ではなくnull（未カバー）として報告されます。これにより、テストされていないコンポーネントが「グリーン（合格）」な集計スコアによって隠されることを防ぎます。

検証と結果
著者らは、**制御された退行注入（controlled regression injection）**を通じて本手法を検証しました。7つの異なるレイヤーに対して、非安全性レイヤーを一つずつ劣化させ、集計パス率と個別のスライス率の両方に与える影響を測定しました。

• マスキング現象: 本研究は、集計指標が集計的な失敗を隠蔽することを裏付けました。単一のレイヤーが劣化した場合、集計パス率の低下はわずか（-1.7〜-5.9パーセントポイント）であり、ダッシュボードのノイズとして片付けられる程度の変化でした。
• ローカライゼーション（局所化）: 対照的に、注入された欠陥に対応する特定のスライスは、「クラッター（激減）」し、-25から-91パーセントポイントの低下を示しました。
• 故障特定精度: 注入されたレイヤー自身のスライスは、7ケース中5ケースにおいて最も悪化したスライスであり、全7ケースにおいてワースト3位以内に入りました（平均順位は19スライス中1.29位）。「オフダイアゴナル（対角線外）」の影響（他のスライスへのダメージ）は、基礎となるレイヤー（オントロジー解決など）を除いてほぼ平坦でしたが、基礎レイヤーで減少が発生するとダウンストリームのスライスも失敗し、基礎的な問題であることを正しく示唆しました。
• クロス・テナントでの再現性: ローカライゼーションの結果は、構造的に異なる第2のテナント（Starbucks SG）でも再現されました。7つの該当するスライスすべてがそれぞれの注入に対して激減しており、この手法が特定のカタログに依存したアーティファクトではないことが確認されました。

主要な貢献
本論文は、以下の具体的な貢献を主張しています。

1. 決定論的ハーネス: ロックされたベースラインに対してCIをゲートする、完全に分解された、サブ秒単位で動作する、LLMを使用しないパーレイヤー・ハーネス。
2. カバレッジ・ホネスティ基準: テストされていないレイヤーを「合格」としてスコアすることを拒否するテスト妥当性ルール。これにより、「グリーン」な集計指標がテストされていないリスクを洗浄（ロンダリング）することを防ぎます。
3. マスキングの経験的検証: 集計指標が完全に見逃してしまう退行を、スライスごとのベースライン・ロックされたゲートによって特定できることを示す、退行注入によるデモンストレーション。
4. 理論の運用化: 以前は完全な実装を欠いていた、Xiaら（2024）が規定した「評価駆動型エージェント・オペレーションズ」のプロセスモデルの、具体的かつ実行可能なインスタンス化。

意義と主張
著者らは、本研究をコンポーネントレベルの評価という発明ではなく、既存の理論的枠組みの具体的かつ決定論的なインスタンス化として位置付けています。彼らは明示的に述べています。

• この手法は**ドリフト検出器（drift detector）**であり、正当性のオラクル（oracle）ではありません。スライスが「グリーン」であることは、そのレイヤーがベースラインとされた契約から変更されていないことを証明しますが、その契約自体が「正しい」ことを保証するものではありません。
• このアプローチは、エンドツーエンドの確率的テストを置き換えるものではなく、補完するものです。純粋モードはエージェントの決定論的な核をゲートしますが、生成的な振る舞いに対しては、確率的なワークフロー全体へのミューテーション・テスト（例：Bhardwaj, 2026）が引き続き必要となります。
• 主な価値は開発時のシグナルにあります。それは、故障したサブシステムを見つけるための低速でノイズの多いプロセスを、高速で決定論的、かつ実行可能なCIゲートへと変貌させることです。

結論として、注入研究は著者らが選択した欠陥（N=7）と単一のドメイン（F&B注文）に限定されていますが、集計指標が隠してしまう故障を隔離できる能力が示されたことは、急速なイテレーション中のエージェントの安定性を維持するための堅牢なメカニズムを提供します。