Mutation Testing of Task-Scoped State Oracles in Software-Agent Benchmarks: A Cross-Benchmark Empirical Study
本論文は、状態限定的なオラクルが、有害な状態故障や無害なスキーマの変動を効果的に拒絶することを明らかにする決定論的なミューテーションテストプロトコルを提示すると同時に、スコアが変わらないにもかかわらず評価者が意図しない永続的な副作用を検出できないToolSandboxにおける特定の偽陰性を特定するものである。