Mutation Testing of Task-Scoped State Oracles in Software-Agent Benchmarks: A Cross-Benchmark Empirical Study
Este artículo presenta un protocolo de pruebas de mutación determinista que revela que los oráculos de alcance de estado en los bancos de pruebas de agentes de software rechazan eficazmente las fallas de estado dañinas y las variaciones de esquema benignas, al tiempo que identifica falsos negativos específicos en ToolSandbox donde los evaluadores no logran detectar efectos secundarios persistentes no deseados a pesar de que las puntuaciones no cambian.