Mutation Testing of Task-Scoped State Oracles in Software-Agent Benchmarks: A Cross-Benchmark Empirical Study
Cet article présente un protocole de test de mutation déterministe qui révèle que les oracles à portée d'état dans les benchmarks d'agents logiciels rejettent efficacement les fautes d'état nuisibles et les variations de schéma bénignes, tout en identifiant des faux négatifs spécifiques dans ToolSandbox où les évaluateurs ne parviennent pas à détecter des effets secondaires persistants involontaires malgré des scores inchangés.