Did It Happen? Counterfactual Evaluation of LLM Agent Recovery from Ambiguous Tool Outcomes
Cet article introduit un banc d'essai contrefactuel démontrant que si les délais d'expiration d'outils ambigus imposent un plafond de réussite de 50 % à la récupération des agents LLM, l'implémentation de contrats d'idempotence stables permet une récupération parfaite, tandis que le fait de s'appuyer uniquement sur les informations de statut ne produit qu'une amélioration partielle.