Résumé Technique : Les Agents Savent-ils Ce Qu'ils Ne Peuvent Pas Faire ?

Énoncé du Problème

Les agents utilisant des outils, qui exploitent les grands modèles de langage (LLM) pour interagir avec des API et des environnements externes, engendrent souvent des coûts de calcul substantiels en raison de chaînes de raisonnement longues et d'une utilisation itérative des outils. Dans des scénarios de déploiement pratiques, de nombreuses tâches deviennent non réalisables car les capacités spécifiques requises pour leur achèvement réussi sont indisponibles sous les contraintes actuelles des outils et de l'environnement.

Les benchmarks actuels d'agents et les paradigmes d'évaluation supposent largement que les tâches sont solubles dans l'environnement fourni. Ils récompensent principalement l'exécution persistante et le succès final de la tâche, négligeant souvent les « comportements fragiles » où les agents continuent de raisonner et d'invoquer des outils même après qu'il soit devenu impossible de compléter la tâche. Cela entraîne un gaspillage sévère de jetons et des coûts d'interaction inutiles. De plus, la construction de tâches véritablement non réalisables pour l'évaluation est difficile ; les méthodes existantes reposent fortement sur une annotation humaine intensive en main-d'œuvre ou sur des stratégies de perturbation qui ne garantissent pas la suppression des capacités critiques, permettant potentiellement aux agents de résoudre les tâches via des stratégies alternatives.

Méthodologie : FeasiGen

Les auteurs proposent FeasiGen, un pipeline automatique conçu pour construire des tâches d'agents non réalisables et évaluer la capacité d'un agent à les reconnaître. Le cadre fonctionne en trois étapes :

1. Collecte de Données : Les tâches sont collectées à partir d'ensembles de données d'agents existants (BFCL, StableToolBench, API-Bank, $\tau$-bench) qui opèrent sur un ensemble d'outils fermé, où chaque tâche est associée à un pool fixe et prédéfini d'outils disponibles.
2. Identification des Outils Critiques : Le système exécute plusieurs systèmes d'agents sur les tâches solubles originales. Il collecte les traces d'appels d'outils réussis et identifie les outils critiques comme l'intersection des outils partagés par toutes les stratégies d'exécution réussies et diversifiées. L'hypothèse sous-jacente est que les outils constamment requis à travers différentes trajectoires réussies représentent des dépendances d'exécution indispensables.
3. Génération de Tâches Non Réalisables : Les outils critiques identifiés sont masqués (supprimés) du pool d'outils candidats. Cela transforme la tâche initialement soluble en une tâche non réalisable dans l'environnement contraint.

Protocole d'Évaluation :
L'article introduit des métriques d'évaluation conscientes de la faisabilité au-delà des taux de réussite standard des tâches :

• Taux de Continuation Fausse (FCR) : Mesure la proportion de tâches non réalisables où l'agent échoue à détecter la capacité manquante et continue l'exécution au lieu de s'arrêter.
• Coût en Jetons pour Arrêt Précoce ($TC_{early-stop}$) vs Coût en Jetons pour Échec de Tâche ($TC_{task-failure}$) : Quantifie le compromis d'efficacité, mesurant les jetons économisés par une terminaison précoce par rapport aux jetons gaspillés sur une exécution échouée.
• Score de Succès Conscient de la Faisabilité (FASS) : Une métrique unifiée combinant la détection correcte de la faisabilité et l'achèvement réussi de la tâche sur les tâches réalisables.

La vérification humaine sur un sous-ensemble statistiquement fondé (95 % de confiance, 5 % de marge d'erreur) a confirmé que 94,7 % des instances construites sont véritablement non réalisables.

Résultats Clés

Des expériences ont été menées sur neuf modèles modernes (incluant les familles GPT-5.5, DeepSeek-V4, Qwen3.5 et Llama3.1) dans des architectures à agent unique et multi-agents (planificateur-exécuteur).

• Détection Faible de la Non-Réalisabilité : Les systèmes d'agents actuels présentent une capacité significativement faible à détecter les tâches non réalisables. Le Taux de Continuation Fausse (FCR) varie de 23,5 % (GPT-5.5, le mieux performant) à 73,9 % (Qwen3.5-9B). Cela indique que les agents gaspillent fréquemment des ressources en tentant des tâches impossibles.
• Impact sur l'Efficacité : Ne pas détecter la non-réalisabilité est coûteux. Le coût en jetons de l'exécution échouée ($TC_{task-failure}$) est 2,3 à 5,0 fois plus élevé que le coût de l'arrêt précoce ($TC_{early-stop}$) à travers les modèles.
• Amélioration par Multi-Agents : Les architectures multi-agents améliorent considérablement la détection de la non-réalisabilité. En introduisant une étape de planification qui décompose les tâches et identifie les capacités requises avant l'exécution, le FCR moyen chute de 54,6 % (agent unique) à 17,5 %. La meilleure paire multi-agents (Qwen-122B $\to$ GPT-OSS) a atteint un FCR de 2,6 %.
• Mode de Raisonnement : L'activation des modes de raisonnement améliore généralement la détection et réduit la consommation de jetons pour l'arrêt précoce, bien que l'effet varie selon la taille et la famille du modèle.
• Anomalies de Mise à l'Échelle : La conscience de la faisabilité ne s'échelle pas uniformément avec la taille du modèle. Alors que les modèles Qwen3.5 montrent une détection améliorée avec des paramètres plus nombreux, les modèles Llama3.1 se dégradent (le FCR augmente de 29,3 % de 70B à 405B), suggérant que les choix d'entraînement et les objectifs d'alignement (par exemple, récompenser l'engagement plutôt que le refus) influencent cette capacité davantage que le nombre de paramètres seul.
• Contamination des Benchmarks : L'étude a observé de « faux positifs » où des agents ont généré des réponses correctes pour des tâches non réalisables sans invoquer d'outils. L'analyse manuelle a suggéré que 91 % de ces cas impliquaient la production directe de réponses finales, probablement due à la mémorisation des sorties de tâches à partir des corpus de pré-entraînement (contamination des benchmarks), plutôt qu'à un raisonnement véritable sur la disponibilité des outils.

Signification et Contributions

L'article revendique les contributions suivantes :

1. Pipeline FeasiGen : Le premier cadre automatique pour construire des tâches d'agents non réalisables en identifiant et en masquant les dépendances d'exécution critiques, atteignant plus de 94 % de précision dans la vérification humaine.
2. Évaluation Consciente de la Faisabilité : L'introduction de métriques (FCR, rapports de coûts en jetons) qui mesurent explicitement la capacité d'un agent à reconnaître les contraintes et à terminer l'exécution, comblant une lacune dans les paradigmes d'évaluation actuels qui se concentrent uniquement sur le succès de la tâche.
3. Preuves Empiriques des Limites : Une évaluation complète révèle que les agents actuels, même les plus performants, peinent à reconnaître les conditions de non-réalisabilité, entraînant un gaspillage significatif de ressources.
4. Insights Architecturaux : La découverte que la décomposition multi-agents (spécifiquement l'étape de planification) est un facteur dominant dans l'amélioration de la détection de la faisabilité, offrant une voie pratique vers des systèmes d'agents plus efficaces et robustes.

Les auteurs concluent que le succès de la tâche seul est insuffisant pour évaluer le comportement robuste des agents dans des scénarios pratiques. Ils soulignent que les benchmarks existants peuvent surestimer la véritable capacité des agents en raison de la mémorisation et d'un manque de raisonnement conscient des contraintes, exhortant la communauté à intégrer la détection de la faisabilité dans les protocoles d'évaluation standard.