PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling
Cet article introduit PluginEval, un benchmark de diagnostic qui emploie un cadre à deux étapes combinant la génération par LLM et l'exécution d'API déterministes pour traiter systématiquement les écarts de distribution de données et le manque de tests adverses, permettant ainsi une attribution d'erreurs fine pour l'évaluation du routage d'outils dans les grands modèles de langage.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseignez à un majordome robotique très intelligent et très enthousiaste comment utiliser une boîte à outils géante remplie de milliers de gadgets différents. Vous dites au robot : « J'ai faim », et il doit décider de trois choses : d'abord, a-t-il réellement besoin d'un outil, ou peut-il simplement penser à un en-cas ? Deuxièmement, s'il a besoin d'un outil, quel gadget spécifique est le bon (un mixeur, pas un marteau) ? Et troisièmement, peut-il réellement saisir ce gadget et l'utiliser correctement sans le casser ? C'est le monde de l'« appel de fonction » (function calling) dans l'intelligence artificielle. C'est la compétence qui permet aux modèles d'IA de passer du simple bavardage à l'action concrète, comme réserver des vols ou consulter la météo. Mais voici la partie délicate : ce n'est pas parce qu'un robot prononce les bons mots qu'il a choisi le bon outil ou qu'il l'a utilisé correctement. Nous avons besoin d'un moyen de tester si le robot est vraiment intelligent ou s'il a juste eu de la chance.
C'est exactement ce que les chercheurs derrière ce papier, PluginEval, tentent de résoudre. Ils ont remarqué que la plupart des tests actuels pour ces robots d'IA sont comme un examen de conduite où tout le monde se retrouve sur un parking vide et facile. Ces tests manquent de situations complexes, ne détectent pas les manières spécifiques dont les robots échouent, et reposent souvent sur d'autres robots pour noter les réponses, ce qui peut être biaisé. Ainsi, l'équipe a construit un nouveau « examen de conduite » beaucoup plus difficile, spécifiquement pour les requêtes en langue chinoise. Ils ont créé un système qui ne se contente pas de regarder le score final, mais agit comme un détective, cherchant à comprendre précisément pourquoi un robot a échoué : a-t-il oublié d'apporter un outil, a-t-il saisi le mauvais, ou a-t-il essayé d'utiliser le bon outil mais a renversé les ingrédients ?
La boîte à outils du détective : Comment ils ont construit le test
Pour construire ce nouveau benchmark, les auteurs n'ont pas simplement écrit une série de questions en espérant que cela fonctionne. Ils ont inventé un « Cadre de construction en boucle fermée » (PCCF), une façon sophistiquée de dire qu'ils ont construit une machine auto-correctrice pour créer le test.
Voyez cela comme un concepteur de niveaux de jeu vidéo qui rejoue un niveau jusqu'à ce qu'il soit parfait.
- Phase Un (Le test de réalité) : D'abord, ils prennent une question (comme « Trouve-moi un vol bon marché pour Tokyo ») et demandent à plusieurs modèles d'IA d'essayer de la résoudre. Mais voici le twist : ils ne font pas seulement confiance à la parole de l'IA. Ils exécutent réellement le code. Si l'IA dit « Je vais appeler l'API de vol », le système tente de faire cet appel. Si l'API dit « Erreur : Date manquante », le système sait que l'IA a échoué. Cela sépare l'« idée » de la « réalité ».
- Phase Deux (Le comblement des lacunes) : Le système examine ensuite les résultats et demande : « Où nous manquent-ils des questions difficiles ? » Peut-être que le test contient trop de questions faciles sur la météo et pas assez de questions difficiles sur la réservation de voyages complexes. Le système génère alors de nouvelles questions, plus difficiles, spécififiquement pour combler ces trous. Il crée des questions « adverses » — des pièges conçus pour inciter l'IA à commettre des erreurs.
- La Boucle : Ces nouvelles questions complexes retournent à la Phase Un pour être testées à nouveau. Si elles sont trop faciles, le système les rend plus difficiles. Si elles sont trop confuses, il utilise des preuves de reconnaissance pour renforcer les exemples négatifs avant de les revérifier. Cette boucle continue de tourner jusqu'à ce que le test couvre toutes les manières possibles dont une IA pourrait être confuse, des erreurs simples aux pièges logiques complexes.
Le Verdict : Ce que le test a révélé
Une fois qu'ils ont obtenu leur test parfait (comprenant 3 000 questions vérifiées par des humains à travers 54 outils différents), ils ont soumis cinq des modèles d'IA les plus intelligents au monde à l'épreuve. Cela incluait des noms importants comme GPT-5.4, Claude 4.6 et Gemini 3.1 Pro.
Les résultats ont été révélateurs. Les auteurs ont constaté que les scores agrégés (la note finale) sont trompeurs.
- Le piège de la difficulté : Lorsque le test consistait principalement en des questions faciles, toutes les IA semblaient être des génies, avec des scores dépassant 80 %. Mais dès qu'elles atteignaient les questions « Difficiles », les scores s'effondraient. Pour les questions les plus dures, même la meilleure IA n'en réussissait qu'environ 10 %. Cela suggère que les modèles actuels sont très fragiles ; ils fonctionnent très bien sur des tâches simples, mais s'effondrent quand les choses deviennent compliquées.
- Des défauts différents selon les modèles : Le papier ne s'est pas contenté de dire « Le Modèle A est meilleur ». Il a analysé les erreurs comme un mécanicien inspectant un moteur de voiture.
- GPT-5.4 était le pire pour identifier les outils requis et pour éviter les appels inutiles, présentant les taux les plus élevés de « manque de rappel » (oublier d'utiliser un outil nécessaire) et de « sur-rappel » (utiliser un outil quand il ne le devrait pas).
- Claude Opus 4.6 était le meilleur pour se souvenir d'utiliser les outils (le plus bas taux de « manque de rappel »), mais il les utilisait parfois quand il ne le devrait pas (taux élevé de « sur-rappel »).
- Gemini 3.1 Pro présentait le profil d'erreur le plus équilibré, atteignant le taux de « sur-rappel » le plus bas, ce qui l'a aidé à maintenir une précision compétitive malgré un rappel plus faible que celui de Claude.
- Le problème du « Temps » : Un type d'erreur spécifique s'est distingué pour chaque modèle : les Erreurs Temporelles. Qu'il s'agisse de demander pour « mardi prochain » ou « le mois dernier », les IA ont systématiquement eu du mal à obtenir les dates et les heures exactes. C'était la plus grande source d'échec pour l'ensemble des modèles.
Pourquoi cela importe
Le papier soutient que nous ne pouvons pas simplement regarder un pourcentage unique pour juger la capacité d'une IA à utiliser des outils. Un modèle peut avoir un score élevé parce qu'il est bon aux questions faciles, ou parce qu'il a de la chance. En utilisant leur nouveau système de jugement « ancré sur l'or » (Gold-Anchored) — qui compare la réponse de l'IA à un « standard d'or » vérifié par l'humain plutôt qu'à la supposition d'une autre IA — ils ont pu identifier précisément où le robot a échoué.
Les auteurs suggèrent que pour créer des agents d'IA véritablement fiables, nous devons cesser de les traiter comme des boîtes noires qui fonctionnent ou ne fonctionnent pas. Au lieu de cela, nous devons les diagnostiquer comme un médecin : vérifier s'il a manqué une étape, s'il a saisi le mauvais outil, ou s'il s'est simplement trompé de moment. Leur travail montre que, bien que l'IA d'aujourd'hui soit puissante, elle possède encore des angles morts importants, surtout lorsque la tâche devient difficile ou que le timing devient complexe. Le papier ne prétend pas avoir « résolu » l'utilisation d'outils par l'IA, mais il fournit la première véritable carte des endroits où les robots trébuchent, afin que nous puissions les aider à marcher plus fermement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.