Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?
L'article introduit Skill-Use, un benchmark évaluant si les agents LLM peuvent reconnaître et appliquer correctement de manière indépendante des compétences structurées dans des environnements isolés, révélant qu'une utilisation fiable des compétences reste un défi important qui dépend fortement du harnais spécifique de l'agent plutôt que d'une capacité inhérente au modèle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous embauchiez un stagiaire super intelligent et hyper créatif capable d'écrire du code, d'analyser des données et de rédiger des e-mails. Vous lui donnez une immense bibliothèque de « Livres de Compétences ». Chaque livre est une recette pour un travail spécifique, comme « Comment réparer un serveur en panne » ou « Comment rédiger un contrat juridique ». Le hic ? Vous ne lui donnez pas le livre entier d'un coup. Au lieu de cela, vous ne lui montrez que le titre et un minuscule résumé au dos de la couverture. S'il pense que le livre est pertinent, il doit le demander, trouver les instructions complètes, puis suivre ces instructions exactement sans sauter d'étapes ni faire de choses interdites. C'est le monde des « agents » d'IA essayant d'utiliser des « compétences ». Pendant un certain temps, les gens ont espéré que si l'on donnait simplement les bons livres à ces stagiaires d'IA, ils deviendraient instantanément des travailleurs parfaits. Mais personne ne savait réellement si l'IA pouvait effectivement déterminer quel livre saisir, ou si elle se contenterait de deviner et de tenter sa chance.
Une équipe de chercheurs de Tencent Hunyuan et de plusieurs universités de premier rang a décidé de mettre cette idée à l'épreuve. Ils ont construit un terrain de jeu géant appelé SKILL-USE, un benchmark conçu pour voir si les agents d'IA peuvent réellement « lire la salle » et utiliser ces livres de compétences correctement. Ils ne se sont pas contentés de demander : « L'IA a-t-elle terminé la tâche ? ». Ils ont posé trois questions bien plus difficiles : Trigger (L'IA a-t-elle su qu'elle devait prendre le bon livre ?), Compliance (A-t-elle suivi la recette étape par étape ?) et Boundary (A-t-elle évité de faire les choses interdites listées dans le livre ?). Ils ont testé 177 tâches différentes du monde réel, allant de la correction de bugs logiciels à la rédaction de rapports commerciaux, en utilisant 79 documents de compétences réels et huit des modèles d'IA les plus intelligents disponibles aujourd'hui.
Les résultats ont été un certain rappel à la réalité. Les chercheurs ont constaté que même les meilleures configurations d'IA n'ont obtenu qu'un score de « Skill-Use » d'environ 0,613 (sur une échelle de 0 à 1). Cela signifie qu'une utilisation fiable des compétences est encore hors de portée. Le plus gros problème n'était pas que l'IA ne pouvait pas suivre les règles une fois qu'elle avait le livre ; c'était que l'IA ne savait souvent même pas qu'elle devait prendre le livre en premier lieu. C'est comme avoir un chef de génie qui peut suivre une recette parfaitement, mais qui oublie constamment d'ouvrir le réfrigérateur pour prendre les ingrédients. De plus, les chercheurs ont découvert que la performance d'une IA ne dépendait pas seulement de l'intelligence du modèle ; elle dépendait fortement de l'« harnais » ou de l'enveloppe logicielle autour d'elle. Changer l'enveloppe revenait à changer l'agencement de la cuisine : parfois, le même chef devenait une star, et d'autres fois, il trébuchait.
En bref, l'article suggère que donner une bibliothèque de compétences aux agents d'IA ne les rend pas automatiquement de meilleurs travailleurs. L'écart entre « avoir une compétence » et « utiliser une compétence » est immense. L'IA échoue souvent à reconnaître quand une compétence s'applique, ou elle est distraite par les mauvaises compétences lorsqu'il y a trop de choix. Bien que l'IA s'améliore pour éviter les mouvements interdits, elle a toujours du mal à suivre des procédures complexes avec fidélité. Les auteurs concluent que nous ne pouvons pas supposer que ces agents apprendront par magie à utiliser leurs outils ; nous devons construire des systèmes qui les aident à reconnaître quand utiliser une compétence et comment s'en tenir au plan, car actuellement, c'est la partie la plus difficile du puzzle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.