AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation

Le papier présente AgentSelect, un benchmark unifié qui transforme la sélection d'agents LLM en une tâche de recommandation basée sur des requêtes narratives, en fournissant une vaste infrastructure de données et d'évaluation pour apprendre à associer des modèles de base à des outils spécifiques.

L'essentiel

🤖 Le Problème : La "Jungle" des Agents IA

Imaginez que vous voulez construire une maison. Aujourd'hui, au lieu de devoir être un architecte expert, vous pouvez simplement dire à une intelligence artificielle (IA) : "Je veux une maison avec trois chambres, une grande cuisine et un jardin."

C'est ce que font les Agents IA. Ce sont des programmes intelligents capables de faire des tâches complexes (réserver un voyage, analyser des données, écrire du code) en utilisant des outils (moteurs de recherche, bases de données, etc.).

Mais voici le problème :
Il existe des milliers de façons de construire ces "maisons".

• Doit-on utiliser un cerveau IA très puissant mais lent, ou un cerveau rapide mais moins intelligent ?
• Quels outils faut-il ajouter ? Un outil pour la météo ? Un outil pour les cartes ? Un outil pour les emails ?

Aujourd'hui, choisir le bon agent pour une demande précise est comme essayer de trouver une aiguille dans une jungle de configurations. Il n'y a pas de guide clair. Les utilisateurs doivent souvent bricoler eux-mêmes, ce qui est difficile pour les non-experts.

🧭 La Solution : AgentSelect (Le GPS des Agents)

Les chercheurs de ce papier ont créé AgentSelect. C'est comme un GPS ou un conseiller de voyage pour les agents IA.

Au lieu de vous demander de choisir manuellement chaque pièce de l'IA, AgentSelect apprend à recommander automatiquement la meilleure "recette" d'agent en fonction de votre demande naturelle.

L'analogie du Restaurant :
Imaginez un restaurant où il y a 100 000 plats possibles, mais aucun menu. Vous arrivez et dites : "J'ai faim et je veux quelque chose de léger mais réconfortant."

• Avant : Le serveur vous donne une liste de 100 ingrédients au hasard et vous dit : "Choisis-en 5 et on verra si c'est bon."
• Avec AgentSelect : Le serveur (l'algorithme) connaît votre demande, regarde sa base de données de millions de combinaisons de plats, et vous dit : "Pour cette demande, le chef recommande le 'Risotto aux champignons avec un peu de safran' (c'est-à-dire : un tel cerveau IA + ces outils précis)."

🔍 Comment ont-ils fait ? (La Cuisine de la Donnée)

Pour entraîner ce "chef cuisinier" (l'IA de recommandation), les chercheurs ont dû créer une immense bibliothèque de leçons. C'est là que le papier devient brillant.

Ils ont pris des milliers de rapports de tests existants (des "examens" où l'on teste si une IA est bonne en maths, ou si un outil fonctionne bien) et les a transformés en une histoire cohérente.

Ils ont divisé leur travail en trois parties, comme trois types de leçons :

1. Le Cerveau seul (Partie I) : Ils ont regardé quels cerveaux IA (LLM) sont les meilleurs pour répondre à des questions simples, sans outils.
   • Analogie : C'est comme tester si un étudiant est bon en mathématiques sans calculatrice.
2. Les Outils seuls (Partie II) : Ils ont regardé quels outils sont nécessaires pour faire certaines tâches, peu importe le cerveau.
   • Analogie : C'est comme savoir qu'il faut une perceuse pour faire un trou, même si on ne sait pas encore qui va tenir la perceuse.
3. La Recette Complète (Partie III) : C'est la partie la plus innovante. Ils ont inventé des millions de combinaisons (Cerveau + Outils) et ont simulé des interactions pour voir ce qui marchait le mieux.
   • Analogie : C'est comme un chef qui teste des milliers de combinaisons d'ingrédients dans sa cuisine pour créer de nouvelles recettes parfaites, même si personne ne les a encore commandées.

📊 Ce qu'ils ont découvert (Les Révélations)

En analysant ces données, ils ont fait deux découvertes majeures :

1. La fin de la "Popularité" :
   • Avant, les systèmes de recommandation fonctionnaient comme TikTok ou YouTube : "Tout le monde regarde ça, donc c'est bien."
   • Résultat : Dans le monde des agents, cela ne marche plus. La plupart des demandes sont uniques (comme commander un gâteau sur mesure). Les systèmes basés sur la popularité échouent. Il faut comprendre le contenu de la demande (ce que vous voulez vraiment) et non pas juste copier ce que les autres ont fait.
2. L'importance du "Détail" :
   • Pour réussir, il ne suffit pas de dire "Utilise un bon cerveau". Il faut dire "Utilise un cerveau capable de comprendre le contexte + un outil de recherche web + un outil de calcul". C'est cette combinaison précise qui fait la différence.

🚀 Pourquoi c'est important pour vous ?

Ce travail pose les bases pour un futur où :

• Plus besoin d'être un expert : Vous pourrez dire à votre IA : "Planifie mon voyage à Tokyo avec un budget serré" et elle créera instantanément l'agent parfait pour le faire, sans que vous ayez à configurer des outils.
• Des marchés d'agents fiables : Imaginez une boutique d'apps (comme l'App Store) où, au lieu de télécharger une app générique, vous téléchargez instantanément l'agent configuré exactement pour votre besoin.
• Une économie de temps : Fini les heures passées à essayer de configurer des bots qui ne fonctionnent pas.

En résumé

AgentSelect, c'est le premier grand manuel d'instructions pour apprendre aux ordinateurs à choisir le bon outil pour le bon travail, en transformant des milliers de tests techniques en une intelligence capable de comprendre nos besoins quotidiens. C'est le passage d'un monde où l'on doit "bricoler" ses IA, à un monde où l'on peut simplement demander ce dont on a besoin.

Résumé technique

Voici un résumé technique détaillé du papier de recherche AgentSelect en français.

Titre : AgentSelect : Benchmark pour la Recommandation d'Agents à partir de Requêtes Narratives

1. Problématique

L'écosystème des agents basés sur les grands modèles de langage (LLM) connaît une expansion rapide, permettant l'automatisation de tâches complexes via la combinaison de modèles et d'outils externes. Cependant, un vide critique existe dans la manière de sélectionner le bon agent parmi un espace de configurations déployables en explosion.

• Limites des approches actuelles : Les classements (leaderboards) et les benchmarks existants évaluent les composants (modèles LLM ou outils) de manière isolée. Ils ne fournissent pas de signal de supervision conditionné par la requête pour apprendre à recommander des configurations d'agents composés (modèle + outils) de bout en bout.
• Le défi : Pour un utilisateur non expert, il est difficile de choisir la bonne combinaison de modèle de base et d'outils pour répondre à une requête narrative libre. Il manque une infrastructure unifiée pour transformer les artefacts d'évaluation hétérogènes en données d'entraînement pour un système de recommandation.

2. Méthodologie et Architecture du Benchmark

Les auteurs proposent AGENTSELECT, un benchmark et un jeu de données qui reformule la sélection d'agents comme une tâche de recommandation de requête vers agent.

A. Définition du Profil de Capacité
Chaque agent candidat est représenté par un profil de capacité déployable $A = (M, T)$ :

• $M$ : Le modèle de langage de base (Backbone LLM).
• $T$ : L'ensemble des outils externes (APIs, fonctions) que l'agent peut invoquer.
• La représentation est stockée sous forme de fichiers de configuration YAML, rendant chaque agent directement exécutable dans des frameworks standards (Agno, LangGraph, etc.).

B. Construction du Jeu de Données (3 Parties)
Le benchmark agrège 111 179 requêtes narratives et 107 721 agents, générant 251 103 interactions positives. Les données proviennent de plus de 40 sources et sont structurées en trois parties complémentaires :

1. Partie I (Agents LLM uniquement) : Utilise les résultats de classements LLM (ex: Open LLM Leaderboard) pour créer des interactions requête-modèle. Les agents sont notés selon leur capacité à répondre à des questions sans outils.
2. Partie II (Agents Outils uniquement) : Utilise des benchmarks d'utilisation d'outils (ex: ToolBench, APIBench) pour isoler la contribution des outils. Le modèle de base est remplacé par un placeholder nul, et l'agent est défini uniquement par l'ensemble d'outils requis pour la tâche.
3. Partie III (Agents Compositionnels) : C'est la contribution la plus innovante. Pour combler le manque d'interactions réalistes combinant $M$ et $T$, les auteurs synthétisent des agents composés.
   • Processus : Pour une requête donnée, un récupérateur sélectionne les meilleurs modèles et outils, puis les assemble en configurations $(M, T)$.
   • Supervision : Ces configurations assemblées sont traitées comme des "positifs synthétiques" (pseudo-positifs) car elles sont conçues pour satisfaire les besoins de capacité de la requête.

C. Tâche d'Apprentissage
L'objectif est d'apprendre un modèle de classement (Ranker) qui, étant donné une requête $Q$ et un catalogue d'agents $\mathcal{A}$, produit une liste classée $\hat{R}_k(Q)$ maximisant l'utilité attendue. Le système utilise une supervision "positif uniquement" (implicit feedback), similaire aux systèmes de recommandation classiques.

3. Contributions Clés

1. Premier Benchmark Unifié : AGENTSELECT est la première infrastructure unifiée pour la recommandation d'agents, standardisant des artefacts d'évaluation disparates en un format de supervision cohérent.
2. Synthèse d'Interactions Compositionnelles (Partie III) : Introduction d'une méthode pour générer des données d'entraînement pour des agents composés $(M, T)$ là où les données réelles sont rares, validée par des tests de sensibilité aux contre-factuels.
3. Infrastructure de Données et d'Évaluation : Fourniture d'un catalogue d'agents déployables (YAML) et d'un pipeline d'évaluation reproductible pour entraîner des modèles de recommandation à grande échelle.
4. Analyse du Changement de Régime : Mise en évidence d'un passage d'une supervision dense (réutilisation fréquente de quelques agents) vers une supervision "longue traîne" (presque unique par requête), ce qui change radicalement les exigences pour les algorithmes de recommandation.

4. Résultats et Analyses

Les expériences comparent plusieurs familles de modèles (facteurisation latente, graphes, récupération basée sur le contenu, modèles génératifs) sur les trois parties du benchmark.

• Changement de Régime (Dense vs Longue Traîne) :

  • La Partie I est dominée par la réutilisation d'identifiants (IDs) d'agents (tête lourde). Les méthodes basées sur les IDs (CF, GNN) y excellent.
  • Les Parties II et III sont extrêmement clairsemées (longue traîne), avec peu de réutilisation d'IDs. Ici, les méthodes basées sur les IDs échouent.
  • Conclusion : Dans un régime de longue traîne, l'appariement basé sur le contenu (compréhension sémantique de la requête et des descriptions de capacités) est essentiel et surpasse les méthodes centrées sur les IDs.

• Performance des Modèles :

  • Les modèles Two-Tower et les approches basées sur le contenu (avec des encodeurs textuels puissants comme BGE-M3) obtiennent les meilleurs résultats sur les parties II et III.
  • L'ajustement fin (fine-tuning) des encodeurs avec des données du domaine (in-domain) améliore considérablement la qualité du classement par rapport aux embeddings "zero-shot".
  • Les modèles génératifs (OneRec) sont performants sur la Partie I mais souffrent de biais de popularité sur les parties II/III.

• Validation Externe et Transfert :

  • Un modèle entraîné sur AGENTSELECT (EasyRec*) transfère ses compétences avec succès vers un marché d'agents réel (MuleRun), surpassant les modèles non entraînés sur des catalogues non vus.
  • Une validation via l'exécution d'agents déployés (sur Agno) montre que le classement du recommandateur correspond bien à la réussite réelle de la tâche (corrélation positive avec les résultats d'exécution bout-en-bout).

• Validité des Données Synthétiques (Partie III) :

  • Des tests de contre-factuels montrent que le modèle est sensible aux modifications de capacité : supprimer un outil clé ou ajouter un outil non pertinent entraîne une baisse prévisible du score de classement, prouvant que le modèle apprend la logique de capacité et non par cœur.

5. Signification et Impact

• Pour la Recherche : AGENTSELECT comble le fossé entre l'évaluation de composants isolés et la recommandation de systèmes complets. Il fournit une base pour étudier comment les agents peuvent être assemblés dynamiquement pour répondre à des besoins utilisateurs spécifiques.
• Pour l'Industrie : Le benchmark permet de développer des systèmes de recommandation capables de guider les utilisateurs non experts vers la configuration d'agent optimale (modèle + outils) sans nécessiter d'expertise technique.
• Avenir : Cela ouvre la voie vers des marchés d'agents automatisés et des interfaces adaptatives où l'agent est composé "à la demande" en fonction de la requête narrative, démocratisant ainsi l'automatisation des tâches.

En résumé, AgentSelect établit un nouveau standard pour l'évaluation et l'apprentissage de la sélection d'agents, démontrant que l'appariement sémantique des capacités est la clé pour naviguer dans un écosystème d'agents en croissance exponentielle et hétérogène.