Résumé technique : Conception de l'information destinée aux agents dans les registres d'outils des LLM

1. Définition du problème

L'article identifie une lacune critique dans l'écosystème émergent des registres d'outils pour les modèles de langage de grande taille (LLM) (par exemple, PulseMCP, Composio). Ces registres fonctionnent comme des plateformes publicitaires de facto où les fournisseurs d'outils rivalisent pour la visibilité auprès des agents via des descriptions en texte libre. Contrairement à l'industrie de la publicité numérique, qui a passé deux décennies à construire une infrastructure de mesure (standards de visibilité, scores de qualité), l'écosystème des outils d'agents manque de tout mécanisme de responsabilisation.

Le problème central est l'asymétrie d'information. En l'absence de signaux de qualité vérifiés, les agents s'appuient sur la richesse des descriptions comme indicateur de capacité. Cela crée un marché pour l'« optimisation des moteurs génératifs » (GEO), où les fournisseurs cadrent stratégiquement les descriptions pour manipuler la sélection des agents. L'article examine si les mécanismes réglementaires standards (étiquettes de divulgation, avertissements) efficaces dans la publicité destinée aux humains se transfèrent aux environnements agentiques, et propose une refonte structurelle des registres pour restaurer l'efficacité du marché.

2. Méthodologie

L'étude emploie un cadre expérimental systématique combinant plus de 17 700 essais répartis sur cinq LLM (DeepSeek-V3, o4-mini, GPT-5.4-mini, GPT-5.4-nano, Claude Sonnet 4.6 et GPT-4o) et dix domaines de tâches synthétiques (par exemple, recherche web, commerce électronique, exécution de code).

Conception expérimentale

• Tâche : Une tâche à choix forcé à deux alternatives où un agent doit invoquer exactement l'un des deux outils fonctionnellement identiques, ne différant que par le cadrage de la description.
• Métrique : Coefficient de biais de sélection (SBC), défini comme $P(\text{sélectionner optimisé}) - 0,5$. Un SBC de 0 indique une sélection aléatoire ; +0,5 indique une sélection parfaite de l'outil optimisé.
• Niveaux de cadrage (L0–L4) : Les descriptions vont de spécifications fonctionnelles neutres (L0) à des versions commercialement optimisées intégrant la preuve sociale, les superlatifs, le cadrage d'autorité et le cadrage des résultats (L4).
• Interventions de divulgation : Quatre conditions testées pour atténuer le biais :
  1. Référence (aucune intervention).
  2. Étiquettes [SPONSORISÉ] ajoutées aux descriptions.
  3. Notes par étoiles (par exemple, « 3/5 étoiles - partenaire commercial »).
  4. Avertissements dans l'invite système (mandats généraux de transparence).
• Validité écologique : L'expérience C a utilisé des descriptions textuelles exactes de registres MCP en direct (par exemple, Brave Search contre DuckDuckGo) pour valider les résultats synthétiques.
• Analyse des limites juridiques : L'expérience E4 a isolé la « publicité légale » (superlatifs permis par la FTC) des « allégations fabriquées » pour déterminer la source du biais de sélection.

3. Contributions clés

A. Prescription de conception du registre (Contribution principale)

L'article propose une séparation structurelle des descriptions en deux couches distinctes :

1. Description destinée à la sélection : Structurée, contrôlée par le registre et débarrassée de tout langage évaluatif. Cette couche est utilisée exclusivement pour la sélection par l'agent.
2. Description destinée au marketing : Rédigée par le fournisseur, contenant tout le texte persuasif, affichée uniquement après sélection à l'utilisateur humain.
   Cette architecture, fondée sur la Proposition 3, atteint un « bien-être de premier ordre » (sélectionner des outils basés sur la fonction plutôt que sur le texte) indépendamment du modèle LLM spécifique.

B. Le score de qualité de l'attention de l'agent (AAQS)

Les auteurs introduisent l'AAQS pour distinguer la capacité réelle de la sélection pilotée par la description :
$$AAQS_i(q) = P(\text{sélection}_i | q) \times C_i(q)$$
Où $C_i(q)$ est un score de correspondance de capacité. Un AAQS faible par rapport à la probabilité de sélection indique que l'outil « navigue sur l'optimisation de la description » (l'équivalent agentique du clic-bait).

C. Analyse de l'équilibre stratégique

En utilisant un modèle théorique des jeux (Propositions 1–3), l'article formalise la structure d'incitation comme un Dilemme du prisonnier. Sans intervention, l'équilibre de Nash est que tous les fournisseurs optimisent les descriptions, les rendant non informatives et gaspillant des ressources dans une « course aux armements des descriptions ». Le modèle prouve que la normalisation est nécessaire (et non simplement suffisante) car les mécanismes de divulgation échouent à briser cet équilibre.

4. Résultats empiriques

4.1. Efficacité de l'optimisation

• Capture totale du trafic : Dans les domaines de consommation (recherche web, commerce électronique), quatre modèles sur cinq ont sélectionné l'outil optimisé avec $P=1,0$ (SBC = +0,456) en l'absence de divulgation.
• Fonctionnalité dominante : Les superlatifs (par exemple, « le plus rapide », « le plus précis ») sont la fonctionnalité la plus puissante (SBC = +0,35), surpassant la preuve sociale (+0,12) et le cadrage d'autorité (+0,21).
• Réponse dose-effet : L'avantage de sélection est concentré au début. Le saut de neutre (L0) à un seul signal de confiance (L1) capture la majorité de la hausse réalisable (+0,33). Les couches rhétoriques supplémentaires produisent des rendements décroissants ou négatifs.

4.2. Échec des mécanismes de divulgation

Les interventions de divulgation ont échoué structurellement pour des raisons distinctes :

• Inertie du plafond : Pour les modèles déjà à $P \approx 1,0$, des étiquettes comme [SPONSORISÉ] ont eu un effet négligeable (par exemple, DeepSeek n'a montré qu'une baisse de 3 points de pourcentage).
• Aveuglement architectural : Les avertissements dans l'invite système ont produit aucun effet mesurable pour quatre modèles sur cinq ; l'avertissement ne s'est pas propagé à la logique de sélection d'appel de fonction.
• Surcorrection : Claude Sonnet a traité les étiquettes [SPONSORISÉ] comme des disqualifiants, pénalisant les outils étiquetés en dessous des niveaux aléatoires (SBC $\to$ -0,155).

4.3. Publicité légale vs Fabrication

• La publicité légale capture 100 % de l'effet : La publicité légale permise par la FTC (superlatifs subjectifs, cadrage des bénéfices) seule a produit l'effet d'optimisation complet (SBC = +0,33).
• Les allégations fabriquées n'ajoutent rien : L'ajout de statistiques ou de recommandations fabriquées a apporté aucun biais incrémental. Par conséquent, l'application par la FTC des règles sur la publicité trompeuse contre les allégations fabriquées aurait un impact quasi nul sur la sélection par les agents, car le mécanisme actif est une publicité légalement protégée.

4.4. Preuve écologique

Les tests préliminaires avec des descriptions de registres en direct (par exemple, Brave Search contre DuckDuckGo) ont confirmé les motifs synthétiques, avec des valeurs de SBC allant de +0,30 à +0,46, suggérant que le phénomène n'est pas un artefact des données synthétiques.

5. Importance et revendications

L'article soutient que le problème n'est pas l'« irrationalité » des agents, mais un environnement d'information défectueux. Dans un registre sans signaux de qualité vérifiés, la richesse des descriptions est le seul indicateur disponible de capacité, rendant les agents rationnellement réactifs au cadrage commercial.

• Implication réglementaire : Les approches réglementaires actuelles (divulgation) sont structurellement inefficaces contre la sélection agentique. La solution nécessite une conception de mécanismes (normalisation des registres) plutôt qu'un meilleur alignement des agents.
• Impact économique : Le fournisseur optimisé capture environ 83 % du trafic (contre 50 % de part équitable), créant une opportunité d'arbitrage massive et non monétisée pour les fournisseurs et une perte de bien-être pour les utilisateurs.
• Changement de conception : L'article conclut que les registres doivent évoluer de « plateformes publicitaires » vers des « dépôts de données structurées » pour la sélection, réservant le texte marketing à la consommation humaine post-sélection. Ce changement élimine le biais, réduit le gaspillage social (la course aux armements) et s'aligne sur les préférences des agents pour les données structurées (les agents préféraient les formats structurés à la prose neutre lors des vérifications de santé).

Les auteurs publient leur benchmark et leur code d'analyse pour soutenir les travaux futurs sur la conception de l'information destinée aux agents, en soulignant que sans intervention structurelle, le marché de sélection des outils restera non responsable et inefficace.