Résumé technique : Recommandations divergentes, diagnostics convergents

Énoncé du problème

Alors que les audiences des marques se fragmentent à travers de multiples fournisseurs d'IA (par exemple, ChatGPT, Claude, Gemini), les équipes marketing font face à une incertitude stratégique : doivent-elles déployer un playbook d'optimisation unique pour tous les fournisseurs, ou doivent-elles élaborer des stratégies distinctes et sur mesure pour chacun ? Le postulat de l'industrie, porté par les tableaux de bord spécifiques à chaque fournisseur, suppose que les ensembles de recommandations diffèrent considérablement d'un fournisseur à l'autre, impliquant que les interventions (contenu, autorité, positionnement) sont spécifiques au fournisseur. Cependant, l'hypothèse théorique de la « monoculture algorithmique » suggère que les fournisseurs partageant les mêmes données d'entraînement et la même lignée architecturale devraient présenter des exclusions corrélées (échecs de récupération) même si leurs inclusions spécifiques (recommandations) divergent. Ce document teste empiriquement si les ensembles de recommandations divergent tandis que le diagnostic des échecs conjoints converge, et si cette convergence se maintient à travers les différents niveaux de prominence des marques.

Méthodologie

L'étude utilise un design d'audit croisé entre les modèles OpenAI (gpt-5.4, gpt-5.4-mini) et Anthropic (claude-sonnet-4-6, claude-opus-4-6).

• Données et prompts : L'analyse couvre 215 prompts à formulation commerciale répartis sur quatre lots de mesure indépendants, évalués par rapport à un corpus fantôme de 533 marques de référence stratifiées en cinq niveaux de prominence (L1 : Leaders de catégorie à L5 : Acteurs régionaux).
• Extraction du consensus : Les mentions de marques dans les couches de récupération (requêtes de recherche, extraits, domaines) et dans le texte de complétion ont été extraites à l'aide d'un protocole de consensus par juge croisé (deux juges LLM) pour garantir la robustesse contre l'instabilité d'un juge unique.
• Classification par étape de l'entonnoir : Pour chaque cellule (prompt × marque × fournisseur), les marques ont été classées en quatre étapes :
  • S1 (Découvrabilité) : Marque absente de toutes les couches de récupération et de la complétion.
  • S2 (Force de persuasion) : Marque présente dans la récupération mais absente de la complétion.
  • S3 (Positionnement) : Marque présente dans la complétion mais non recommandée.
  • S4 (Succès) : Marque recommandée par consensus.
• Restriction aux échecs conjoints : L'analyse centrale se concentre sur 7 763 cellules d'« échec conjoint » où aucun des deux fournisseurs n'a recommandé la marque (c'est-à-dire que les deux ont échoué à l'étape S1, S2 ou S3).
• Signaux mécanistes :
  • Part de l'a priori pur (Pure-Priors Share) : La proportion de recommandations faites sans aucune preuve observable dans la couche de récupération (indiquant un recours à la mémoire paramétrique).
  • Reconstruction de lot (OpenAI uniquement) : Suivi pour déterminer si des requêtes de désambiguïsation de marque sont apparues dans le premier lot de recherche afin de mesurer l'ancrage de la récupération.
• Analyse statistique : Les métriques d'accord (similitude de Jaccard, accord brut, $\kappa$ de Cohen) ont été calculées avec des intervalles de confiance bootstrap à 95 % (1 000 itérations) par grappes de prompts pour tenir compte de la non-indépendance des observations (prompt × marque).

Contributions clés

1. Quantification de la divergence des recommandations inter-fournisseurs : L'étude établit que les ensembles de recommandations entre fournisseurs sont significativement moins similaires que la stabilité des exécutions intra-fournisseur. La similitude de Jaccard inter-fournisseur est de 0,35 (IC 95 % : [0,323, 0,391]), ce qui est bien en dessous de la ligne de base de stabilité intra-cellule de 0,50–0,61.
2. Asymétrie mécaniste dans les routes de recommandation : Les fournisseurs atteignent leurs choix via des routes génératives mesurablement différentes.
   • Anthropic : Les modèles phares recommandent des marques basées sur des a priori paramétriques (sans preuve de récupération) dans 43–52 % des cas.
   • OpenAI : Les modèles s'appuient fortement sur la récupération, les recommandations basées sur l'a priori pur allant de 8 à 29 %. La reconstruction de lot confirme qu'OpenAI émet des requêtes de désambiguïsation de marque dans le premier lot de recherche 60 à 71 % du temps.
3. Convergence des modes d'échec avec un gradient de prominence : Bien que les choix divergent, le diagnostic de la raison pour laquelle une marque n'est pas recommandée converge massivement, mais cette convergence est strictement stratifiée par la prominence de la marque.
   • Accord global : Sur les échecs conjoints, les deux fournisseurs diagnostiquent le même stade d'échec 95,1 % du temps (IC 95 % : [94,3 %, 95,7 %]).
   • Gradient monotone : L'accord augmente à mesure que la prominence de la marque diminue :
     • L1 (Leaders de catégorie) : 81,2 % d'accord.
     • L5 (Acteurs régionaux) : 99,6 % d'accord.
   • Facteur déterminant : La convergence est pilotée par les échecs de S1 (Découvrabilité). Pour les marques de la longue traîne (L4–L5), les deux fournisseurs échouent à découvrir la marque au même rythme. Pour les leaders (L1), le désaccord persiste dans les étapes post-récupération (S2/S3).

Résultats

• Choix divergents, diagnostics convergents : Les fournisseurs sélectionnent des marques différentes (faible Jaccard) mais s'accordent sur la raison pour laquelle ils ne recommandent pas une marque lorsqu'ils échouent tous deux.
• Le rôle de la prominence : Le chiffre d'accord agrégé de 95,1 % est fortement influencé par la dominance des échecs S1 dans la longue traîne. En restreignant l'analyse aux cas où au moins un fournisseur échoue à l'étape S2 ou S3 (post-récupération), l'accord diagonal chute à 14,9 %. Cela indique que si les fournisseurs sont d'accord sur les marques « manquantes » (S1), ils ne sont pas d'accord sur la raison pour laquelle une marque récupérée n'est pas recommandée (S2 vs S3) pour les entités à haute prominence.
• Portabilité inter-cellules : Une extension de 3 000 exécutions testant les variations intra-fournisseur (ex: gpt-5.4-mini vs gpt-5.4, sonnet vs opus) a montré que l'accord sur le même stade reste élevé (94,9 %–98,3 %). Cela suggère que la convergence du diagnostic est une propriété de la population d'échec conjoint plutôt qu'un artefact spécifique de la comparaison inter-fournisseurs.
• Preuve mécaniste : Le signal des « a priori purs » confirme qu'Anthropic s'appuie davantage sur ses connaissances internes pour les recommandations, tandis qu'OpenAI est plus ancré dans la récupération. Malgré ces routes différentes, l'exclusion des marques de la longue traîne est corrélée, soutenant l'hypothèse de la monoculture algorithmique pour les échecs, mais pas pour les succès.

Signification et affirmations

L'article affirme fournir la première preuve concrète de recommandation commerciale pour l'hypothèse de la « monoculture algorithmique », démontant spécifiquement des exclusions corrélées (échecs convergents) aux côtés d'inclusions non corrélées (choix divergents).

La principale implication pratique concerne le cadrage des interventions marketing auprès de l'IA :

• Pour les marques de la longue traîne (L4–L5) : Une intervention unique, agnostique vis-à-vis du fournisseur, ciblant S1 (découvrabilité) — telle que l'amorçage de listes d'autorité ou la création de contenu canonique — devrait augmenter la visibilité simultanément chez les deux fournisseurs. Le diagnostic de la raison pour laquelle la marque est absente est pratiquement le même pour les deux.
• Pour les leaders de catégorie (L1–L2) : Des stratégies spécifiques au fournisseur restent nécessaires. Puisque les fournisseurs divergent sur les modes d'échec post-récupération (S2/S3) pour les marques à haute prominence, les interventions concernant le positionnement et l'optimisation du contenu doivent être adaptées à la logique de récupération et de génération de chaque fournisseur.

Les auteurs concluent que la stratégie « diagnostiquer une fois, conseiller une fois » est une affirmation forte pour la découvrabilité de la longue traîne, mais une affirmation plus faible et dépendante de la prominence pour l'attribution des échecs post-récupération. L'étude affine, plutôt qu'elle ne rejette, l'hypothèse de la monoculture en montrant que le substrat partagé conduit à des échecs partagés, tandis que des entraînements post-traitement divergents conduisent à des routes de succès divergentes.