Résumé technique : Du stochastique au stable

Énoncé du problème

La mesure de la visibilité de l'IA dans les moteurs de recherche génératifs est fondamentalement un exercice comparatif visant à déterminer quels domaines sont cités le plus fréquemment et si les différences observées sont statistiquement significatives pour éclairer une stratégie concurrentielle. Cependant, l'industrie manque d'une méthode rigoureuse pour déterminer quand une quantité de données suffisante a été collectée pour soutenir ces comparaisons. Les pratiques actuelles reposent sur des budgets de collecte fixes ou des seuils de corrélation arbitraires, qui ne parviennent pas à rendre compte de la nature stochastique de la recherche générative.

La recherche générative produit des sorties variables pour une même requête, ce qui fait de la part de citation une statistique d'échantillonnage sujette à la variabilité d'échantillonnage plutôt qu'à une quantité fixe. Cette variabilité crée deux défis distincts :

1. Instabilité du rang : Au début de la collecte de données, l'ordre des domaines fluctue de manière significative car les domaines les plus cités n'ont pas encore accumulé suffisamment de citations pour établir une avance constante.
2. Incertitude de mesure : Même après la stabilisation de l'ordre des rangs, les intervalles de confiance (IC) autour des parts de citation peuvent être trop larges pour distinguer des domaines adjacents. Un ordre de rang stable n'est pas nécessairement un ordre précis ; si le « signal » (l'écart des parts) est inférieur au « bruit » (l'incertitude des estimations), le classement ne peut pas soutenir une inférence fiable.

La difficulté centrale réside dans le fait que la densité de citation et la structure de la distribution varient considérablement selon les plateformes et les sujets. Par conséquent, aucun nombre de requêtes fixe ou aucun seuil de corrélation de rang fixe (par exemple, $\rho \ge 0,95$) ne peut être justifié universellement.

Méthodologie

Le document introduit un cadre de convergence séquentielle basé sur deux critères complémentaires dérivés directement de la distribution de citation observée, ne nécessant aucun objectif externe spécifié pour le nombre de requêtes, le niveau de corrélation ou la largeur de l'IC.

1. Données et estimation

• Jeu de données : Le cadre a été appliqué à 30 combinaisons plateforme-sujet sur trois moteurs de recherche génératifs : Google Gemini, OpenAI SearchGPT et Perplexity. Dix sujets diversifiés ont été utilisés, avec 125 requêtes générées par sujet et par plateforme.
• Rééchantillonnage Bootstrap : Pour quantifier l'incertitude, les auteurs utilisent un rééchantillonnage bootstrap multinomial au niveau de la requête (et non au niveau de la citation) afin de préserver le regroupement des citations au sein d'une même réponse. Les parts de citation sont recalculées pour chaque itération du bootstrap, et des intervalles de confiance à 95 % BCa (corrigés pour le biais et accélérés) sont calculés.
• Domaines établis vs observés : Une distinction est faite entre les domaines « observés » (cités au moins une fois) et les domaines « établis » (ceux dont l'IC de part de citation à 95 % exclut zéro). La suffisance structurelle est évaluée uniquement sur l'ensemble des domaines établis.

2. Critère I : Stabilité du rang

La stabilité du rang est déterminée par la détection d'un plateau structurel dans la trajectoire de corrélation de rang, plutôt que par le franchissement d'un seuil fixe.

• Métrique : La corrélation de rang de Spearman pondérée ($\rho$) est calculée entre des fenêtres cumulatives successives de réponses. Les poids sont les parts de citation moyennes sur les deux fenêtres, garantissant que les changements parmi les domaines à forte part contribuent davantage à la corrélation que les changements dans la longue traîne.
• Détection : Un ajustement de modèle segmenté (utilisant l'algorithme Pool-Adjacent-Violators pour la régression isotonique) est appliqué à la trajectoire de corrélation. Le modèle teste une « phase ascendante » suivie d'une « queue plate ».
• Règle de décision : La stabilité est déclarée lorsque le critère d'information bayésien (BIC) sélectionne un modèle avec une queue plate plutôt qu'un modèle de croissance pure, et que cette queue plate s'étend sur au moins 15 réponses consécutives. Cette approche détecte quand l'ordre a cessé de changer, indépendamment de la valeur absolue de la corrélation (qui peut être inférieure à 0,95 dans les environnements de faible densité de citation).

3. Critère II : Suffisance structurelle

La suffisance structurelle évalue si l'écart des parts de citation parmi les domaines établis est suffisamment important par rapport à leur incertitude de mesure pour soutenir l'inférence.

• Métrique : Un rapport signal sur bruit (SNR) structurel est calculé :
  $$\text{SNR} = \frac{\sigma(s_d : d \in D_{est})}{\bar{h}_{CI}}$$
  Où $\sigma$ est l'écart-type des parts de citation parmi les domaines établis (signal), et $\bar{h}_{CI}$ est la demi-largeur moyenne de leurs IC de bootstrap à 95 % (bruit).
• Règle de décision : La suffisance est atteinte lorsque $\text{SNR} \ge 1$. Cela indique que l'écart des parts dépasse l'incertitude de mesure typique. La série de SNR brute est lissée à l'aide d'une moyenne mobile exponentiellement pondérée (EWMA) pour éviter que des fluctuations transitoires ne déclenchent un arrêt prématuré.

4. Convergence conjonctive

Une combinaison plateforme-sujet est jugée « convergée » uniquement lorsque la stabilité du rang et la suffisance structurelle sont satisfaites simultanément. Le point d'arrêt est le plus tardif des deux ordres de déclenchement individuels.

Résultats clés

Le cadre a été appliqué à 30 combinaisons plateforme-sujet (10 sujets $\times$ 3 plateformes).

• Taux de convergence : Dans une fenêtre de collecte de 125 réponses, 27 des 30 combinaisons ont convergé. Les trois cas non convergés concernaient tous SearchGPT pour des sujets spécifiques (« protection de l'identité », « destinations de voyage », « chili maison »), où les parts de citation étaient trop étroitement regroupées par rapport au bruit de mesure pour que le SNR atteigne 1.
• Contraintes limitantes :
  • Dans 16 des 27 cas convergés, la stabilité du rang était la contrainte limitante (la dernière condition remplie).
  • Dans 11 des 27 cas convergés, la suffisance structurelle était la contrainte limitante.
  • Cela démontre que la stabilité seule est insuffisante ; la précision accuse souvent un retard sur la stabilité.
• Échec des seuils fixes : Un seuil de corrélation fixe de $\rho \ge 0,95$ maintenu pendant 15 réponses n'a été atteint que par 19 des 30 combinaisons. La méthode de détection basée sur le plateau a identifié avec succès la stabilité dans les 30 cas, y compris ceux où la densité de citation était trop faible pour atteindre jamais $\rho = 0,95$.
• Validation : Les auteurs ont comparé l'ordre au point d'arrêt par rapport à l'ordre à la fenêtre complète de 125 réponses.
  • L'arrêt basé uniquement sur la stabilité du rang a entraîné un faible accord dans certains cas (par exemple, SearchGPT/"protection de l'identité" avait une corrélation de seulement 0,364 avec le classement final).
  • Le critère conjonctif a amélioré le « plancher » d'accord, le pire accord certifié montant à 0,717.
  • L'accord médian entre les orderings d'arrêt et finaux pour les cas convergés était de 0,844.
• Différences entre plateformes : La vitesse de convergence n'était pas déterminée par l'identité de la plateforme mais par la densité de citation et le regroupement au sein des requêtes (effet de design). SearchGPT, bien que citant moins de domaines par réponse, présentait un regroupement plus faible, ce qui signifie que chaque réponse contribuait davantage de données « effectives » qu'une réponse de Gemini ou Perplexity.

Signification et contributions

Le document apporte trois contributions majeures au domaine de l'optimisation et de l'évaluation de la visibilité de l'IA :

1. La stabilité du rang comme critère de convergence : Il établit que la stabilité du rang doit être détectée via un plateau structurel dans la trajectoire de corrélation (en utilisant la sélection de modèle) plutôt que par le franchissement d'un seuil de corrélation fixe. Cela résout le problème où une faible densité de citation empêche les seuils fixes d'être atteints, même lorsque la distribution sous-jacente s'est stabilisée.
2. La suffisance structurelle comme règle d'arrêt : Il introduit un critère d'arrêt fondé sur les données, basé sur le rapport entre le signal (écart des parts) et le bruit (largeur de l'IC). Cela va au-delà de la simple estimation de la taille de l'échantillon pour garantir que les données collectées sont assez précises pour distinguer les concurrents.
3. Rejet des budgets fixes : Les résultats démontrent qu'aucun budget de collecte fixe (nombre de requêtes) n'est universellement suffisant. La quantité de données requise dépend entièrement de la distribution de citation spécifique de la plateforme et du sujet. Le cadre fournit un mécanisme d'autocalibrage pratique pour déterminer quand une mesure est prête pour une analyse comparative.

Le cadre est présenté comme une base pratique pour déterminer quand les mesures de visibilité de l'IA ont effectué la transition du bruit stochastique vers un signal stable et fiable, permettant aux praticiens de prendre des décisions compétitives avec des limites d'incertitude connues.