Each language version is independently generated for its own context, not a direct translation.
Imaginez que vous demandez à trois amis très intelligents (mais un peu lunatiques) de vous faire un résumé d'un sujet, par exemple « les meilleurs équipements de course ». Vous leur posez la même question, exactement les mêmes mots, à trois moments différents.
Voici ce que vous découvrirez :
- Ami A vous dira : « Voici les 5 meilleurs sites, et j'ai cité Runner's World en premier. »
- Ami B, cinq minutes plus tard, vous dira : « En fait, j'ai changé d'avis, Tom's Guide est le meilleur, et j'ai oublié Runner's World cette fois. »
- Ami C, une heure plus tard, vous dira : « Attendez, j'ai trouvé un nouveau site, National Geographic, et c'est maintenant le plus important. »
C'est exactement ce que décrit ce papier de recherche sur les moteurs de recherche génératifs (comme Perplexity, SearchGPT de Google ou Gemini).
Voici l'explication simple de leurs découvertes, avec quelques images pour mieux comprendre :
1. Le problème : La fausse précision
Aujourd'hui, les marketeurs et les marques regardent ces moteurs de recherche comme un classement fixe, un peu comme un tableau de scores au foot. Ils disent : « Le site X a 12 % de visibilité, le site Y en a 8 %, donc X est le gagnant ! »
L'erreur : Ces chercheurs disent que c'est comme si vous preniez une photo d'un nuage et que vous affirmiez : « Ce nuage a exactement cette forme, pour toujours. »
En réalité, ces moteurs de recherche sont non déterministes. C'est comme lancer un dé à chaque fois que vous posez une question. Le résultat change légèrement à chaque fois, même si la question est identique.
2. L'expérience : Le test des 9 jours
Pour prouver cela, les chercheurs ont posé 200 questions sur trois sujets (nourriture pour oiseaux, vitamines, matériel de course) à ces trois moteurs, pendant 9 jours, et même toutes les 10 minutes.
Ce qu'ils ont vu :
- Le chaos des citations : Parfois, un site très populaire disparaît complètement d'une réponse à l'autre. Parfois, un site mineur apparaît soudainement comme un leader.
- L'illusion de la différence : Si le site A a 9,5 % de citations et le site B en a 6 %, on pense qu'A est bien meilleur. Mais en regardant de plus près, la « marge d'erreur » est si grande que les deux pourraient en réalité être égaux. C'est comme essayer de peser une plume avec une balance de camion : la différence de poids est noyée dans le bruit de la balance.
3. Les analogies clés
Le Météo vs. La Photo fixe :
Mesurer la visibilité d'un site sur l'IA aujourd'hui, ce n'est pas prendre une photo fixe d'un paysage. C'est comme regarder la météo. Vous ne pouvez pas dire « Il fera 20°C demain » avec certitude en regardant juste une seconde. Vous devez dire « Il y a 70 % de chances qu'il fasse entre 18 et 22°C ». Les chercheurs disent qu'il faut arrêter de donner un chiffre unique (le point fixe) et commencer à donner une fourchette de confiance (la météo).Le Chef qui change d'avis :
Imaginez un chef cuisinier (l'IA) qui prépare un plat. Il a une liste d'ingrédients (les sites web).- Gemini est un chef qui utilise beaucoup d'ingrédients (beaucoup de citations), mais qui change souvent la recette de fond en comble.
- SearchGPT est un chef qui utilise peu d'ingrédients, mais qui est très capricieux : parfois il suit la recette à la lettre, parfois il change tout d'un coup.
- Perplexity est le plus stable, mais même lui change parfois les épices.
Le problème, c'est que les marques regardent le plat d'aujourd'hui et pensent que c'est la recette définitive.
Le Brouillard :
Les chercheurs montrent que si vous regardez les sites les plus populaires, vous voyez à travers un brouillard. Parfois, le brouillard se lève un peu, parfois il s'épaissit. Dire « Le site X est numéro 1 » alors qu'il pourrait être numéro 3 à cause du brouillard, c'est dangereux pour les décisions d'entreprise.
4. La solution proposée : La « Fourchette de Confiance »
Au lieu de dire « Notre site a 10 % de citations », les chercheurs disent : « Notre site a probablement entre 7 % et 13 % de citations, selon la chance du jour ».
Ils utilisent une méthode mathématique (appelée bootstrap) qui consiste à simuler des milliers de fois la même question pour voir comment les résultats fluctuent. Cela permet de voir si la différence entre deux sites est réelle ou si c'est juste du « bruit » (une variation aléatoire).
Leur conclusion principale :
- Arrêtez de faire confiance à une seule mesure. Une seule réponse de l'IA ne vaut rien.
- Il faut répéter les mesures. Pour savoir qui est vraiment le meilleur, il faut poser la question plusieurs fois et faire la moyenne.
- La stabilité n'est pas garantie. Même les sites en tête de liste peuvent changer de place d'un jour à l'autre.
En résumé
Ce papier est un avertissement pour tous ceux qui utilisent l'IA pour le marketing ou l'analyse de données. Il dit : « Ne prenez pas les résultats de l'IA pour des vérités absolues. C'est un système vivant, changeant et imprévisible. »
Pour bien comprendre la visibilité d'une marque, il ne faut pas regarder une seule photo, mais regarder une vidéo en boucle, avec des statistiques qui disent : « Voici la probabilité que ce site soit vu, et voici à quel point nous sommes sûrs de ce chiffre. » Sans cela, on risque de prendre de mauvaises décisions basées sur des illusions.