📊 statistics

The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction

Cette étude démontre que si les LLM multimodaux ne peuvent pas prédire de manière fiable les résultats réels des tests A/B à partir de simples captures d'écran en raison d'un biais partagé envers les étiquettes peu fiables, ils peuvent atteindre une précision significative en calibrant leurs prédictions pour identifier et s'abstenir dans les cas incertains, une limitation qui reflète l'incapacité des experts humains à surpasser le hasard malgré un consensus élevé entre les évaluateurs.

Auteurs originaux : Tyler Dooskin, Squoosh Technical Staff

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tyler Dooskin, Squoosh Technical Staff

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère : « Lequel de ces deux suspects est coupable ? » Dans le monde des sites web, les « suspects » sont deux versions légèrement différentes d'une page, et le « coupable » est la version qui pousse le plus de gens à acheter quelque chose ou à s'inscrire. Cela s'appelle un test A/B. Habituellement, pour trouver le vainqueur, il faut attendre et observer de vraies personnes interagir avec le site pendant des jours ou des semaines. Mais récemment, un nouveau genre de détective est arrivé : l'Intelligence Artificielle. La grande question que tout le monde se pose est : « Une IA peut-elle regarder une image des deux sites web et nous dire instantanément laquelle gagnera, nous faisant ainsi gagner tout ce temps d'attente ? »

Pour comprendre ce document, vous devez savoir quelques choses sur la façon dont nous mesurons le « bien » en science. D'abord, il y a la différence entre « avoir raison par chance » et « avoir raison par compétence ». Si vous devinez « Pile » lors d'un lancer de pièce, vous aurez raison 50 % du temps simplement par hasard. Si un détective prétend être un génie mais n'a raison que 51 % du temps, il ne fait rien de spécial. Les scientifiques utilisent un score spécial appelé « kappa de Cohen » (appelons-le le « Score de Compétence ») pour éliminer la part de chance et voir si le détective a réellement un cerveau. Deuxièmement, il y a le problème du « Biais Partagé ». Imaginez un professeur et un élève qui ont tous deux grandi dans la même ville. Ils peuvent être d'accord sur tout, non pas parce que l'élève est intelligent, mais parce qu'ils ont tous deux appris les mêmes fausses informations de leurs parents. Si une IA et les personnes qui ont créé les données du test ont toutes deux appris la même « sagesse populaire », elles pourraient être d'accord sur la réponse, mais cela ne signifie pas que l'IA peut prédire l'avenir.

Ce document est un rapport très honnête, très strict, d'une équipe appelée Squoosh qui a tenté de répondre à cette grande question. Ils ne se sont pas contentés de demander à l'IA de deviner ; ils ont tendu un piège. Ils ont verrouillé leurs règles avant de commencer, comme un scientifique écrivant une recette avant de cuisiner, afin de ne pas pouvoir modifier les règles plus tard pour faire paraître l'IA meilleure. Ils ont utilisé une immense bibliothèque de tests de sites web réels pour voir si l'IA pouvait réellement prédire les vainqueurs.

Voici le rebondissement : l'IA est principalement un échec dans sa mission principale. Lorsque l'équipe a demandé à l'IA de regarder 330 tests réels et de choisir un vainqueur à chaque fois, elle a à peine fait mieux qu'un choix aléatoire. En fait, l'IA semblait être plus en accord avec les tests « peu fiables » (où le résultat n'était pas clair) qu'avec les tests « fiables ». Il s'avère que l'IA et les personnes qui ont créé les données du test répétaient toutes deux les vieux mythes sur ce qui rend un site web bon, plutôt que de réellement prédire ce qui allait se passer. Même utiliser une IA beaucoup plus intelligente et coûteuse n'a pas aidé ; c'était tout aussi mauvais. Le document exclut explicitement l'idée que nous puissions simplement « acheter » une meilleure IA ou écrire un meilleur prompt pour résoudre cela. La « boule de cristal magique » qui prédit les gagnants de sites web à partir de simples captures d'écran ? Elle n'existe pas.

Cependant, le document ne dit pas que l'IA est inutile. Il dit que l'IA est un détective honnête. L'équipe a découvert un truc spécial : si on dit à l'IA, « Ne devine que si tu es absolument sûre, sinon dis "je ne sais pas" », l'IA devient étonnamment performante les fois où elle prend la parole. Lorsque l'équipe interne de juges de l'IA était fortement d'accord sur une réponse, elle trouvait le bon vainqueur environ 31 % du temps sur les tests fiables. Cela semble faible, mais rappelez-vous, les véritables experts humains (qui ont des années d'expérience) ne trouvent aussi le bon résultat que 29 % du temps en moyenne. L'IA n'est pas un super-génie ; c'est juste un outil qui sait quand il devine et quand il ne le fait pas.

La découverte la plus importante concerne la confiance. Le document montre que lorsqu'un groupe d'IA est d'accord entre elles, cela ne signifie pas qu'elles ont raison ; cela signifie souvent qu'elles répètent toutes le même biais partagé. C'est comme un jury où tout le monde est de la même famille ; ils voteront tous de la même manière, mais cela ne rend pas le verdict correct. Le document prouve que ce « biais partagé » existe aussi chez les humains. Lorsqu'ils ont demandé à 15 experts humains réels de deviner les vainqueurs, les experts étaient fortement d'accord entre eux, mais ils se trompaient aussi souvent que l'IA.

Alors, quelle est la conclusion finale ? Le document conclut que nous ne pouvons pas construire un outil qui prédit les gagnants de sites web avec une certitude de 100 %. Au lieu de cela, le meilleur outil est un « Instrument de Criblage Calibré ». C'est un système qui dit : « Je suis confiant, celui-ci va gagner » ou « Je ne suis pas sûr, ne me demandez pas ». Il est honnête sur ses limites. Le document montre également que vous n'avez pas besoin d'une IA énorme et très coûteuse pour faire cela ; une version plus petite et moins chère fonctionne tout aussi bien si vous utilisez le truc de l'« honnêteté ». La véritable valeur n'est pas d'obtenir la réponse à chaque fois, mais de savoir exactement les moments où vous ne devriez pas faire confiance à la réponse. Le document se termine en publiant toutes ses données, ses échecs expérimentaux et ses règles, prouvant que parfois, la découverte la plus importante est d'admettre que le tour de magie ne fonctionne pas, mais qu'une version très prudente et très honnête de celui-ci pourrait être tout à fait utile.

=== RÉSUMÉ TECHNIQUE ===

Résumé technique : Abstention calibrée pour la prédiction d'A/B-tests basée sur les LLM

Énoncé du problème

Le document examine si les modèles de langage multimodaux (LLM) peuvent prédire le vainqueur de tests A/B réels en se basant uniquement sur des captures d'écran de variantes de pages web. Les auteurs contestent le récit industriel prédominant selon lequel les LLM pourraient servir d'« oracles pré-test » pour l'optimisation du taux de conversion (CRO). Ils identifient un mode de défaillance critique dans les évaluations existantes : les catalogues de tests A/B sélectionnés sont fortement biaisés en faveur des victoires de la variante (souvent 75 à 85 % de victoires de la variante B), ce qui permet à un modèle simple préférant la page modifiée d'atteindre une précision brute élevée tout en n'apportant aucune valeur décisionnelle. Le problème central est de distinguer un modèle qui prédit réellement les résultats expérimentaux d'un modèle qui exploite simplement les artefacts de taux de base ou partage des « priores de sagesse populaire » avec les curateurs des étiquettes.

Méthodologie

Les auteurs ont mené un programme expérimental pré-enregistré de six semaines contre un corpus propriétaire de 546 tests A/B provenant d'une agence de CRO de premier plan. L'étude a employé un cadre statistique rigoureux conçu pour prévenir le surapprentissage et le biais marketing :

Corpus et vérité terrain : Le jeu de données comprenait 330 à 332 tests décisifs avec des captures d'écran renduables. Crucialement, les auteurs ont recomputé la signification statistique ( $p < 0,05$ ) à partir des comptes bruts par bras, révélant que 44 % des étiquettes de la « vérité terrain » du catalogue provenaient de tests non significatifs.
Métrique d'évaluation : La métrique primaire est le kappa de Cohen ( $\kappa$ ), une mesure d'accord corrigée du hasard, plutôt que la précision brute. Les intervalles de confiance ont été générés via un bootstrapping de percentiles ( $B=10\,000$ ).
Rigueur statistique :
- Pré-enregistrement : Les hypothèses, les seuils de décision et les analyses de puissance ont été verrouillés avant la collecte des données.
- Gate-on-Resample (Seuil sur rééchantillonnage) : Pour les métriques à seuil (où le modèle s'abstient), le seuil de confiance a été réappliqué au sein de chaque réplique de bootstrap afin de propager l'incertitude de la couverture dans l'intervalle de confiance de $\kappa$ .
- Tests d'équivalence : Le test TOST (Two One-Sided Tests) a été utilisé pour prouver que des modèles plus coûteux étaient statistiquement équivalents à des modèles moins chers, plutôt que de simplement échouer à montrer une différence.
- Vérification adversaire : Les résultats principaux ont fait l'objet de dérivations indépendantes et de passes de falsification avant publication.
Conception expérimentale : L'étude a utilisé un panel contrebalancé de 16 à 20 juges Gemini 3 Flash. Elle a testé diverses « leviers » incluant la capacité du modèle (Gemini 3.1 Pro), les mécanismes de prompt, la fidélité du stimulus (captures d'écran réelles vs reconstruites) et les priores de type de changement.

Résultats clés

1. La prédiction inconditionnelle échoue au « test d'honnêteté »

Sur l'ensemble du jeu de données, un juge Gemini 3 Flash a obtenu un $\kappa = 0,141$ [0,034, 0,248], ce qui est détectablement supérieur au hasard mais faible. Cependant, lorsqu'il est restreint aux étiquettes statistiquement significatives (la moitié fiable des données), l'évidence devient inconcluante ( $\kappa = 0,108$ [−0,049, 0,264]).

Artéfact de priore partagée : Le juge est en plus d'accord avec les étiquettes non fiables (non significatives) qu'avec les étiquettes fiables. Cela suggère que le modèle et les curateurs d'étiquettes partagent une priore de « sagesse populaire » sur ce qui devrait gagner, plutôt que le modèle prédisant ce qui a gagné.
Capacité du modèle : Un modèle frontal (Gemini 3.1 Pro) est statistiquement équivalent à Flash ( $\Delta\kappa = -0,037$ dans une borne TOST de $\pm 0,20$ ) malgré un coût 2,8 fois plus élevé.
Prompt et fidélité : La redéfinition des prompts, l'augmentation de la fidélité du stimulus et l'utilisation de priores de type de changement ont tous échoué à produire des améliorations statistiquement significatives.

2. L'abstention calibrée révèle un signal

Le seul point de fonctionnement ayant survécu à l'audit de validité des étiquettes des auteurs est le confident-call-or-abstain (appel confiant ou abstention).

Mécanisme : En filtrant les prédictions sur l'accord interne du panel (spécifiquement une marge de vote $\ge 0,6$ ), le modèle s'abstient sur environ 51 % des tests.
Performance : Sur le sous-ensemble de tests où le modèle prend une décision confiante (couverture de 49 %), le $\kappa$ sur les étiquettes significatives uniquement monte à 0,311 [0,025, 0,555]. C'est la seule cellule de l'étude où l'intervalle de confiance exclut zéro pour les étiquettes fiables.
Réplication vs Validité : Les auteurs ont démontré que bien que les appels du modèle soient parfaitement reproductibles (accord de 31/31 entre les exécutions indépendantes), la reproductibilité n'est pas l'égalité à la validité. Une confirmation sur un échantillon plus petit (33 appels) a retourné un $\kappa = -0,100$ [−0,200, 0,000], un résultat inconcluant qui n'a pas réfuté la découverte mais n'a pas réussi à la confirmer, soulignant la fragilité des gains de prédiction sélective.

3. Le plafond humain et l'illusion de consensus

Le papier compare le LLM aux experts humains :

Base de référence humaine : Une étude de 15 praticiens CRO naïfs quant à la source, utilisant le même instrument, a obtenu un score de chance contre les résultats réels ( $\kappa \approx -0,03$ ).
Priore partagée chez les humains : Comme les LLM, les humains sont fortement en accord entre eux (inter-évaluateur $\kappa = 0,53$ ) mais échouent à prédire la réalité. Cela confirme que l'artéfact de « priore partagée » n'est pas une pathologie spécifique aux LLM mais une limitation fondamentale de la tâche : l'apparence visuelle d'une page sous-détermine son résultat expérimental pour les humains comme pour les machines.
Taille d'échantillon efficace : Un panel de 16 votes de LLM ne porte qu'environ 2 votes indépendants effectifs ( $n_{eff} \approx 1,9–2,6$ ). De même, 15 experts humains ont agi statistiquement comme moins de deux jugements indépendants. Le consensus parmi des juges corrélés (ou humains) est persuasif mais n'est pas une preuve de compétence.

4. Économie et déploiement

Efficacité des coûts : Un panel de 9 votes préserve le point de fonctionnement à seuil ( $\kappa \approx 0,27$ ) pour environ la moitié du coût d'inférence du panel complet.
Livrables : Le papier soutient le déploiement d'un instrument de screening calibré plutôt que d'un oracle de taux de victoire. Cela inclut :
- Des lectures de vainqueurs de type « appel confiant ou abstention ».
- Des audits UX fondés sur les captures d'écran avec vérification adversaire (12/13 découvertes vérifiées).
- Un registre de revendications à plusieurs niveaux où chaque chiffre porte un niveau de preuve (ex: CONFIRMÉ, EXPLORATOIRE, RÉFUTÉ).

Signification et Revendications

La contribution principale du papier est une discipline de calibration pour l'évaluation basée sur les LLM, s'éloignant des revendications « maximales » vers des revendications « honnêtes ».

Revendications réfutées : Le papier réfute explicitement la possibilité d'une prédiction inconditionnelle du vainqueur, de la précision validée par mobile (en raison du manque de corpus étiquetés rendus pour mobile) et des pourcentages de lift de conversion prédits.
Revendications soutenues : Les auteurs soutiennent le déploiement d'un instrument de screening calibré qui s'abstient sur environ la moitié des entrées. La proposition de valeur n'est pas celle d'un oracle à haute précision, mais d'un outil qui identifie une petite minorité de cas où un signal existe et s'abstient pour le reste afin d'éviter les hallucinations de confiance.
Intégrité scientifique : Le papier sert de contre-récit aux livres blancs des vendeurs en publiant des résultats négatifs, des seuils verrouillés et des tests de confirmation « inconcluants ». Il soutient qu'un système de mesure qui ne peut pas tuer les revendications de son propriétaire est de la publicité, pas de la mesure.

Les auteurs concluent que sur la tâche de prédire les vainqueurs de tests A/B à partir de captures d'écran, le consensus — qu'il soit humain ou machine — est reproductible et persuasif, mais n'est pas une preuve. La seule voie viable est un système qui sait quand il sait, et qui admet explicitement quand il ne sait pas.