=== SAMENVATTING ===

Technische Samenvatting: Gecalibreerde Onthouding voor LLM-gebaseerde A/B-test Voorspelling

Probleemstelling

Het onderzoek onderzoekt of multimodale Large Language Models (LLMs) de winnaar van echte A/B-testen kunnen voorspellen op basis van enkel screenshots van webpagina-varianten. De auteurs dagen het heersende industriële narratief uit dat LLM's kunnen dienen als "pre-test oracles" voor conversieoptimalisatie (CRO). Zij identificeren een cruciale foutmodus in bestaande evaluaties: gecureerde A/B-testcatalogi zijn zwaar vertekend naar variant-overwinningen (vaak 75–85% B-wins), waardoor een simpel model dat de voorkeur geeft aan de gewijzigde pagina een hoge ruwe nauwkeurigheid kan bereiken terwijl het nul beslissingswaarde toevoegt. Het kernproblek is het onderscheid maken tussen een model dat daadwerkelijk experimentele uitkomsten voorspelt en een model dat louter de artefacten van de basisfrequentie (base-rate artifacts) exploiteert of deelt met de "volkswijsheid"-priors van de label-curatoren.

Methodologie

De auteurs voerden een zes weken durend, vooraf geregistreerd experimenteel programma uit tegen een propriëtaire corpus van 546 echte A/B-testen van een toonaangevend CRO-bureau. De studie maakte gebruik van een rigoureus statistisch harnas ontworpen om overfitting en marketingbias te voorkomen:

• Corpus & Grondwaarheid: De dataset bevatte 330–332 beslissende testen met renderbare screenshots. Cruciaal is dat de auteurs de statistische significantie ($p < 0.05$) opnieuw hebben berekend vanuit de ruwe per-arm aantallen, wat onthulde dat 44% van de "grondwaarheid"-labels in de catalogus afkomstig was van niet-significante testen.
• Evaluatiemetriek: De primaire metriek is Cohen's $\kappa$ (kappa), een kans-gecorrigeerde overeenstemmingsmaat, in plaats van ruwe nauwkeurigheid. Betrouwbaarheidsintervallen werden gegenereerd via percentile bootstrapping ($B=10.000$).
• Statistische Rigor:
  • Pre-registratie: Hypothesen, beslissingspoorten (decision gates) en power-analyses werden vastgelegd vóór de gegevensverzameling.
  • Gate-on-Resample: Voor gated metrieken (waar het model zich onthoudt), werd de betrouwbaarheidspoort binnen elke bootstrap-replicatie opnieuw toegepast om de dekking-onzekerheid door te geven aan het $\kappa$-betrouwbaarheidsinterval.
  • Equivalentie-testen: TOST (Two One-Sided Tests) werd gebruikt om te bewijzen dat duurdere modellen statistisch equivalent waren aan goedkopere modellen, in plaats van enkel aan te tonen dat er geen verschil was.
  • Adversariële Verificatie: De belangrijkste resultaten ondergingen onafhankelijke herafleiding en falsificatie-passes vóór publicatie.
• Experimenteel Ontwerp: De studie maakte gebruik van een gebalanceerd panel van 16–20 Gemini 3 Flash-stemmen. Er werd getest op diverse "hefbomen", waaronder modelcapaciteit (Gemini 3.1 Pro), prompt-mechanismen, stimulatie-getrouwheid (echte versus gereconstrueerde screenshots) en change-type priors.

Belangrijkste Resultaten

1. Onvoorwaardelijke Voorspelling Faalt de "Honesty Bar"

Op de volledige dataset behaalde een Gemini 3 Flash-rechter $\kappa = 0.141$ [0.034, 0.248], wat detecteerbaar boven toeval ligt maar zwak is. Echter, wanneer de focus werd beperkt tot statistisch significante labels (de betrouwbare helft van de data), werd het bewijs inconclusief ($\kappa = 0.108$ [−0.049, 0.264]).

• Shared Prior Artifact: De rechter stemde meer overeen met onbetrouwbare (niet-significante) labels dan met betrouwbare labels. Dit suggereet dat het model en de label-curatoren een "volkswijsheid"-prior delen over wat zou moeten winnen, in plaats van dat het model voorspelt wat er daadwerkelijk won.
• Modelcapaciteit: Een frontier-model (Gemini 3.1 Pro) was statistisch equivalent aan Flash ($\Delta\kappa = -0.037$ binnen een $\pm0.20$ TOST-grens), ondanks dat het 2.8x duurder was.
• Prompt & Getrouwheid: Het herontwerpen van prompts, het verhogen van de stimulatie-getrouwheid en het gebruik van change-type priors slaagden er allemaal niet in om statistisch significante verbeteringen te produceren.

2. Gecalibreerde Onthouding Onthult Signaal

Het enige werkingspunt dat de label-validiteitsaudit van de auteurs doorstond, was confident-call-or-abstain (zelfverzekerde oproep of onthouding).

• Mechanisme: Door voorspellingen te filteren op basis van interne panel-overeenstemming (specifiek een stemmarge $\ge 0.6$), onthoudt het model zich bij ~51% van de testen.
• Prestaties: Op de subset van testen waar het model een zelfverzekerde oproep doet (49% dekking), stijgt de $\kappa$ op significant-alleen labels naar 0.311 [0.025, 0.555]. Dit is de enige cel in de studie waar het betrouwbaarheidsinterval nul uitsluit voor betrouwbare labels.
• Replicatie vs. Validiteit: De auteurs toonden aan dat hoewel de oproepen van het model perfect reproduceerbaar zijn (31/31 overeenstemming over onafhankelijke runs), reproduceerbaarheid niet gelijk staat aan validiteit. Een held-out bevestiging op een kleinere cohort (33 oproepen) leverde $\kappa = -0.100$ [−0.200, 0.000] op, een inconclusief resultaat dat de bevinding niet weerlegde maar ook niet bevestigde, wat de fragiliteit van selectieve voorspellingswinsten benadrukt.

3. Het Menselijk Plafond en de Consensus-illusie

Het papier benchmarkt de LLM tegen menselijke experts:

• Menselijke Baseline: Een studie onder 15 bron-naïeve CRO-praktijkexperts op hetzelfde instrument scoorde op niveau van toeval tegenover echte uitkomsten ($\kappa \approx -0.03$).
• Shared Prior in Mensen: Net als de LLM's stemden mensen sterk met elkaar overeen (inter-rater $\kappa = 0.53$), maar faalden zij in het voorspellen van de werkelijkheid. Dit bevestigt dat het "shared prior"-artefact geen LLM-specifieke pathologie is, maar een fundamentele beperking van de taak: de visuele verschijning van een pagina onderbepaalt de experimentele uitkomst voor zowel mensen als machines.
• Effectieve Steekproefomvang: Een 16-stemmen LLM-panel draagt slechts $\approx 2$ effectieve onafhankelijke stemmen bij ($\text{n}_{\text{eff}} \approx 1.9–2.6$). Evenzo fungeerden 15 menselijke experts statistisch gezien als minder dan twee onafhankelijke oordelen. Consensus onder gecorreleerde beoordelaars (of mensen) is overtuigend, maar is geen bewijs van vaardigheid.

4. Economie en Implementatie

• Kostenefficiëntie: Een 9-stemmen panel behoudt het gated werkingspunt ($\kappa \approx 0.27$) tegen ongeveer de helft van de inferentiekosten van het volledige panel.
• Deliverables: Het artikel ondersteunt de implementatie van een gecalibreerd screeningsinstrument in plaats van een winrate-orakel. Dit omvat:
  • Confident-call-or-abstain winnaar-analyses.
  • Screenshot-gebaseerde UX-audits met adversariële verificatie (12/13 bevindingen geverifieerd).
  • Een getrapt claims-register waarbij elk getal een bewijsniveau draagt (bijv. CONFIRMED, EXPLORATORY, REFUTED).

Betekenis en Claims

De primaire bijdrage van het artikel is een calibratiediscipline voor LLM-gebaseerde evaluatie, waarbij de focus verschuift van "maximale" claims naar "eerlijke" claims.

• Weerlegde Claims: Het artikel weerlegt expliciet de mogelijkheid van onvoorwaardelijke winnaar-voorspelling, mobiel-gevalideerde nauwkeurigheid (vanwege het gebrek aan mobiel-gerenderde gelabelde corpora) en voorspelde conversie-stijgingspercentages.
• Ondersteunde Claims: De auteurs ondersteunen de inzet van een gecalibreerd screeningsinstrument dat zich bij ongeveer de helft van de inputs onthoudt. De waardepropositie is niet een hoog-nauwkeurig orakel, maar een tool die een kleine minderheid van gevallen identificeert waar een signaal aanwezig is, en zich bij de rest onthoudt om gehallucineerde zelfverzekerdheid te vermijden.
• Wetenschappelijke Integriteit: Het artikel dient als een tegen-narratief voor vendor whitepapers door negatieve resultaten, vergrendelde poorten en "inconclusieve" held-out testen te publiceren. Het beargumenteert dat een meetsysteem dat de claims van zijn eigenaar niet kan doden, reclame is en geen meting.

De auteurs concluderen dat, bij de taak van het voorspellen van A/B-testwinnaars vanuit screenshots, consensus — of het nu menselijk of model is — reproduceerbaar en overtuigend is, maar geen bewijs. De enige levensvatbare weg voorwaarts is een systeem dat weet wanneer het het weet, en expliciet toegeeft wanneer het dat niet weet.