=== SINTESI TECNICA ===

Astensione Calibrata per la Predizione di A/B-Test basata su LLM

Definizione del Problema

Il documento investiga se i modelli linguistici di grandi dimensioni (LLM) multimodali possano predire il vincitore di reali A/B test basandosi esclusivamente su screenshot di varianti di pagine web. Gli autori mettono in discussione la narrativa prevalente nel settore secondo cui gli LLM possano fungere da "oracoli pre-test" per l'ottimizzazione del tasso di conversione (CRO). Identificano un modo critico di fallimento nelle valutazioni esistenti: i cataloghi curati di A/B test sono fortemente sbilanciati verso le vittorie delle varianti (spesso con un 75–85% di B-wins), permettendo a un semplice modello che predilige la pagina modificata di raggiungere un'elevata accuratezza grezza pur contribuendo con un valore decisionale nullo. Il problema centrale è distinguere tra un modello che predice realmente gli esiti sperimentali e uno che semplicemente sfrutta gli artefatti del tasso di base o condivide i "prior della saggezza popolare" con i curatori delle etichette.

Metodologia

Gli autori hanno condotto un programma sperimentale pre-registrato di sei settimane contro un corpus proprietario di 546 A/B test reali provenienti da una principale agenzia di CRO. Lo studio ha impiegato un rigoroso apparato statistico progettato per prevenire l'overfitting e il bias di marketing:

• Corpus e Ground Truth: Il dataset includeva 330–332 test decisivi con screenshot renderizzabili. Fondamentalmente, gli autori hanno ricalcolato la significatività statistica ($p < 0.05$) dai conteggi grezzi per braccio, rivelando che il 44% delle etichette "ground-truth" nel catalogo derivava da test non significativi.
• Metrica di Valutazione: La metrica primaria è il $\kappa$ di Cohen (kappa), una misura di accordo corretta per il caso, piuttosto che l'accuratezza grezza. Gli intervalli di confidenza sono stati generati tramite bootstrapping dei percentili ($B=10.000$).
• Rigore Statistico:
  • Pre-registrazione: Ipotesi, soglie decisionali e analisi di potenza sono stati bloccati prima della raccolta dei dati.
  • Gate-on-Resample: Per le metriche con gate (dove il modello si astiene), il gate di confidenza è stato riapplicato all'interno di ogni replica di bootstrap per propagare l'incertezza della copertura nell'intervallo di confidenza del $\kappa$.
  • Test di Equivalenza: È stato utilizzato il TOST (Two One-Sided Tests) per dimostrare che i modelli più costosi erano statisticamente equivalenti a quelli più economici, piuttosto che limitarsi a non mostrare una differenza.
  • Verifica Avversaria: I risultati principali sono stati sottoposti a derivazioni indipendenti e passaggi di falsificazione prima della pubblicazione.
• Design Sperimentale: Lo studio ha utilizzato un panel di giudici composto da 16–20 voti di Gemini 3 Flash. Ha testato vari "leve" inclusi la capacità del modello (Gemini 3.1 Pro), i meccanismi di prompt, la fedeltà dello stimolo (screenshot reali vs ricostruiti) e i prior del tipo di cambiamento.

Risultati Chiave

1. La Predizione Incondizionata Fallisce l' "Onestà Bar"

Sul dataset completo, un giudice Gemini 3 Flash ha ottenuto $\kappa = 0.141$ [0.034, 0.248], che è rilevabilmente superiore al caso ma debole. Tuttavia, quando limitato alle etichette statisticamente significative (la metà affidabile dei dati), l'evidenza è risultata inconcludente ($\kappa = 0.108$ [−0.049, 0.264]).

• Artefatto del Prior Condiviso: Il giudice concordava di più con le etichette inaffidabili (non significative) rispetto a quelle affidabili. Ciò suggerisce che il modello e i curatori delle etichette condividano un prior di "saggezza popolare" su ciò che dovrebbe vincere, piuttosto che il modello predica ciò che è effettivamente vinto.
• Capacità del Modello: Un modello di frontiera (Gemini 3.1 Pro) è risultato statisticamente equivalente a Flash ($\Delta\kappa = -0.037$ entro un bound TOST di $\pm0.20$) nonostante fosse 2.8 volte più costoso.
• Prompt e Fedeltà: La riprogettazione dei prompt, l'aumento della fedeltà dello stimolo e l'uso di prior del tipo di cambiamento non sono riusciti a produrre miglioramenti statisticamente significativi.

2. L'Astensione Calibrata Rivela il Segnale

L'unico punto operativo che è sopravvissuto all'audit di validità delle etichette degli autori è stato confident-call-or-abstain (chiamata sicura o astensione).

• Meccanismo: Bloccando le predizioni sull'accordo interno del panel (specificamente un margine di voto $\ge 0.6$), il modello si astiene su circa il 51% dei test.
• Performance: Sul sottoinsieme di test in cui il modello compie una chiamata sicura (copertura del 49%), il $\kappa$ sulle sole etichette significative sale a 0.311 [0.025, 0.555]. Questo è l'unico cellulo dello studio in cui l'intervallo di confidenza esclude lo zero per le etichette affidabili.
• Replicabilità vs Validità: Gli autori hanno dimostrato che, sebbene le chiamate del modello siano perfettamente riproducibili (accordo 31/31 tra esecuzioni indipendenti), la riproducibilità non equivale alla validità. Una conferma su un gruppo separato (cohort) più piccolo (33 chiamate) ha restituito $\kappa = -0.100$ [−0.200, 0.000], un risultato inconcludente che non ha smentito il reperto ma non è riuscito a confermarlo, evidenziando la fragilità dei guadagni di predizione selettiva.

3. Il Limite Umano e l'Illusione del Consenso

Il documento confronta l'LLM con esperti umani:

• Baseline Umana: Uno studio su 15 professionisti CRO "source-naïve" sullo stesso strumento ha ottenuto un punteggio pari al caso rispetto agli esiti reali ($\kappa \approx -0.03$).
• Prior Condiviso negli Umani: Come gli LLM, gli umani concordavano fortemente tra loro (inter-rater $\kappa = 0.53$) ma fallivano nel predire la realtà. Ciò conferma che l'artefatto del "prior condiviso" non è una patologia specifica degli LLM, ma un limite fondamentale del compito: l'aspetto visivo di una pagina sottodetermina il suo esito sperimentale sia per gli umani che per le macchine.
• Dimensione Campionaria Effettiva: Un panel di LLM da 16 voti porta solo circa 2 voti indipendenti effettivi ($n_{eff} \approx 1.9–2.6$). Allo stesso modo, 15 esperti umani hanno agito statisticamente come meno di due giudizi indipendenti. Il consenso tra giudici correlati (o umani) è persuasivo ma non è prova di abilità.

4. Economia e Deployment

• Efficienza dei Costi: Un panel da 9 voti preserva il punto operativo con gate ($\kappa \approx 0.27$) a circa la metà del costo di inferenza del panel completo.
• Deliverables: Il documento supporta il deployment di uno strumento di screening calibrato piuttosto che un oracolo del tasso di vittoria. Questo include:
  • Letture del vincitore tipo "confident-call-or-abstain".
  • Audit UX basati su screenshot con verifica avversaria (12/13 risultati verificati).
  • Un registro di affermazioni a livelli dove ogni numero porta un livello di evidenza (es. CONFIRMED, EXPLORATORY, REFUTED).

Significato e Claim

Il contributo primario del documento è una disciplina di calibrazione per la valutazione basata su LLM, allontanandosi da claim "massimali" verso affermazioni "oneste".

• Claim Confutati: Il documento confuta esplicitamente la possibilità di una predizione incondizionata del vincitore, l'accuratezza validata su mobile (a causa della mancanza di corpora etichettati renderizzati per mobile) e la predizione delle percentuali di aumento della conversione.
• Claim Supportati: Gli autori supportano il deployment di uno strumento di screening calibrato che si astiene su circa la metà degli input. La proposta di valore non è un oracolo ad alta accuratezza, ma uno strumento che identifica una piccola minoranza di casi in cui esiste un segnale e si astiene sul resto per evitare allucinazioni di fiducia.
• Integrità Scientifica: Il documento funge da contro-narrativa ai whitepaper dei vendor, pubblicando risultati negativi, gate bloccati e test "inconcludenti". Argomenta che un sistema di misurazione che non può uccidere le pretese del proprio proprietario è pubblicità, non misurazione.

Gli autori concludono che, nel compito di predire i vincitori dei test A/B partendo da screenshot, il consenso — sia esso umano o del modello — è riproducibile e persuasivo, ma non è prova. L'unica via percorribile è un sistema che sappia quando sa, e che ammetta esplicitamente quando non lo sa.