📈 economics

Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments

Il paper propone il "Two-Sided Prioritized Ranking" (TSPR), un metodo innovativo per stimare l'effetto medio totale dei cambiamenti di prezzo nei marketplace online, che supera i limiti dei test A/B tradizionali preservando la coerenza della piattaforma e sfruttando il bias di posizione per ridurre il bias di stima e aumentare la potenza statistica.

Autori originali: Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian

Pubblicato 2026-03-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il direttore di un grande mercato digitale, come un sito di viaggi o un negozio online. Il tuo obiettivo è capire se abbassare i prezzi di alcuni prodotti (o alzarli) porta più vendite. Per scoprirlo, vorresti fare un esperimento: mostrare il prezzo scontato a metà dei clienti e il prezzo normale all'altra metà.

Ma qui sorge un problema enorme, come se il mercato fosse un ristorante affollato.

Il Problema: La "Contaminazione" dei Tavoli

Immagina che i tuoi clienti (gli utenti) arrivino al tavolo e vedano un menu con 20 piatti. Se tu offri uno sconto sul "Piatto A" per metà dei clienti, cosa succede?

Il problema della competizione: Se il Piatto A diventa più economico, i clienti lo scelgono invece del "Piatto B", anche se il Piatto B non è cambiato. Il Piatto B sembra vendere meno, non perché è brutto, ma perché il Piatto A gli ha "rubato" i clienti.
Il problema della coerenza: Non puoi mostrare prezzi diversi allo stesso piatto a clienti diversi (es. "Tu vedi 50€, tu vedi 40€"). Sarebbe ingannevole, illegale in molti posti e i clienti si arrabbierebbero. Devono tutti vedere lo stesso prezzo per lo stesso oggetto.

Gli scienziati di dati hanno provato due metodi tradizionali, ma entrambi falliscono in questo scenario:

Metodo 1 (A/B Test classico): Mescoli i prezzi a caso nel menu. Risultato? I clienti confusi e dati falsi perché i piatti si "rubano" le vendite tra loro.
Metodo 2 (Gruppi separati): Dai lo sconto a un intero gruppo di clienti e il prezzo normale a un altro gruppo. Risultato? Violazione della coerenza (alcuni vedono prezzi diversi) e, se i gruppi sono piccoli, i dati sono così rumorosi da non essere affidabili.

La Soluzione: La "Coda Prioritaria" (TSPR)

Gli autori di questo articolo propongono un'idea geniale chiamata TSPR (Two-Sided Prioritized Ranking). Invece di cambiare cosa vedi, cambiano dove lo vedi.

Ecco l'analogia perfetta: Il Supermercato e i Corridoi.

Immagina che il tuo sito web sia un supermercato con un corridoio pieno di scaffali.

La regola d'oro: Tutti i clienti devono vedere gli stessi prodotti agli stessi prezzi (Coerenza).
Il trucco: Il supermercato ha due ingressi speciali, il Corridoio A e il Corridoio B.

Ecco come funziona l'esperimento TSPR:

Dividi i prodotti: Prendi tutti i prodotti e dividili in tre gruppi:
- Gruppo Sconto (Trattati): Quelli che vogliamo testare.
- Gruppo Normale (Non trattati): Quelli di controllo.
- Gruppo "Cuscino" (Placebo): Prodotti neutri che servono da separatore.
Dividi i clienti:
- Gruppo Clienti A: Vengono mandati nel Corridoio A. Qui, il supermercato mette i prodotti normali all'inizio del corridoio (dove tutti guardano per primi) e spinge i prodotti "sconto" in fondo, quasi nascosti.
- Gruppo Clienti B: Vengono mandati nel Corridoio B. Qui, il supermercato fa l'opposto: mette i prodotti sconto all'inizio del corridoio e spinge i prodotti normali in fondo.
Il segreto: Tutti vedono gli stessi prodotti agli stessi prezzi. Nessuno si lamenta. Ma c'è una differenza cruciale: l'attenzione.
- Sappiamo che le persone guardano quasi sempre le prime cose che vedono (i prodotti in cima alla lista) e ignorano quelle in fondo.
- Nel Corridoio B, i clienti vedono molti prodotti scontati subito.
- Nel Corridoio A, i clienti vedono pochi prodotti scontati (quelli in fondo).

Perché funziona?

Confrontando le vendite totali tra il Corridoio A e il Corridoio B, puoi calcolare esattamente quanto vale lo sconto.

Se le vendite nel Corridoio B (dove lo sconto è in primo piano) sono molto più alte, sai che lo sconto funziona.
Poiché hai spostato i prodotti "sconto" in alto solo per un gruppo, hai creato una differenza di esposizione senza cambiare i prezzi visibili.
Il "Gruppo Cuscino" (Placebo) assicura che i prodotti scontati e quelli normali non si mischino troppo, mantenendo l'esperimento pulito.

Il Risultato

Gli autori hanno simulato questo sistema usando dati reali di hotel (come Expedia). Hanno scoperto che:

I metodi vecchi (A/B test classici) davano stime sbagliate perché non capivano che i prodotti si "rubano" le vendite.
Il metodo dei gruppi separati (Cluster) era preciso ma richiedeva così tanto tempo e dati da essere inutile nella pratica.
Il metodo TSPR è stato il vincitore: ha dato risultati precisi, veloci e senza ingannare i clienti.

In sintesi: Invece di dire "Tu vedi un prezzo diverso", il metodo dice "Tu vedi gli stessi prezzi, ma ho spostato i prodotti scontati all'inizio della lista per te, e li ho messi in fondo per te". È come se un commesso ti dicesse: "Ehi, guarda qui per primo!", mentre a un altro dice: "Guarda qui per primo!". Il risultato è che puoi misurare l'effetto dello sconto in modo perfetto, rispettando le regole del mercato e la pazienza dei clienti.

1. Il Problema: Interferenza e Coerenza nei Marketplace

Il paper affronta una sfida fondamentale nella progettazione di esperimenti (A/B test) per i marketplace online, in particolare nelle piattaforme di ricerca e raccomandazione (es. e-commerce, hotel, ride-sharing).

Violazione di SUTVA (Interferenza): Gli standard esperimenti A/B presuppongono l'assunzione di "Valore di Trattamento Stabile per l'Unità" (SUTVA), secondo cui l'esito di un'unità non è influenzato dal trattamento assegnato ad altre unità. Nei marketplace, questa assunzione è violata: gli articoli in una lista di ricerca competono per l'attenzione limitata dell'utente. Cambiare il prezzo o le caratteristiche di un articolo (trattamento) influenza la domanda degli altri articoli nella stessa lista (effetto di sostituzione o complementarità), generando un bias di interferenza nelle stime tradizionali.
Vincolo di Coerenza (Coherency): Oltre all'interferenza, i marketplace devono rispettare il vincolo di "coerenza". Questo richiede che:
1. Tutti gli utenti vedano gli stessi prezzi per lo stesso articolo (parità dei prezzi), evitando discriminazioni di prezzo visibili che potrebbero violare leggi antitrust o danneggiare la reputazione del brand.
2. Tutti gli utenti abbiano accesso all'intero catalogo degli articoli (nessuna rimozione di item dai risultati).
Limiti delle Soluzioni Esistenti:
- Randomizzazione a livello di utente: Violerebbe la coerenza mostrando prezzi diversi a utenti diversi.
- Randomizzazione a livello di articolo (Item-level A/B): Mantiene la coerenza ma produce stime fortemente distorte a causa dell'interferenza tra articoli nella stessa lista.
- Randomizzazione a grappolo (Cluster Randomization): Riduce l'interferenza ma spesso porta a una varianza statistica eccessivamente alta e richiede una conoscenza precisa della struttura di rete delle interferenze, che è difficile da definire in contesti dinamici.

2. Metodologia: Two-Sided Prioritized Ranking (TSPR)

Gli autori propongono un nuovo design sperimentale chiamato Two-Sided Prioritized Ranking (TSPR). L'idea centrale è sfruttare il bias di posizione (gli utenti prestano molta più attenzione agli articoli in cima alla lista) per creare variazione nell'esposizione al trattamento senza violare la coerenza.

Il Meccanismo TSPR:

Assegnazione degli Articoli: Gli articoli vengono divisi in tre sottoinsiemi:
- Trattati (Treated): Ricevono l'intervento (es. sconto).
- Non Trattati (Untreated): Rimangono nello stato di controllo.
- Placebo: Un gruppo tampone per bilanciare le dimensioni dei set e mantenere la qualità media degli articoli in cima alla lista simile tra i gruppi.
Assegnazione degli Utenti (Query): Le query degli utenti vengono randomizzate in due gruppi, $Q_A$ e $Q_B$ .
Riordinamento (Re-ranking):
- Per il gruppo $Q_B$ (Braccio di trattamento): Gli articoli Trattati vengono promossi in cima alla lista, seguiti dai Placebo e poi dai Non Trattati.
- Per il gruppo $Q_A$ (Braccio di controllo): Gli articoli Non Trattati vengono promossi in cima, seguiti dai Placebo e poi dai Trattati.
Coerenza Preservata: Tutti gli utenti vedono gli stessi articoli con gli stessi prezzi. La differenza risiede solo nell'ordine di visualizzazione, che altera l'esposizione effettiva al trattamento a causa del bias di posizione.

Quadro Teorico e Stima:

L'obiettivo è stimare l'Effetto Globale di Trattamento ( $\Phi$ ), ovvero il cambiamento percentuale nell'outcome totale se tutti gli articoli fossero trattati rispetto a se nessuno lo fosse.
Il metodo si basa sull'ipotesi che l'effetto parziale del trattamento (misurato sugli articoli in cima alla lista) converga verso l'effetto globale man mano che la dimensione del blocco trattato aumenta.
Vengono proposti due stimatori per recuperare $\Phi$ $Φ$ dai dati parziali:
1. Parametrico (Weighted Least Squares): Assume una forma funzionale specifica per il decadimento dell'effetto di interferenza in funzione della profondità della lista.
2. Non Parametrico (Isotonic Regression): Utilizza vincoli di monotonia per stimare l'effetto globale senza assumere una forma funzionale specifica, offrendo maggiore robustezza.

3. Contributi Chiave

Design Innovativo: TSPR è il primo design che risolve simultaneamente il problema dell'interferenza e il vincolo di coerenza (parità dei prezzi e catalogo completo) in marketplace a due lati.
Sfruttamento del Bias di Posizione: Trasforma un fenomeno comportamentale noto (gli utenti cliccano di più in alto) in una fonte di variazione identificativa per isolare l'effetto causale.
Riduzione del Bias e della Varianza: Dimostra teoricamente e empiricamente che TSPR supera le limitazioni sia dei test A/B standard (bias elevato) che della randomizzazione a grappolo (varianza elevata).
Validazione Semi-Sintetica: L'uso di dati reali di Expedia (ricerca hotel) per calibrare modelli comportamentali complessi (clic e prenotazione) e simulare scenari controfattuali.

4. Risultati Sperimentali

Gli autori hanno condotto simulazioni Monte Carlo su 20.000 query utilizzando dati di ricerca hotel di Expedia.

Confronto con Baseline:
- A/B Test Randomizzato (Bernoulli): Mostra un bias sostanziale (sottostima l'effetto reale di circa il 48% in termini di magnitudine, con RMSE = 0.0438). L'interferenza distorce le stime perché gli articoli trattati e non trattati competono direttamente.
- Randomizzazione a Grappolo: Riduce il bias (quasi nullo), ma soffre di una varianza estremamente alta (deviazione standard 8.3 volte superiore a quella di TSPR), rendendo le stime poco precise e richiedendo campioni enormi.
- TSPR (Parametrico e Non Parametrico): Ottiene il miglior compromesso bias-varianza.
  - Riduce drasticamente il bias rispetto all'A/B test.
  - Riduce la varianza di un ordine di grandezza rispetto alla randomizzazione a grappolo.
  - L'estimatore parametrico ha l'RMSE più basso (0.0210), mentre quello non parametrico ha un bias quasi nullo (0.0069) con bassa varianza.
Robustezza: I risultati sono robusti al variare della probabilità di trattamento ( $p$ ) e l'intervallo di confidenza bootstrap mostra una buona calibrazione.

5. Significato e Implicazioni

Praticità Operativa: TSPR può essere implementato modificando le priorità di ordinamento all'interno dei sistemi di raccomandazione esistenti, senza bisogno di cambiare i prezzi visibili agli utenti o di rimuovere articoli dal catalogo. Questo lo rende immediatamente applicabile in ambienti reali.
Validità Interna ed Esterna: Permette di ottenere stime causali credibili in scenari dove i metodi standard falliscono, proteggendo al contempo la fiducia del consumatore e la conformità normativa (parità dei prezzi).
Guida Metodologica: Il lavoro sottolinea come la struttura della piattaforma (in questo caso, la gerarchia dell'attenzione) possa essere utilizzata come strumento di identificazione causale anche in presenza di interferenza complessa.
Limiti e Estensioni Future: Il metodo presuppone un'offerta in eccesso (slack supply) e un orizzonte temporale breve. Estensioni future potrebbero riguardare vincoli di capacità, trattamenti continui o interferenze tra utenti.

In sintesi, il paper propone una soluzione elegante e pragmatica a uno dei problemi più difficili nell'analisi dei dati dei marketplace, dimostrando che è possibile misurare l'impatto globale delle modifiche ai prezzi mantenendo l'integrità dell'esperienza utente.