Sintesi Tecnica: Quando è possibile fidarsi della Valutazione Offline di un'Allocazione Top-k a Costo Uguale?

Definizione del Problema

Le organizzazioni affrontano regolarmente problemi di allocazione con vincoli di budget, come la selezione del top $k$ frazione di clienti per un'offerta di fidelizzazione o di pazienti per un trattamento, basandosi su stime degli effetti del trattamento. Prima di implementare una nuova politica deterministica "top-$k$" ($\pi_e$), i professionisti si affidano alla Valutazione Off-Policy (OPE) utilizzando dati registrati da una politica precedente ($\pi_b$) per stimare il valore della nuova politica.

La difficoltà principale deriva dalla natura deterministica della politica target. A differenza delle politiche stocastiche, una regola top-$k$ deterministica assegna probabilità 1 a un'unica azione e 0 alle altre. Ciò elimina la media sulle azioni, causando pesi di importanza ($w = \pi_e(a|x)/\pi_b(a|x)$) estremi (0 o $1/\pi_b$) laddove il logger ha raramente eseguito l'azione richiesta dal target. Mentre la letteratura standard sull'OPE affronta la debole sovrapposizione (overlap) in contesti stocastici, questo articolo investiga se la valutazione offline rimanga affidabile quando il target è una politica top-$k$ deterministica, specificamente sotto pesi limitati (propensioni con un limite inferiore a 0,02).

Metodologia

L'autore costruisce un benchmark controllato e riproducibile per valutare sei stimatori (DM, IPS, SNIPS, DR, Switch-DR, mIPS) attraverso cinque dataset e due sweep di indurimento (hardening) a effetti noti.

• Dataset: Lo studio utilizza cinque dataset che spaziano su tre regimi:
  1. Sintetico: Risultati potenziali noti ($\mu_0, \mu_1$) con effetti regolabili, fornendo una verità fondamentale (ground truth) esatta.
  2. Semi-sintetico: IHDP (risultato continuo, effetti noti) e Jobs (risultato binario, sottoinsieme randomizzato).
  3. RCT Reali: Esperimenti di marketing Hillstrom e Lenta con probabilità di trattamento costanti note.
  4. Livello di Indurimento (Hardening Layer): Sei processi di generazione dei dati (DGP) in stile ACIC-2017 su covariate reali IHDP per testare la robustezza attraverso diverse superfici di risposta.
• Design del Logging: Il feedback registrato è sintetizzato tramite campionamento per rifiuto da un trial randomizzato o da una propensione nota. La politica di logging è una softmax scalata in temperatura su uno score candidato. Fondamentalmente, l'articolo varia l'allineamento tra il logger e il target:
  • Auto-allineato: Il logger è costruito dallo score del target stesso (ma non dal suo specifico confine top-$k$).
  • Disallineato: Il logger è costruito dallo score di un candidato diverso.
  • Indipendente: Il logger è costruito da uno score indipendente dai candidati.
• Protocollo di Valutazione: Ogni stima è accoppiata a un valore di riferimento esplicito. Per i dati sintetici/IHDP, questo è il ground truth esatto. Per i trial randomizzati, è una stima di Horvitz–Thompson rumorosa. Lo studio separa esplicitamente questi tipi di riferimento per evitare di confondere l'errore dello stimatore con il rumore del riferimento.
• Variabili Chiave: Lo studio effettua sweep sulla temperatura di logging ($\tau$), sul budget ($k$) e sui candidati di politica (T-learner, S-learner, baseline casuale). Testa anche l'impatto delle propensioni stimate ($\hat{\pi}_b$) rispetto alle propensioni esatte ($\pi_b$) e della qualità del modello di esito ($\hat{\mu}$).

Contributi Chiave

1. L'Overlap è governato dall'Allineamento delle Azioni, non dalla Nitidezza del Logging

L'articolo corregge un errore comune secondo cui "indurire" (sharpening) una politica di logging (abbassando la temperatura $\tau$) migliori intrinsecamente la sovrapposizione per i target deterministici.

• Risultato: Per un target top-$k$ deterministico, la sovrapposizione è determinata dalla probabilità del logger di eseguire le azioni specifiche che il target seleziona, non dalla nitidezza della distribuzione dello score.
• Meccanismo: Se un logger è "allineato allo score" (centrato sulla media dello score) ma il target taglia a una soglia di budget, l'indurimento del logger concentra semplicemente la massa lontano dalle azioni del target, facendo collassare l'Efficacia del Campione Effettivo (ESS). Al contrario, un logger "allineato all'azione" (centrato sul cutoff) si indurisce verso il pieno supporto.
• Diagnostica: L'ESS e la carenza di supporto possono classificare il rischio tra diversi ambienti di logging (ad esempio, scegliendo tra diversi log), ma sono deboli nel classificare i candidati all'interno di un singolo log fisso.

2. La Maledizione dell'Ottimizzatore e le Strategie di Splitting

L'articolo affronta la "maledizione dell'ottimizzatore", in cui una politica appresa sugli stessi dati utilizzati per la valutazione presenta un bias ottimistico.

• Risultato: Il cross-fitting solo del modello di disturbo (nuisance model) dell'esito (mantenendo la politica congelata) non rimuove il bias di riutilizzo; anzi, spesso rende l'ottimismo peggiore rispetto alla semplice stima Doubly Robust (DR).
• Ragionamento: L'ottimizzatore seleziona unità con score gonfiati a causa del rumore di stima. Un modello di disturbo "onesto" (out-of-fold) non riesce a ridurre questi residui, reintroducendo l'ottimismo.
• Soluzione: È necessario uno splitting a livello di politica "onesto" (ri-apprendere la politica su dati out-of-fold e valutarla su fold tenuti da parte) per eliminare il bias di riutilizzo. Questo mira al valore del processo di apprendimento piuttosto che alla specifica politica a campione completo, cambiando l'estimando ma fornendo una valutazione valida del processo di deployment.

3. L'Errore di Stima della Propensione è la Modalità di Fallimento Dominante

Sostituire le propensioni esatte con propensioni stimate ($\hat{\pi}_b$) causa la maggiore degradazione delle prestazioni.

• Risultato: Per l'Inverse Propensity Scoring (IPS), l'errore di stima aumenta i tassi di fallimento (bias relativo > 10%) dal ~6% al 37–63%.
• Inversione delle Diagnostiche: Un modello di propensione scadente può invertire la diagnostica ESS. Se la propensione stimata è quasi costante, non trasporta alcuna informazione di dispersione, causando il collasso dell'ESS stimato verso la copertura. Ciò porta a punteggi ESS elevati in regioni dove la vera propensione è estrema (alto rischio), rendendo la diagnostica attivamente fuorviante.
• Robustezza: Gli stimatori Doubly Robust (DR) rimangono stabili sotto l'errore di stima della propensione perché il termine del modello di esito assorbe l'errore.

Risultati

• Accuratezza degli Stimatori (RQ1): Gli stimatori basati su modelli (DM, DR) generalmente superano gli stimatori basati puramente sul peso (IPS, SNIPS) sui dataset con valori esatti, con DR che mostra la maggiore stabilità. Sui dataset con riferimenti rumorosi (RCT), il divario di prestazione si restringe e le classifiche diventano inaffidabili a causa del rumore del riferimento.
• Diagnostica di Overlap (RQ2): Il rischio di debole sovrapposizione è classificabile tra diversi ambienti di logging utilizzando l'ESS, a condizione che esista un modello di propensione credibile. Tuttavia, all'interno di un singolo log, l'ESS non può classificare in modo affidabile quale politica candidata sia sicura da implementare.
• Selezione della Politica (RQ4): Quando si seleziona tra i candidati, l'uso di un "log comune" (un unico log storico per tutti i candidati) è essenziale. L'uso di log specifici per candidato (dove ogni candidato è valutato su un log allineato con sé stesso) confonde la selezione, confrontando coppie politica-logger anziché le politiche stesse. L'IPS tende a sovra-selezionare i candidati che sono più facili da valutare (minore varianza), non necessariamente i migliori.
• Controllo Non-Simulato: Un controllo sul dataset "Twins" (risultati accoppiati reali) ha confermato che i meccanismi (effetti di allineamento, segni del cross-fitting) si replicano, sebbene i punti di taglio calibrati non siano trasferibili direttamente.

Significato e Affermazioni

L'articolo sostiene di fornire una guida operativa per i professionisti, sottolineando che la valutazione offline di politiche top-$k$ deterministiche è altamente sensibile all'allineamento tra il logger e il target.

• Guida Pratica:
  1. Controllare l'Allineamento: Prima di fidarsi di una stima pesata per importanza, verificare se la politica del logger concorda ampiamente con le azioni del target.
  2. Usare DR in caso di Incertezza: La stima Doubly Robust è il default più sicuro quando l'adeguatezza del modello di esito è incerta o quando è necessaria la stima della propensione.
  3. Splitting Onesto: Per evitare la maledizione dell'ottimizzatore, utilizzare lo splitting a livello di politica piuttosto che il semplice cross-fitting dei disturbi.
  4. Log Condivisi per la Selezione: Quando si confrontano più politiche candidate, valutarle tutte su un singolo log storico condiviso per evitare il bias di selezione.
• Limitazioni: Lo studio è limitato all'allocazione top-$k$ a due azioni e costo uguale. Le conclusioni sui punti di taglio sono specifiche per le distribuzioni dei dati del benchmark e non si trasferiscono direttamente ad altri domini senza ricalibrazione. L'articolo dichiara esplicitamente di non risolvere il problema della stima delle propensioni da dati osservazionali, ma evidenzia il costo severo di farlo in modo errato.

L'articolo conclude che, sebbene l'OPE sia uno strumento necessario per l'allocazione con vincoli di budget, la sua affidabilità è condizionata da specifiche scelte di design (allineamento del logger, modellazione della propensione e strategie di splitting) che sono spesso trascurate nella pratica standard.