Riepilogo Tecnico: Valutazione e Apprendimento Off-Policy Cross-Domain per Contextual Bandits

1. Formulazione del Problema

Il paper affronta i limiti degli esistenti metodi di Valutazione Off-Policy (OPE) e Apprendimento Off-Policy (OPL) nei contestual bandits di fronte a tre scenari specifici e impegnativi, comuni nelle applicazioni del mondo reale (es. medicina personalizzata, pubblicità, istruzione):

1. Logging Policy Deterministiche: La policy di logging storica seleziona un'azione specifica con probabilità uno, non lasciando alcuna esplorazione stocastica.
2. Nuove Azioni: Azioni disponibili per la nuova policy che non sono mai state osservate nei dati storici registrati.
3. Dati Few-Shot: Il dominio target dispone di una quantità estremamente limitata di dati registrati.

Gli stimatori standard come l'Inverse Propensity Scoring (IPS) e il Doubly Robust (DR) si basano sull'assunzione di Supporto Comune (Condizione 2.1), la quale richiede che qualsiasi azione intrapresa dalla nuova policy abbia una probabilità non nulla di essere stata intrapresa dalla policy di logging. Quando questa assunzione viene violata (a causa del determinismo o di nuove azioni), questi stimatori soffrono di un bias severo poiché mancano di informazioni sui premi per le azioni non esplorate. Inoltre, i tentativi ingenui di mitigare questo problema tramite l'unione di dati da più domini (es. IPS-ALL) introducono spesso un bias sostanziale ignorando le differienze nei Processi Generatori dei Dati (DGP) tra i domini.

Per risolvere questo problema, gli autori propongono una nuova formulazione del problema: Cross-Domain OPE/L. In questa configurazione, l'obiettivo è valutare e ottimizzare una policy in un dominio target ($T$) sfruttando non solo i limitati dati registrati in $T$, ma anche i dataset storici registrati da molteplici domini sorgente ($S$). Questi domini sorgente possono avere distribuzioni di contesto, distribuzioni di reward e policy di logging differenti, ma condividono lo stesso spazio di azioni.

2. Metodologia

2.1 Decomposizione della Funzione di Reward

Il nucleo del metodo proposto è una decomposizione della funzione di reward atteso $q_k(x, a)$ per qualsiasi dominio $k$ in due componenti:
$$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{Effetto Cluster di Dominio}} + \underbrace{h(x, a, k)}_{\text{Effetto Specifico del Dominio}}$$

• Effetto Cluster di Dominio ($g$): Una componente comune ai domini all'interno dello stesso cluster $\phi(k)$. Cattura gli effetti causali condivisi (es. l'efficacia generale di un trattamento attraverso ospedali simili).
• Effetto Specifico del Dominio ($h$): Una componente unica per ogni specifico dominio $k$, che rappresenta le deviazioni dalla media del cluster.

2.2 Lo Stimatore COPE

Gli autori propongono la Valutazione Cross-domain Off-Policy (COPE), uno stimatore che sfrutta questa decomposizione per gestire la carenza di supporto:

1. Stima dell'Effetto Cluster: Per l'effetto di cluster del dominio $g$, COPE applica il Multiple Importance Weighting (MIW) utilizzando i dati di tutti i domini all'interno del cluster target $\phi(T)$. Ciò consente allo stimatore di utilizzare i dati di esplorazione dei domini sorgente per valutare azioni non esplorate nel dominio target, a patto che siano esplorate all'interno del cluster.
2. Stima dell'Effetto Specifico: Per l'effetto specifico del dominio $h$, COPE utilizza la Regressione del Reward ($\hat{q}_T$) addestrata esclusivamente sui dati registrati del dominio target. Questo corregge le caratteristiche uniche del dominio target.

Lo stimatore finale COPE combina queste due parti:
$$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{MIW sui Dati del Cluster}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{Regressione sui Dati Target}}$$
Qui, $p_{\phi(T)}(a|x)$ è la distribuzione congiunta di contesto e azione mediata su tutto il cluster target, fungendo da denominatore per i pesi di importanza.

2.3 Estensione all'Apprendimento della Policy (COPE-PG)

Il framework viene esteso all'Apprendimento Off-Policy (OPL) derivando uno stimatore del gradiente della policy (COPE-PG). Questo stimatore utilizza la stessa decomposizione per aggiornare i parametri della policy $\theta$, consentendo l'apprendimento di policy che selezionano nuove azioni o gestiscono scenari di logging deterministico sfruttando i gradienti dei domini sorgente.

2.4 Proprietà Teoriche

• Condizione di Supporto Rilassata: Il metodo si basa sul Supporto Comune del Cluster (Condizione 3.1), che è soddisfatto se la policy di logging ha un supporto comune all'interno del cluster di domini, non necessariamente nel solo dominio target. Ciò permette la valutazione anche quando la policy di logging del dominio target è deterministica o esistono nuove azioni, purché il cluster contenga dati di esplorazione.
• Analisi del Bias: Il bias di COPE è caratterizzato dalla differenza tra la media pesata degli errori di regressione nel cluster e l'errore nel dominio target. Sotto la condizione di Correttezza Coerente Condizionale (CPC) (dove il modello di regressione preserva accuratamente le differenze relative di reward tra i domini nel cluster e il target), si dimostra che COPE è unbiased (non distorto).
• Generalizzazione: COPE è mostrato essere una generalizzazione stretta degli stimatori esistenti. Se la dimensione del cluster è 1 (solo il dominio target), si riduce al classico DR. Se la dimensione del cluster include tutti i domini, si avvicina a DR-ALL (sebbene con aggiustamenti del bias).

3. Contributi Chiave

1. Formulazione del Problema: Introduzione del Cross-Domain OPE/L, un nuovo setup che utilizza i dati dei domini sorgente per risolvere le sfide di OPE/L (logging deterministico, nuove azioni, dati few-shot) nel dominio target.
2. Nuovo Stimatore (COPE): Un nuovo stimatore basato sulla decomposizione della funzione di reward (effetti di cluster vs specifici) e sul multiple importance weighting. Raggiunge teoricamente l'assenza di bias sotto condizioni più blande rispetto agli standard IPS/DR.
3. Estensione al Gradiente della Policy: Sviluppo di COPE-PG, che consente l'apprendimento della policy in scenari in cui i tradizionali stimatori del gradiente falliscono a causa della mancanza di esplorazione.
4. Validazione Empirica: Esperimenti completi su un dataset di raccomandazione reale (KuaiRec) e dati sintetici che dimostrano prestazioni superiori in termini di Errore Quadratico Medio (MSE), riduzione del bias e ottimizzazione del valore della policy rispetto ai baseline (IPS, DR, DM e le loro varianti "ALL" per dominio).

4. Risultati Sperimentali

Gli autori hanno valutato COPE e COPE-PG contro i baseline (IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL) sotto diverse condizioni:

• Nuove Azioni: All'aumentare del rapporto di nuove azioni nel dominio target, COPE ha mantenuto un basso bias e MSE, mentre i metodi basati solo sul target (IPS(T), DR(T)) hanno subito un alto bias, e i metodi di pooling ingenuo (IPS-ALL) sono falliti a causa dei mismatch nei DGP.
• Logging Deterministico: Quando una grande porzione di utenti nel dominio target presentava policy di logging deterministiche, COPE è rimasto robusto con un basso bias, mentre i metodi standard hanno mostrato un bias in rapida crescita.
• Dati Few-Shot: In regimi di dati scarsi (es. 1 punto dati per azione), COPE ha superato significativamente il miglior baseline (DM), ottenendo una riduzione del MSE di 6.79x in uno scenario.
• Performance OPL: COPE-PG ha appreso con successo policy che selezionavano azioni nuove ad alto reward, una capacità assente nei metodi basati solo sul target. Ha mantenuto alti i valori della policy anche all'aumentare del grado di logging deterministico.
• Sensibilità agli Iperparametri: Il metodo ha mostrato robustezza rispetto alla dimensione del cluster target $|\phi(T)|$, performando bene attraverso una gamma di dimensioni del cluster, sebbene dimensioni moderate (es. 6-8) abbiano fornito risultati ottimali.

5. Significato e Rivendicazioni

Il paper sostiene che i metodi OPE/L esistenti sono fondamentalmente limitati dall'assunzione di supporto comune, rendendoli inefficaci in scenari realistici che coinvolgono logging deterministico, nuove azioni o dati sparsi. Formulando il problema come Cross-Domain OPE/L, gli autori forniscono una soluzione pratica che sfrutta l'abbondanza di dati storici disponibili in domini correlati (es. altri ospedali, paesi o segmenti di utenti).

La rilevanza di questo lavoro risiede nella sua capacità di:

• Consentire la valutazione e l'apprendimento sicuri di nuove policy in ambienti ad alto rischio dove i test A/B online sono rischiosi o impossibili.
• Superare il trade-off "varianza vs bias" in contesti few-shot, trasferendo l'informazione di esplorazione dai domini sorgente senza introdurre il bias associato al pooling ingenuo dei dati.
• Offrire un approccio teoricamente fondato (tramite decomposizione del reward e MIW) che garantisce analiticamente l'assenza di bias in condizioni in cui i metodi standard falliscono.

Gli autori concludono che, sebbene l'attuale clustering dei domini si basi su euristiche (media empirica dei reward), il framework apre una nuova direzione per la ricerca sul trasferimento cross-domain rigoroso nei problemi di bandit, mirando specificamente alle problematiche non ancora risolte del logging deterministico e delle nuove azioni.