Adaptive Off-Policy Inference for M-Estimators Under Model Misspecification

Riassunto Tecnico: Inferenza Off-Policy Adattiva per M-Stimatori sotto Misspecificazione del Modello

1. Il Problema (The Problem)

Il paper affronta una sfida fondamentale nella statistica moderna: l'inferenza su dati raccolti in modo adattivo, come avviene nei problemi di multi-armed bandit o nel reinforcement learning.

In contesti classici, i dati sono assunti come i.i.d. (indipendenti e identicamente distribuiti). Tuttavia, negli algoritmi adattivi, la scelta del trattamento al tempo $t$ dipende dalla storia passata $\{X_i, A_i, Y_i\}_{i=1}^{t-1}$. Questo crea due problemi principali:

1. Dipendenza sequenziale: I dati non sono più i.i.d., il che invalida i test statistici tradizionali.
2. Instabilità della varianza: Gli algoritmi di bandit (come UCB o Thompson Sampling) tendono a concentrarsi su azioni specifiche, portando a varianze della funzione di score che non convergono o sono estremamente instabili.

Il problema è ulteriormente complicato dalla misspecificazione del modello: la maggior parte dei lavori recenti assume che il modello statistico utilizzato per l'inferenza sia corretto. Se il modello è errato, il parametro stimato può variare drasticamente a seconda della politica di campionamento utilizzata (come illustrato nell'Esempio 1 del paper).

2. Metodologia (Methodology)

Gli autori propongono un framework per l'inferenza su M-stimatori (una classe generale che include i minimi quadrati e i modelli lineari generalizzati - GLM) che sia robusto sia all'adattività che alla misspecificazione.

A. Definizione del Target (Off-Policy Projection):
Per garantire che il parametro di interesse sia stabile e interpretabile, gli autori non cercano di stimare il parametro della distribuzione non stazionaria generata dal bandit, ma definiscono un parametro di proiezione off-policy $\theta^\star$ rispetto a una politica di valutazione $\pi_e$ fissa e invariante nel tempo.

B. L'Estimatore MAIPWM:
Propongono il Misspecified Augmented Inverse Propensity Weighted M-estimator (MAIPWM). Questo stimatore utilizza:

• Inverse Propensity Weighting (IPW): Per correggere il bias introdotto dalla selezione adattiva delle azioni.
• Augmentation (Augmented IPW): Utilizza un modello predittivo $f_t$ per ridurre la varianza, combinando le osservazioni reali con le predizioni del modello.

C. Stabilizzazione della Varianza:
Il contributo tecnico più profondo è la gestione della varianza della funzione di score $s_{t,\theta}$. Poiché la varianza varia nel tempo, gli autori introducono matrici di stabilizzazione $\Sigma_t$ che normalizzano la varianza in ogni passo temporale. Per stimare queste matrici, propongono due strategie pratiche:

1. Utilizzo di dati esterni: Se disponibile, un dataset indipendente viene usato per stimare i momenti condizionali.
2. Sequential Sample Splitting: Se non ci sono dati esterni, i dati dell'esperimento vengono divisi sequenzialmente in due "storie" parallele, una usata per l'addestramento dei modelli predittivi e l'altra per la stima della varianza.

3. Contributi Chiave (Key Contributions)

1. Teorema del Limite Centrale (CLT) Generalizzato: Il paper fornisce un nuovo CLT (Theorem 1) che garantisce la normalità asintotica dell'estimatore anche quando la varianza non converge e il modello è misspecificato.
2. Robustezza alla Misspecificazione: A differenza dei lavori precedenti (es. Zhang et al., 2021), il metodo non richiede che il modello di reward sia corretto, ma si concentra sulla proiezione su una politica target.
3. Flessibilità Algoritmica: Il metodo funziona con algoritmi di bandit "instabili" (come Thompson Sampling) dove le probabilità di azione non convergono a un valore fisso.
4. Framework per GLM: Forniscono un algoritmo completo (Algorithm 1) per applicare questa teoria ai modelli lineari generalizzati, rendendola applicabile a casi reali.

4. Risultati Empirici (Results)

Gli autori hanno testato il metodo su dataset semi-sintetici derivati dall'Osteoarthritis Initiative (OAI). I risultati mostrano che:

• Copertura (Coverage): Gli stimatori classici (Naive MLE) e quelli basati su IPW standard falliscono sistematicamente nel mantenere il tasso di copertura nominale (es. un intervallo di confidenza al 90% copre molto meno del 90% dei casi) quando il modello è misspecificato o l'adattività è alta.
• Efficacia del MAIPWM: Il metodo proposto mantiene una copertura corretta in tutti gli scenari testati (omocedasticità, eteroscedasticità, misspecificazione e diverse strategie di bandit).
• Trade-off tra precisione e potenza: Il Sample Splitting garantisce una copertura valida ma produce intervalli di confidenza più ampi rispetto all'uso di dati esterni, a causa della riduzione della dimensione del campione per la stima della varianza.

5. Significato e Implicazioni (Significance)

Questo lavoro colma un vuoto critico nella statistica adattiva. Permette ai ricercatori (specialmente in ambito medico o di decision-making sequenziale) di trarre conclusioni scientifiche valide (intervalli di confidenza affidabili) da dati raccolti tramite algoritmi di apprendimento per rinforzo, senza dover assumere che il modello matematico scelto sia una rappresentazione perfetta della realtà. È un passo fondamentale verso l'inferenza statistica rigorosa in sistemi di intelligenza artificiale che interagiscono con il mondo reale.