Riepilogo Tecnico: Evidenza Anytime-Valid per Correzioni Predittive Prescritte

1. Configurazione del Problema

Il documento affronta il problema di confermare una correzione predittiva prescritta in un contesto sequenziale. In molti contesti scientifici e operativi (ad esempio, ricalibrazione di strumenti, deriva di saggi o interventi noti), un professionista può possedere un'ipotesi specifica su come una distribuzione predittiva sorgente esistente, $p_0(y \mid x, D_{tr})$, debba essere modificata per riflettere i cambiamenti anticipati nei risultati futuri. Questa modifica, o tilt $h(x, y)$, definisce una distribuzione predittiva corretta $p_h(y \mid x, D_{tr})$.

A differenza dei problemi standard di shift di distribuzione, dove l'obiettivo è stimare una distribuzione target ignota utilizzando abbondanti dati target, questo lavoro si concentra sulla conferma: determinare se la specifica correzione prescritta $p_h$ predice i risultati target in arrivo $(X_i, Y_i)$ meglio della sorgente $p_0$. Il contesto assume che i risultati arrivino sequenzialmente, potenzialmente sotto una selezione adattiva degli input, e che il professionista desideri monitorare l'evidenza continuamente senza fissare in anticipo una dimensione del campione.

2. Metodologia

2.1 La Costruzione dell'E-Process

La metodologia centrale costruisce un e-process anytime-valid basato sul rapporto di verosimiglianza tra la distribuzione corretta e la sorgente.

• Tilt e Normalizzazione: Viene prescritto un tilt non negativo $h: \mathcal{X} \times \mathcal{Y} \to [0, \infty)$. Esso viene normalizzato tramite $Z_h(x, D_{tr}) = \int h(x, y)p_0(y \mid x, D_{tr}) dy$ per formare la predittiva corretta:
  $$p_h(y \mid x, D_{tr}) = \frac{h(x, y)p_0(y \mid x, D_{tr})}{Z_h(x, D_{tr})}$$
• E-Value Condizionale: Per ogni osservazione $i$, il fattore di evidenza a singolo step è definito come:
  $$e_i = \frac{p_h(Y_i \mid X_i, D_{tr})}{p_0(Y_i \mid X_i, D_{tr})} = \frac{h(X_i, Y_i)}{Z_h(X_i, D_{tr})}$$
  Sotto l'ipotesi nulla predittiva della sorgente $H_0^{pred}: Y_i \mid X_i, \mathcal{F}_{i-1} \sim p_0(\cdot \mid X_i, D_{tr})$, l'aspettativa condizionale $E[e_i \mid \mathcal{G}_i] = 1$, dove $\mathcal{G}_i$ contiene i dati passati e l'attuale input $X_i$. Pertanto, $e_i$ è un e-value condizionale.
• Il Processo di Ricchezza (Wealth Process): Il prodotto corrente $M_t = \prod_{i=1}^t e_i$ forma un martingala non negativa sotto $H_0^{pred}$. Per l'ineguaglianza di Ville, per ogni $\alpha \in (0, 1)$:
  $$\sup_{P \in \mathcal{P}_0^{pred}} P\left( \sup_{t \ge 0} M_t > \frac{1}{\alpha} \right) \le \alpha$$
  Ciò garantisce che la probabilità di confermare erroneamente la correzione (superando il confine $1/\alpha$) sia al massimo $\alpha$, indipendentemente dal tempo di arresto o dal meccanismo di selezione dell'input (inclusi i design adattivi).

2.2 Interpretazione dell'Evidenza

Il logaritmo del processo di ricchezza, $\log M_t$, rappresenta il vantaggio cumulativo del log-score predittivo della distribuzione corretta rispetto alla sorgente:
$$\log M_t = \sum_{i=1}^t \left( \log p_h(Y_i \mid X_i, D_{tr}) - \log p_0(Y_i \mid X_i, D_{tr}) \right)$$
Il superamento del confine $1/\alpha$ (o $\log(1/\alpha)$ nello spazio logaritmico) fornisce un'evidenza relativa anytime-valid che $p_h$ supera $p_0$ sul flusso osservato.

2.3 Estensioni e Varianti

• Confutazione (Refutation): Se $h(x, y) > 0$ quasi certamente, il processo reciproco $M_t^\downarrow = 1/M_t$ permette la confutazione anytime-valid della predittiva corretta a favore della sorgente.
• Tilt Predicibili: Il framework si estende a tilt $h_i$ che vengono aggiornati in modo prevedibile sulla base delle osservazioni passate, interpretando il risultato come evidenza per una strategia di scommessa adattiva piuttosto che una singola correzione fissa.
• Miscele (Mixtures): Per gestire l'incertezza sull'entità o sulla direzione della correzione, il paper propone di miscelare i percorsi di ricchezza su una famiglia prescritta di tilt, $\int M_t(\theta) d\Pi(\theta)$, mantenendo la proprietà di e-process.
• Oltre la Tolleranza (Beyond-Tolerance): Il metodo può essere adattato per testare se uno shift ecceda un confine di tolleranza specifico $\delta_{tol}$ confrontando una predittiva azionabile $p_{alarm}$ contro $p_{tol}$ invece della sorgente non corretta.

3. Contributi Chiave

1. Conferma Relativa Anytime-Valid: Il paper costruisce un e-process condizionale per correzioni predittive prescritte. La validità è mantenuta sotto arresto opzionale e sequenze di input arbitrarie (inclusi quelli adattivi). Il processo quantifica il vantaggio cumulativo del log-score della correzione rispetto alla sorgente.
2. Decomposizione del Drift e Crescita: L'autore deriva una decomposizione del drift condizionale mostrando che il tasso di crescita logaritmica attesa è la differenza tra le divergenze di Kullback-Leibler (KL) condizionali:
   $$\Gamma_h(x) = D_{KL}(q(\cdot \mid x) \parallel p_0(\cdot \mid x, D_{tr})) - D_{KL}(q(\cdot \mid x) \parallel p_h(\cdot \mid x, D_{tr}))$$
   Ciò chiarisce che l'accumulo di evidenza positiva richiede solo che la correzione sia più vicina al vero target rispetto alla sorgente, non che sia perfettamente specificata.
3. Controllo della Falsa Conferma sotto Misspecification: Il paper identifica un semispazio protetto dipendente dalla correzione di distribuzioni target errate. Se il target reale $q$ soddisfa una specifica condizione di momento ($E_q[h(X, Y)] \le Z_h(X)$), il limite originale di falsa conferma rimane valido. Ciò distingue tra una generica prossimità alla sorgente (che non garantisce il controllo) e una robustezza basata su momenti specifici.
4. Identità dell'Overshoot: Viene derivata un'identità che spiega perché il tasso empirico di errore di Tipo I è spesso strettamente inferiore al livello nominale $\alpha$. La probabilità di superamento è inversamente correlata all'overshoot atteso del processo di ricchezza al tempo del superamento.
5. Correzioni Strutturate: Il framework viene istanziato per casi specifici, inclusi lo shift di etichetta (label-shift), correzioni di media/varianza condizionale, aggiustamenti specifici per sottogruppi e tilt generali di tipo esponenziale.

4. Risultati dagli Esperimenti Sintetici

Il paper valida la teoria utilizzando esperimenti sintetici con una sorgente predittiva gaussiana oracle:

• Validità: Sotto la null della sorgente, i tassi empirici di falsa conferma erano costantemente inferiori al valore nominale $\alpha = 0.05$ (ad esempio, 0.034), in linea con l'identità dell'overshoot.
• Tassi di Crescita: Le correzioni correttamente specificate (shift di media e varianza) hanno accumulato evidenza a ritmi corrispondenti alle previsioni teoriche del drift. Le correzioni sottospecificate hanno comunque accumulato evidenza (drift positivo) ma a ritmi più lenti, mentre le correzioni sovraspecificate potevano risultare in un drift negativo o in una riduzione della potenza.
• Robustezza e Modalità di Fallimento:
  • Drift Cross-Family: Un processo di correzione della varianza poteva essere guidato da un puro shift della media (se lo shift della media aumentava sufficientemente il secondo momento), portando a una falsa conferma di un cambiamento di varianza. Viceversa, un processo di correzione della media poteva essere guidato da code pesanti o inflazione della varianza. Ciò dimostra che un superamento del confine supporta la performance predittiva relativa della correzione, ma non identifica univocamente il meccanismo fisico.
  • Fallimento della Condizione di Momento: Quando la distribuzione target violava la condizione di momento (ad esempio, target a code pesanti dove l'aspettativa del tilt è infinita), il limite di falsa conferma poteva essere superato, anche se il drift a lungo termine era negativo. Questo evidenzia che il solo drift negativo non garantisce la protezione uniforme nel tempo.
• Adattività: La selezione adattiva degli input (ad esempio, selezionare input con alta separazione KL) ha accelerato l'accumulo di evidenza senza compromettere la validità della garanzia della null della sorgente.
• Miscele e Oltre la Tolleranza: Le miscele sulle magnitudo delle correzioni hanno fornito robustezza all'incertezza, e i test oltre la tolleranza hanno controllato con successo i falsi allarmi su una regione composita di shift accettabili.

5. Significato e Rivendicazioni

Il paper sostiene di fornire un framework anytime-valid a campione finito per valutare correzioni predittive prescritte senza la necessità di stimare l'intera distribuzione target.

• Relativo vs Assoluto: L'autore sottolinea che il metodo fornisce una conferma relativa. Un superamento del confine indica che la correzione proposta è migliore della predittiva della sorgente per i dati osservati, ma non prova che la correzione sia la vera distribuzione target né identifica il meccanismo specifico dello shift.
• Utilità Operativa: Il framework è progettato per contesti in cui una correzione plausibile è disponibile prima dell'inizio del monitoraggio (ad esempio, a causa di analisi ingegneristiche o cambiamenti di policy), consentendo il monitoraggio sequenziale con un rigoroso controllo dell'errore.
• Limitazioni: Le garanzie sono condizionate alla predittiva della sorgente $p_0$ che è stata stimata. Il paper non pretende di gestire la misspecification del modello della sorgente o l'incertezza derivante dalla fase di fitting del modello stesso. Inoltre, il confine di refutazione reciproca è calibrato sotto la null della predittiva corretta, non sotto una classe ampia di misspecification.
• Distinzione dalla Stima: Il lavoro si distingue esplicitamente dai metodi di stima o adattamento di shift di distribuzione. Non apprende un target non ristretto; testa un'ipotesi specifica su come la sorgente debba essere modificata.

In sintesi, il paper offre uno strumento statistico rigoroso per "scommettere" su una specifica correzione predittiva contro un modello sorgente, garantendo che il rischio di falsi allarmi sia controllato ad ogni step di un processo di monitoraggio sequenziale, chiarendo al contempo i limiti interpretativi riguardo l'identificazione del meccanismo sottostante dello shift.