Anytime-Valid Confirmation of Label-Shift Corrections

Sintesi Tecnica: Conferma Valida in Qualsiasi Momento delle Correzioni di Label-Shift

1. Definizione del Problema

Nelle implementazioni scientifiche con piccoli lotti (small-batch), gli esiti target etichettati sono spesso troppo scarsi per stimare in modo affidabile i cambiamenti di distribuzione delle etichette (label shift), dove la distribuzione marginale $p(y)$ cambia mentre $p(x|y)$ rimane stabile, utilizzando i metodi tradizionali basati su dati target non etichettati come BBSE o MLLS. In questi scenari, i professionisti spesso possiedono una correzione candidata pre-specificata derivata dalla conoscenza del dominio, da specifiche normative o da esperimenti di bridging.

Il problema centrale affrontato non è la stima dello shift, ma la conferma se gli esiti etichettati in arrivo supportano una correzione di label-shift fissa e postulata rispetto a un modello predittivo sorgente. Questo viene inquadrato come un problema di conferma piuttosto che di stima, richiedendo uno strumento statistico in grado di gestire l'arrivo sequenziale dei dati senza una dimensione campionaria pre-specificata, controllando l'errore di Tipo I sotto arresto opzionale (optional stopping).

2. Metodologia

Il documento propone un framework di test sequenziale basato su e-values ed e-processes (Vovk & Wang, 2021; Shafer, 2021).

Costruzione Core:
Data una predizione sorgente fissa $p_s(y|x, D_{tr})$ e un peso candidato $w(y)$ derivato dalla conoscenza del dominio, gli autori definiscono una predizione inclinata (tilted predictive):
$$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$$
Il test accumula il rapporto di verosimiglianza per osservazione tra la predizione inclinata e la predizione sorgente:
$$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$$
dove $Z_w(x_i)$ è la costante di normalizzazione.

Garanzie Teoriche:

• E-Value Condizionale: Sotto l'ipotesi nulla predittiva $H_0^{pred}$ (dove gli esiti seguono la predizione sorgente $p_s$), l'aspettativa di $e_i$ dato i dati passati e l'input corrente è 1. Pertanto, $e_i$ è un e-value condizionale valido.
• Proprietà di Martingala: Il prodotto corrente $M_t = \prod_{i=1}^t e_i$ forma una martingala non negativa (un e-process).
• Validità in Qualsiasi Momento (Anytime-Valid): Per l'ineguaglianza di Ville, la regola di arresto $\tau^* = \inf\{t : M_t > 1/\alpha\}$ controlla l'errore di Tipo I al livello $\alpha$ simultaneamente per tutte le dimensioni campionarie $t$, senza necessità di correzione per l'arresto opzionale.
• Identità del Gap NLPD: Il log-ricchezza $\log M_t$ è uguale alla differenza cumulativa della Negative Log-Predictive Density (NLPD) tra la sorgente e la predizione inclinata:
  $$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$$
  Il rifiuto avviene quando il vantaggio del log-score accumulato dalla predizione inclinata supera $\log(1/\alpha)$.

Forma Chiusa per Processi Gaussiani:
Per sorgenti a Processi Gaussiani (GP) con rapporti di label-shift gaussiani, gli autori derivano espressioni in forma chiusa per la costante di normalizzazione $Z_w(x)$ e l'e-value per singolo campione. Ciò consente un calcolo efficiente utilizzando solo gli output della posteriore GP ($\mu_s, \sigma^2_s$) e i parametri di shift.

Test Multipli:
Per il testing parallelo di $K$ flussi, il documento raccomanda la procedura e-BH (Wang & Ramadhas, 2022) utilizzando e-values a lotti per controllare il False Discovery Rate (FDR), invece della più conservativa correzione di Bonferroni.

3. Contributi Chiave

1. Identità del Gap NLPD: Collega il betting ottimale di Kelly alla valutazione del modello, dimostrando che il gap cumulativo di NLPD funge da log-ricchezza di un e-process valido.
2. Test di Conferma Valido in Qualsiasi Momento: Fornisce un test sequenziale formale per uno shift postulato fisso che non richiede una dimensione campionaria pre-specificata e controlla l'errore di Tipo I sotto arresto opzionale.
3. E-Value a Forma Chiusa per GP: Deriva soluzioni analitiche per gli e-value sotto tilt di label-shift gaussiani, consentendo l'implementazione pratica in regressioni GP.
4. Caratterizzazione del Tasso di Crescita: Dimostra che, sotto l'alternativa (specificazione corretta), il test ha una potenza asintotica pari a uno, con un tasso di crescita uguale alla divergenza KL media tra la predizione inclinata e quella sorgente.
5. Validazione Empirica: Dimostra il controllo del Tipo I, la potenza a campione finito, la sensibilità alla miscalibrazione e il vantaggio dell'uso di un prior affidabile rispetto alla ri-stima rumorosa in piccoli lotti.

4. Risultati Sperimentali

Gli autori validano il metodo utilizzando simulazioni di regressione GP end-to-end:

• Controllo del Tipo I: Sotto la nulla predittiva, il tasso empirico di falsi allarmi rimane rigorosamente al di sotto del valore nominale $\alpha$ (0.05) attraverso tutti gli orizzonti temporali, confermando la garanzia di validità anytime-valid.
• Potenza vs. LRT a Campione Fisso: Mentre i test del rapporto di verosimiglianza (LRT) a campione fisso, calibrati per dimensioni campionarie specifiche, mostrano una potenza leggermente superiore ad ampi orizzonti, l'e-process mantiene la validità sotto tempi di arresto arbitrari, offrendo un compromesso fondamentale tra potenza e flessibilità.
• Vantaggio dei Piccoli Lotti: In scenari con piccole dimensioni di lotti target ($n_t=10$), una correzione prior affidabile (oracle) supera significativamente la ri-stima adattiva in termini di NLPD su dati tenuti fuori (held-out). Il test di conferma fornisce prove formali a supporto dell'uso di tali prior.
• Sensibilità alla Miscalibrazione: Il test è altamente sensibile alla miscalibrazione della predizione sorgente. La sottostima della varianza da parte della GP sorgente (es. fattore $c=2$) causa un'inflazione netta dell'errore di Tipo I (fino al 36.45%), evidenziando che la garanzia di validità dipende dal fatto che il modello sorgente sia ben calibrato.
• Robustezza alla Misspecificazione: Quando lo shift postulato è misspecificato (magnitudo o direzione errata), la potenza del test diminuisce, ma l'errore di Tipo I rimane controllato finché il peso è fisso. Il test non rifiuta falsamente la nulla a causa della misspecificazione; semplicemente non riesce a rifiutare.

5. Significato e Rivendicazioni

Il documento sostiene di fornire uno strumento necessario per un contesto specifico, spesso trascurato nella distribuzione dei modelli: la conferma piuttosto che la stima.

• Distinzione dalla Stima: Gli autori sottolineano che il rifiuto conferma che la correzione postulata è coerente con i dati rispetto alla sorgente, ma non quantifica l'esatto grado di shift. Per la stima quantitativa, i metodi basati su dati target non etichettati rimangono lo strumento appropriato.
• Utilità Pratica: Il metodo permette ai professionisti di validare formalmente le correzioni basate sulla conoscenza del dominio (es. specifiche normative) man mano che i dati arrivano, evitando l'inaffidabilità della ri-stima degli shift da dati etichettati scarsi.
• Limitazioni: Gli autori dichiarano esplicitamente che la garanzia di controllo del Tipo I è condizionata alla nulla predittiva (ovvero, il modello sorgente deve essere ben calibrato). Il test non è robusto a una arbitraria misspecificazione del modello senza ulteriori livelli di calibrazione. Inoltre, il peso candidato deve essere fissato prima dell'inizio del flusso di testing; utilizzare i dati del flusso di testing per stimare il peso invalida la proprietà dell'e-value.

In sintesi, il documento offre un framework rigoroso e valido in qualsiasi momento per confermare correzioni di label-shift pre-specificate, colmando il divario tra la conoscenza del dominio e l'evidenza statistica sequenziale in ambienti con scarsità di dati.