Sintesi Tecnica: Localizzazione del Changepoint Distribution-free dopo il Rilevamento Sequenziale del Cambiamento

Definizione del Problema

Il saggio affronta il problema fondamentale della localizzazione sequenziale del changepoint in uno spazio di osservazione arbitrario $\mathcal{X}$. Mentre esiste una vasta letteratura sulla progettazione di regole di arresto (ad es. CUSUM, Shiryaev–Roberts, martingali di test conformi) per rilevare quando si verifica un cambiamento distributivo, manca un metodo rigoroso per costruire insiemi di confidenza statisticamente validi per l'incognito changepoint $T$ dopo che un allarme è stato sollevato.

I metodi di inferenza post-rilevamento esistenti (ad es. Ding, 2003a; Wu, 2007; Saha e Ramdas, 2026) richiedono tipicamente assunzioni restrittive:

1. Distribuzioni Note: Le distribuzioni pre-cambiamento ($F_0$) e post-cambiamento ($F_1$) devono essere note o appartenere a specifiche famiglie parametriche (ad es. famiglie esponenziali).
2. Classi Disgiunte: Gli insiemi delle possibili distribuzioni pre- e post-cambiamento devono essere disgiunti e noti a priori.
3. Garanzie Asintotiche: Molti forniscono solo garanzie di copertura asintotica.

Gli autori mirano a costruire insiemi di confidenza per $T$ che soddisfino garanzie di copertura in tempo finito senza alcuna assunzione distributiva su $F_0$ e $F_1$, oltre all'assunzione che siano distinti. L'obiettivo è ottenere la copertura condizionata:
$$P_{F_0,T,F_1}(T \in C \mid \tau \ge T) \ge 1 - \alpha$$
dove $\tau$ è il tempo di arresto di un rilevatore sequenziale.

Metodologia

Il framework proposto scinde la fase di rilevamento dalla fase di localizzazione. Esso agisce come un "wrapper" attorno a qualsiasi algoritmo di rilevamento del cambiamento sequenziale esistente (indipendentemente dal fatto che il rilevatore stesso sia distribution-free). La metodologia centrale si basa sui martingali di test conformi e sulla scambiabilità dei segmenti di dati.

1. Assunzioni Core

• Scambiabilità: Il segmento pre-cambiamento $X_1, \dots, X_{T-1}$ è scambiabile (Assunzione 2), e il segmento post-cambiamento $X_T, X_{T+1}, \dots$ è scambiabile (Assunzione 1).
• Accesso Black-Box: La procedura di localizzazione ha accesso al tempo di arresto $\tau$ e alla sequenza di dati fino a $\tau$, ma tratta l'algoritmo di rilevamento come una black box.
• Stima Distribution-Free: È richiesto uno stimatore non distorto (o con distorsione negativa) $\hat{r}_t$ per la probabilità di assenza di falsi allarmi fino al tempo $t$ ($P_{F_0, \infty}[\tau \ge t]$). Questo può essere stimato tramite simulazione Monte Carlo utilizzando dati i.i.d. da qualsiasi distribuzione conveniente, a condizione che la distribuzione del tempo di arresto del rilevatore sotto l'ipotesi nulla sia indipendente dalla specifica $F_0$ (Assunzione 3).

2. Costruzione degli Insiemi di Confidenza

Il metodo costruisce insiemi di confidenza monodirezionali separatamente e li interseca per formare un intervallo bidirezionale.

Insieme di Confidenza Inferiore ($C^{\alpha}_{low}$)

• Obiettivo: Identificare un tempo $t$ tale che il vero changepoint $T \ge t$.
• Test di Ipotesi: Per un candidato $t$, testare $H_0: T = t$ contro $H_1: T > t$.
• Meccanismo: Se $T > t$, il segmento $X_t, \dots, X_\tau$ contiene un mix di dati pre- e post-cambiamento, violando la scambiabilità. Se $T = t$, il segmento è puramente post-cambiamento e scambiabile.
• Procedura:
  1. Calcolare i p-value conformi sequenziali $p^j_t$ per $j \ge t$ basati su confronti di score all'interno della finestra $[t, j]$.
  2. Trasformare i p-value in e-value tramite una funzione calibratrice $f_{t,j}(p) = 1 + \lambda_{t,j}(p - 0.5)$.
  3. Aggregare l'evidenza tramite un martingala $M_t = \prod f_{t,j}(p^j_t)$.
  4. Trattenere $t$ in $C^{\alpha}_{low}$ se il valore massimo della martingala nell'intervallo non supera la soglia $1/(\alpha \hat{r}_t)$.

Insieme di Confidenza Superiore ($C^{\beta}_{up}$)

• Obiettivo: Identificare un tempo $t$ tale che il vero changepoint $T \le t$.
• Test di Ipotesi: Per un candidato $t$, testare $H_0: T = t$ contro $H_1: T < t$.
• Meccanismo: Simile all'insieme inferiore, ma opera nella direzione indietro. Se $T < t$, il segmento $X_1, \dots, X_t$ contiene un mix, violando la scambiabilità pre-cambiamento.
• Procedura: Calcolare i p-value conformi sequenziali all'indietro $q^j_t$ per $j \le t$, aggregare tramite una martingala, e trattenere $t$ se la statistica rimane al di sotto della soglia.

Insieme di Confidenza Bidirezionale

L'insieme di confidenza finale è l'intersezione: $C = C^{\alpha}_{low} \cap C^{\beta}_{up}$. Per la regola del limite superiore (union bound), questo soddisfa $P(T \in C \mid \tau \ge T) \ge 1 - \alpha - \beta$.

3. Apprendimento del Calibratore

Sebbene i limiti teorici assumano un calibratore "oracle" (scelto ottimalmente $\lambda$), il saggio propone l'uso dell'ottimizzazione convessa online (specificamente l'Online Newton Step con Follow-The-Leading-History) per apprendere la sequenza di $\lambda_{t,j}$ in modo adattivo. Ciò garantisce un regret logaritmico, mantenendo la validità degli insiemi di confidenza pur ottimizzando la loro dimensione.

Contributi Chiave

1. Primo Framework Generale Distribution-Free: Il saggio introduce il primo framework per la localizzazione del changepint post-rilevamento che fornisce garanzie di copertura in tempo finito senza richiedere la conoscenza di $F_0$ o $F_1$, né assumere classi di distribuzione disgiunte ($P_0 \cap P_1 = \emptyset$).
2. Decoupling tra Rilevamento e Inferenza: Il metodo permette a qualsiasi rilevatore sequenziale (inclusi quelli basati su controllo ARL o PFA) di essere avvolto con uno strato di inferenza distribution-free.
3. Costruzioni Monodirezionali e Bidirezionali: Gli autori sviluppano costruzioni distinte per i limiti inferiore e superiore, riconoscendo l'intrinseca asimmetria della localizzazione sequenziale. Dimostrano la copertura in tempo finito per entrambi.
4. Limiti Non-Asintotici e Asintotici:
   • Tempo Finito: Sono derivati espliciti limiti sulla dimensione condizionata attesa degli insiemi di confidenza.
   • Asintotico: Sotto regimi appropriati (dove il ritardo di rilevamento scala logaritmicamente con il changepoint $T$), si dimostra che la dimensione attesa dell'insieme di confidenza rimane uniformemente limitata (o cresce sub-linearmente), anche senza assunzioni distributive.
5. Stima Pratica delle Probabilità Nulle: Un metodo per stimare il termine di normalizzazione critico $\hat{r}_t$ tramite simulazione Monte Carlo utilizzando dati i.i.d. arbitrari, bypassando la necessità della specifica distribuzione nulla $F_0$.

Risultati

Risultati Teorici

• Copertura: Il Teorema 1 e il Teorema 2 stabiliscono che gli insiemi inferiore e superiore raggiungono una copertura condizionata di almeno $1-\alpha$ e $1-\beta$, rispettivamente. Il Corollario 1 estende questo all'insieme bidirezionale.
• Limiti della Dimensione:
  • Teoremi 3 & 4: Per l'insieme di confidenza inferiore, la lunghezza attesa pre-cambiamento è $O(1)$ o $O(\log T)$ a seconda della forza del segnale $\delta$ e del regime di ritardo di rilevamento.
  • Teoremi 5 & 6: Per l'insieme di confidenza superiore, la lunghezza attesa post-cambiamento è $O(1)$ sotto deboli condizioni sulla distribuzione del tempo di arresto del rilevatore.
  • Teoremi 7 & 10: La dimensione combinata dell'insieme bidirezionale è uniformemente limitata o cresce molto lentamente (sub-linearmente) in $T$ sotto appropriati regimi asintotici.
• Apprendimento Adattivo: I Teoremi 8, 9 e 10 mostrano che l'uso dell'apprendimento online per i calibratori (con regret logaritmico) preserva questi limiti, con solo minori aggiustamenti alle costanti.

Risultati Empirici

Gli autori validano il metodo su tre dataset:

1. Cambiamento di Media Gaussiana: Simulazioni con $N(-1, 1) \to N(1, 1)$. Il metodo ha localizzato con successo il changepoint con intervalli di confidenza stretti (ad es. ampiezza $\approx 5$ per $T=500$).
2. Cambiamento di Digit MNIST: Un setting ad alta dimensionalità dove la distribuzione passa da un '3' a un '7' (o distribuzioni miste). Utilizzando una CNN pre-addestrata per il punteggio, il metodo ha ottenuto intervalli netti (ad es. $[395, 400]$ per $T=400$).
3. Dataset Wine Quality: Un'applicazione reale che simula il passaggio da vino bianco a rosso. Il limite di confidenza inferiore è stato trovato essere 387 (vero $T=400$), permettendo agli operatori di certificare i campioni fino al tempo 386 come "bianchi" con il 90% di confidenza.

Significato e Rivendicazioni

Il saggio sostiene di fornire il primo framework generale distribution-free per la localizzazione sequenziale del changepoint con garanzie di copertura post-rilevamento valide.

• Motivazione: Nei sistemi reali (monitoraggio industriale, sicurezza di rete), i meccanismi di generazione dei dati sono spesso complessi, ad alta dimensionalità e scarsamente specificati, rendendo l'uso di modelli distributivi affidabili impraticabile. I metodi esistenti che richiedono $F_0/F_1$ noti o classi disgiunte sono spesso irrealistici in tali contesti.
• Vantaggio rispetto ai lavori precedenti: A differenza di Saha e Ramdas (2026), che richiede $P_0 \cap P_1 = \emptyset$, questo framework permette $P_0 = P_1 = \mathcal{P}$ (l'universo di tutte le distribuzioni), richiedendo solo che la specifica $F_0 \neq F_1$ realizzata sia diversa.
• Utilità Pratica: Il limite di confidenza inferiore è evidenziato come particolarmente utile per il controllo qualità, fornendo una "soglia temporale sicura" dopo la quale un sistema è garantito trovarsi in uno stato post-cambiamento (potenzialmente difettoso), consentendo un isolamento mirato dei prodotti colpiti.
• Robustezza: La validità della procedura non dipende da assunzioni di modellazione; i modelli (ad es. per lo scoring) influenzano solo l'efficienza statistica (ovvero la dimensione dell'intervallo), non la validità della garanzia di copertura.

Gli autori concludono che la localizzazione affidabile del changepoint è possibile anche senza assunzioni distributive, offrendo uno strumento concettualmente semplice e ampiamente applicabile per l'analisi sequenziale. Si suggerisce come lavoro futuro l'estensione a contesti multi-stream.