Sintesi Tecnica: Scommettere sui Momenti – Legendre Jumper Martingales per il Test di Scambiabilità Online

Definizione del Problema

Nella previsione conforme, la validità degli insiemi di previsione si basa sull'assunto di scambiabilità, il quale implica che la sequenza di p-valori generata da un trasduttore conforme sia indipendente e identicamente distribuita (IID) secondo una distribuzione uniforme su $[0, 1]$. Le violazioni di questo assunto indicano spostamenti distribuzionali.

Sebbene i conformal test martingales (CTM) siano utilizzati per testare la scambiabilità online, lo standard Simple Jumper (SJ) (Vovk et al., 2022) presenta un limite critico: impiega una funzione di scommessa lineare basata sul polinomio di Legendre traslato di primo grado. Di conseguenza, lo SJ è geometricamente vincolato alla rilevazione di spostamenti nella media (posizione) dei p-valori. Esso non riesce ad accumulare ricchezza significativa quando lo spostamento della distribuzione preserva la media ma altera i momenti di ordine superiore, come varianza, asimmetria o curtosi. Inoltre, i tentativi di combinare molteplici strategie di scommessa soffrono spesso della "tassa di salto" (jumping tax), dove il capitale viene diluito attraverso uno spazio di stato che cresce esponenzialmente, ostacolando gravemente la velocità di rilevazione.

Metodologia

Il documento propone una famiglia di conformal test martingales basati su polinomi di Legendre traslati ($\tilde{P}_k$), che sono ortogonali sull'intervallo $[0, 1]$. Questi polinomi fungono da base per funzioni di scommessa capaci di rilevare deviazioni in specifici momenti della distribuzione dei p-valori.

1. Simple Legendre Jumper (SLJ)

L'SLJ generalizza lo Simple Jumper sostituendo la funzione di scommessa lineare con un polinomio di Legendre traslato di grado $k$ arbitrario:
$$f^{(k)}_\epsilon(p) = 1 + \epsilon \tilde{P}_k(p)$$
dove $\epsilon$ è un parametro selezionato da una griglia discreta.

• Meccanismo: Per $k=1$, recupera lo standard SJ (rilevazione di spostamenti della media); per $k=2$, rileva cambiamenti della varianza; per $k=3$, dell'asimmetria; e così via.
• Limite: Scommettere esclusivamente su un singolo grado $k$ causa il mancato rilevamento di spostamenti dominanti in altri momenti, portando a un'accumulazione di evidenza subottimale.

2. Product Legendre Jumper (PLJ)

Per catturare deviazioni complesse e multimodali simultaneamente, il PLJ combina funzioni di scommessa di molteplici gradi $K$ in un unico prodotto:
$$f^K_\epsilon(p) = \frac{\prod_{k \in K} (1 + \epsilon_k \tilde{P}_k(p))}{Z(\epsilon)}$$
dove $Z(\epsilon)$ è una costante di normalizzazione necessaria per $|K| \ge 3$ per garantire che l'integrale della funzione di scommessa sia uguale a 1.

• La "Tassa di Salto": Il PLJ mantiene una catena di Markov su un unico spazio di stato congiunto $\mathcal{E} = \prod_{k \in K} \mathcal{E}_k$. Man mano che il numero di gradi $|K|$ aumenta, la dimensione dello spazio di stato cresce esponenzialmente ($|\mathcal{E}| = g^{|K|}$). La "tassa di salto" si riferisce alla diluizione del capitale: quando l'ambiente cambia, il meccanismo di salto distribuisce il nuovo capitale uniformemente attraverso questo enorme spazio di stato, ritardando la concentrazione della ricchezza sulla strategia di scommessa ottimale.

3. Variational Legendre Jumper (VLJ)

Per risolvere la scalabilità esponenziale del PLJ, gli autori introducono il Variational Legendre Jumper, ispirato alle approssimazioni mean-field nell'inferenza variazionale.

• Disaccoppiamento: Invece di una singola catena di Markov su uno spazio prodotto, il VLJ esegue $|K|$ sub-jumper indipendenti (uno per ogni grado $k \in K$).
• Consenso: Ad ogni passo, il VLJ calcola un parametro di consenso $\bar{\epsilon}_k$ per ogni grado basandosi sulla media pesata per la ricchezza dello stato del sub-jumper.
• Scommessa Globale: Il martingala globale aggiorna il prodotto normalizzato delle funzioni di scommessa valutate in questi parametri di consenso.
• Complessità: Ciò riduce il costo computazionale da esponenziale $O(g^{|K|})$ a lineare $O(|K| \cdot g)$, rendendo il test dei momenti di ordine superiore computazionalmente fattibile con una perdita minima di potenza statistica.

4. Composite Legendre Jumper

Seguendo il framework di Vovk et al. (2022), il Composite Legendre Jumper media il martingala base (SLJ, PLJ o VLJ) su una griglia di tassi di salto $J \in \{10^{-4}, \dots, 1\}$.

• Robustezza: Questo garantisce robustezza quando il tempo di scala dello spostamento distributivo è sconosciuto.
• Pavimento della Ricchezza: L'inclusione di $J=1$ garantisce che il martingala non scenda mai al di sotto di $1/|\mathcal{E}|$, fornendo un pavimento assoluto di ricchezza sotto l'ipotesi di scambiabilità che le varianti a tasso fisso non possiedono.

Contributi Chiave

1. Generalizzazione delle Funzioni di Scommessa: L'introduzione del Simple Legendre Jumper, che estende la funzione di scommessa lineare dello Simple Jumper a polinomi di Legendre traslati di grado arbitrario, consentendo la rilevazione di deviazioni di varianza, asimmetria e momenti di ordine superiore.
2. Affrontare la Tassa di Salto: Lo sviluppo del Product Legendre Jumper per catturare deviazioni congiunte, seguito dal Variational Legendre Jumper, che fattorizza il problema di adattamento congiunto tramite approssimazione mean-field. Questo riduce con successo la scalabilità dello spazio di stato da esponenziale a lineare mantenendo la potenza statistica.
3. Robustezza Composita: L'integrazione di questi metodi nel Composite Legendre Jumper, che mescola i tassi di salto per fornire un adattamento automatico a tempi di scala di spostamento sconosciuti e un pavimento di ricchezza garantito sotto l'ipotesi nulla.
4. Validazione Empirica: Dimostrazione su un compito di classificazione del mondo reale (dataset Wine Quality) utilizzando un classificatore conforme k-nearest-neighbor sotto quattro ordini di dati: rimescolati (scambiabili), cambiamenti bruschi (Red $\to$ White, White $\to$ Red) e ordine originale.

Risultati

Gli autori hanno valutato i metodi proposti sul dataset Wine Quality utilizzando un classificatore conforme nearest-neighbor sotto quattro ordini di dati: rimescolati (scambiabili), cambiamenti bruschi (Red $\to$ White, White $\to$ Red) e ordine originale.

• Scambiabilità: Sotto dati rimescolati, tutti i martingali sono rimasti vicini allo zero o sono declinati leggermente, confermando che non generano falsi allarmi.
• Spostamento Distribuionale: Sotto ordini non scambiabili, i Product e i Variational Legendre Jumpers con $K=\{1, 2, 3\}$ hanno costantemente raggiunto i valori più elevati di log-martingala finale, superando lo Simple Legendre Jumper a grado singolo ($k=1$) del 30%–60% in scala logaritmica di evidenza.
• Fallimento del Grado Singolo: I martingala che scommettono esclusivamente sulla varianza ($k=2$) o sull'asimmetria ($k=3$) hanno performato scarsamente quando lo spostamento coinvolgeva molteplici momenti, accumulando ordini di grandezza in meno di evidenza rispetto agli approcci combinati.
• Efficienza vs. Potenza: Il Variational Legendre Jumper (VLJ) ha eguagliato quasi esattamente le prestazioni del Product Legendre Jumper (PLJ), ma richiedendo significativamente meno stati (ad esempio, 15 stati contro 125 stati per $K=\{1, 2, 3\}$).
• Superiorità del Composite: Il Composite Legendre Jumper ha nettamente superato le varianti a tasso fisso sotto spostamenti distribuzionali (raggiungendo ad esempio $\log_{10} M_n \approx 100$ rispetto a $\approx 90$ per il tasso fisso) e ha prevenuto l'accumulo lento di perdite osservato nei martingala a tasso fisso sotto scambiabilità.

Significato e Rivendicazioni

Il documento afferma che il Composite Legendre Jumper dovrebbe essere la scelta predefinita per i professionisti quando il tempo di scala degli spostamenti distribuzionali è sconosciuto. Esso offre una soluzione robusta che:

1. Rileva deviazioni complesse e multimodali dalla uniformità che le funzioni di s scommessa lineari mancano.
2. Evita la "maledizione della dimensionalità" associata alle strategie di scommessa congiunta attraverso la fattorizzazione variazionale.
3. Fornisce un pavimento di ricchezza teorico e pratico, garantendo la stabilità sotto l'ipotesi nulla.

Gli autori notano che, sebbene l'approssimazione variazionale operi empiricamente in linea con il prodotto esatto, i limiti teorici sulla perdita di potenza statistica dovuta alla fattorizzazione mean-field rimangono un problema aperto. Suggeriscono inoltre che il lavoro futuro potrebbe esplorare la selezione dei gradi polinomiali guidata dai dati (analogamente all'approccio di Ledwina per il test smooth di Neyman) per ottimizzare ulteriormente l'efficienza. L'implementazione è disponibile nel pacchetto Python online-cp.