Hypothesis tests and model parameter estimation on data sets with missing correlation information

Questo articolo presenta statistiche di test robuste e un algoritmo per l'aggiustamento della varianza che permettono di effettuare test di ipotesi e stime dei parametri di modelli su dati con informazioni di correlazione mancanti, garantendo risultati conservativi applicati a dati reali di interazioni neutrino.

L'essenziale

Immagina di essere un detective che deve risolvere un caso basandosi su diverse testimonianze. Ogni testimone (un esperimento scientifico) ti dà un numero: "Il colpevole era alto X metri" o "La velocità era Y km/h". Ognuno di questi testimoni ha anche un margine di errore (l'incertezza).

Il problema sorge quando questi testimoni hanno parlato tra loro prima di testimoniare, ma tu non lo sai. Forse hanno condiviso un'idea, o forse hanno visto la stessa cosa da angolazioni simili. In statistica, questo si chiama correlazione.

Se ignori queste correlazioni nascoste, rischi di commettere un errore grave: potresti pensare che le prove siano molto più solide di quanto non siano in realtà, portando a conclusioni sbagliate (come accusare un innocente o scagionare un colpevole).

Ecco cosa propone Lukas Koch in questo articolo, tradotto in una metafora semplice:

1. Il Problema: "Il Puzzle Mancante"

Nella scienza moderna, spesso abbiamo dati da diverse fonti (esperimenti come T2K, MINERvA, MicroBooNE nel mondo dei neutrini). Ogni fonte ci dà i suoi dati e la sua "mappa degli errori" (la matrice di covarianza). Ma quando proviamo a unire questi pezzi di puzzle, spesso manca la parte che ci dice come i pezzi di un esperimento si collegano a quelli di un altro. È come avere due mappe separate di due città, ma non sapere se le strade che le collegano esistono o dove portano.

Se usiamo le mappe separate senza sapere come si collegano, potremmo pensare che la nostra posizione sia più precisa di quanto non sia.

2. La Soluzione per i "Semplici Test": "Il Peggior Scenario"

Per i test semplici (domande tipo "Sì o No": questo modello funziona o no?), l'autore suggerisce di usare una strategia di "pessimismo prudente".

Immagina di dover attraversare un fiume. Se non sai quanto è profondo l'acqua in mezzo, non misuri la profondità media. Misuri il punto più profondo possibile e ti prepari a quello.

• La tecnica: Invece di sommare tutte le prove come se fossero indipendenti, l'autore propone di guardare la singola prova che "urla" più forte (quella con la discrepanza più grande tra teoria e dati) e basarsi su quella.
• Il risultato: Se anche la prova più "urlante" non è abbastanza forte da condannare il modello, allora il modello è salvo. Questo ci assicura di non prendere decisioni sbagliate anche se le correlazioni nascoste sono pessime. È come dire: "Anche nel caso peggiore possibile, siamo ancora al sicuro".

3. La Soluzione per i "Parametri": "Il Gomma da Masticare"

Quando invece non ci chiediamo solo "Sì o No", ma vogliamo misurare quanto vale un parametro (es. "Quanto pesa questa particella?"), le tecniche sopra non funzionano bene perché sono troppo "rigide" e difficili da calcolare.

Qui l'autore propone un metodo geniale: gonfiare gli errori.
Immagina di avere un elastico che misura la distanza tra la tua teoria e i dati. Se non sai come sono correlati i dati, l'elastico potrebbe essere più corto di quanto pensi.

• La tecnica: L'autore crea un algoritmo che calcola quanto deve essere "gonfiato" questo elastico per coprire il peggior scenario possibile di correlazioni nascoste.
• L'analogia: È come se, sapendo che potresti camminare su un terreno scivoloso e sconosciuto, invece di camminare con passo normale, decidessi di allargare la tua base di appoggio e di camminare più lentamente. Non cambi la direzione in cui vai (il valore migliore rimane lo stesso), ma rendi la tua "zona di sicurezza" (l'incertezza) molto più grande.
• Il risultato: Se il tuo elastico è gonfiato del 50% o del 90% (a seconda dei casi), puoi essere sicuro al 100% che la tua misura è corretta, anche se le correlazioni nascoste sono terribili.

4. L'Algoritmo "Incubo" (Nightmare Algorithm)

Come fa l'autore a sapere di quanto gonfiare l'elastico? Crea un "scenario incubo".
Immagina di costruire una situazione teorica in cui tutte le correlazioni possibili sono al massimo, nel modo peggiore per te. L'algoritmo calcola quanto gli errori dovrebbero essere gonfiati per sopravvivere a questo scenario apocalittico.

• Se il tuo scenario reale è meno "incubo" di quello teorico, sei ancora più al sicuro.
• Se il tuo scenario reale è proprio quell'incubo, sei comunque al sicuro perché hai gonfiato l'elastico abbastanza.

5. Perché è importante?

Nella fisica delle particelle (e in molti altri campi), spesso si combinano risultati di esperimenti diversi. Se non si tiene conto delle correlazioni nascoste, si rischia di dire "Abbiamo scoperto qualcosa con una certezza del 99,9%" quando in realtà la certezza è solo del 90%.
Questo articolo ci dà gli strumenti per dire: "Ok, non sappiamo tutto sulle correlazioni, quindi gonfiamo un po' i nostri errori. In questo modo, anche se le cose vanno male, le nostre conclusioni rimarranno vere e solide."

In sintesi:
L'autore ci insegna che quando mancano informazioni cruciali (le correlazioni), la cosa più intelligente da fare non è fingere di sapere tutto, ma adottare un approccio prudente. Gonfia i margini di errore, guarda il caso peggiore, e assicurati che la tua conclusione regga anche sotto la pressione massima. È la scienza che ammette di non sapere tutto, ma che non per questo smette di essere rigorosa.

Sommario tecnico

1. Il Problema

Nell'analisi statistica di dati distribuiti normalmente, l'approccio standard richiede l'uso dell'intera matrice di covarianza tra tutti i punti dati per garantire risultati accurati. Tuttavia, nella pratica scientifica (specialmente in fisica delle particelle e astrofisica), la matrice di covarianza completa non è sempre disponibile. Questo accade quando:

• I risultati sono pubblicati senza la matrice di covarianza.
• Si tenta di combinare risultati provenienti da pubblicazioni separate.
• Si conoscono le covarianze all'interno di specifici blocchi di dati (es. risultati di un singolo esperimento), ma le correlazioni tra questi blocchi (es. tra esperimenti diversi) sono sconosciute.

Ignorare queste correlazioni sconosciute o trattare i dati come indipendenti può portare a conclusioni errate, come una sottostima delle incertezze (undercoverage) e una significatività statistica apparente ma non reale.

2. Metodologia Proposta

L'autore propone due approcci distinti a seconda dell'obiettivo statistico: test di ipotesi semplici o stima dei parametri del modello.

A. Test di Ipotesi Semplici (Simple Hypothesis Tests)

Per verificare se un modello (senza parametri liberi) è compatibile con i dati, il paper generalizza una statistica testistica robusta chiamata "fitted test statistic".

• Concetto: Invece di assumere una covarianza specifica, la statistica tratta gli elementi di covarianza sconosciuti come parametri di disturbo (nuisance parameters) e minimizza la distanza di Mahalanobis su tutto lo spazio delle covarianze possibili.
• Risultato Matematico: La distanza di Mahalanobis minima possibile equivale al massimo tra i punteggi $z$ (scarti in sigma) dei singoli blocchi di dati.
  $$\text{fitted}(x|\mu, S) = \max_i \left( (x_i - \mu_i)^T S_{ii}^{-1} (x_i - \mu_i) \right)$$
• Distribuzione: La distribuzione risultante è definita come "distribuzione Cee-squared", che è il prodotto delle funzioni di distribuzione cumulativa (CDF) dei singoli blocchi.
• Varianti per aumentare la potenza statistica:
  • Statistiche $f_{max}$: Generalizzazioni che prendono il massimo di funzioni strettamente crescenti delle distanze dei blocchi.
  • $p_{min}$: Utilizza il valore $p$ più piccolo tra le misurazioni combinate.
  • Optimal-$f_{max}$: Una statistica ottimizzata che minimizza la massima distanza di Mahalanobis accettata a un dato livello di confidenza, basandosi sul rapporto tra la funzione di densità di probabilità (PDF) e la CDF della distribuzione $\chi^2$.

B. Stima dei Parametri e Adattamento del Modello (Parameter Estimation)

Le statistiche sopra descritte non sono ideali per l'adattamento di modelli con parametri liberi (fitting) perché non sono differenziabili ovunque e non seguono teoremi standard come quello di Wilks.

• Soluzione: Viene proposto un metodo di "derating" (ridimensionamento) o inflazione delle incertezze.
• Meccanismo: Si applica un fattore di scala $\alpha$ alla covarianza assunta per garantire che la copertura del livello di confidenza rimanga conservativa (cioè, che l'intervallo di confidenza non sia troppo stretto) anche nel caso peggiore di correlazioni sconosciute.
• Algoritmo di Determinazione del Fattore $\alpha$:
  1. Trasformazione dei blocchi di covarianza noti in forma normale standard (whitening).
  2. Costruzione di una matrice di covarianza "incubo" (nightmare covariance) che massimizza l'atteso valore e la varianza della statistica testistica, assumendo correlazioni al 100% tra i blocchi in modo da massimizzare l'impatto negativo.
  3. Calcolo del fattore $\alpha$ come rapporto tra il quantile della distribuzione con covarianza "incubo" e quello della distribuzione attesa (senza correlazioni sconosciute) al livello di confidenza desiderato (es. 99.7% o $3\sigma$).
  4. L'algoritmo seleziona iterativamente gli elementi fuori diagonale da impostare a $\pm 1$ per massimizzare la varianza della statistica.

3. Contributi Chiave

1. Generalizzazione della statistica "fitted": Estensione della metodologia precedente per gestire blocchi di covarianza noti con correlazioni incrociate sconosciute.
2. Algoritmo per il fattore di inflazione: Sviluppo di un algoritmo numerico per calcolare il fattore di inflazione $\alpha$ necessario per rendere conservativi i fit dei parametri e i test di bontà di adattamento (Goodness of Fit) in presenza di correlazioni sconosciute.
3. Analisi di casi reali: Applicazione dei metodi a dati reali di interazioni di neutrini (esperimenti T2K, MINERvA, MicroBooNE) e confronti tra diversi modelli di interazione (GENIE, LFG, RFG, ecc.).
4. Software: Implementazione delle metodologie nel pacchetto Python NuStatTools.

4. Risultati e Applicazioni

• Test di Ipotesi: Le statistiche robuste ($fitted$, $p_{min}$) dimostrano di essere conservatively in presenza di correlazioni non contabilizzate, evitando falsi positivi (sottostima della significatività).
• Stima dei Parametri (Caso di Studio): Applicando l'algoritmo al fit dei parametri del generatore di eventi GENIE con dati combinati di T2K e MINERvA:
  • Senza assunzioni sulle correlazioni tra esperimenti, il fattore di inflazione richiesto è $\alpha \approx 3.87$ (inflazione dell'incertezza di un fattore $\sqrt{3.87} \approx 1.97$).
  • Assumendo che esperimenti diversi (T2K vs MINERvA) non siano correlati, il fattore scende a $\alpha \approx 2.70$ (inflazione di $\approx 1.64$).
  • Questo dimostra che ignorare le correlazioni porta a sottostimare le incertezze dei parametri di quasi il 100%.
• Goodness of Fit (GoF): Il metodo di derating può essere applicato anche ai test di GoF e alle ipotesi composite, utilizzando la matrice "residual maker" invece della matrice di proiezione dei parametri.

5. Significato e Implicazioni

Il lavoro fornisce un quadro rigoroso per gestire l'incertezza derivante dalla mancanza di informazioni sulle correlazioni nei dati scientifici.

• Conservativismo: Permette di trarre conclusioni statistiche valide e conservative senza dover assumere correlazioni nulle (che sono spesso irrealistiche) o correlazioni arbitrarie.
• Impatto sulle Incertezze: Dimostra che l'ignorare le correlazioni tra set di dati combinati può portare a una sottostima drastica delle incertezze sui parametri fisici, rendendo le affermazioni scientifiche non robuste.
• Flessibilità: Offre strumenti sia per il rifiuto rapido di modelli (tramite statistiche $f_{max}$) sia per la stima precisa dei parametri con intervalli di confidenza corretti (tramite il fattore di derating).

In sintesi, il paper offre una soluzione pratica e matematicamente fondata per combinare risultati sperimentali in assenza di matrici di covarianza complete, garantendo che le conclusioni scientifiche rimangano valide anche nel "caso peggiore" di correlazioni nascoste.