Smokescreen: A Python package for data vector blinding and encryption in cosmological analyses

Panoramica

Il paper introduce Smokescreen, una libreria Python open-source progettata per il censimento (blinding) e la crittografia dei vettori di dati nelle analisi cosmologiche. Sviluppata principalmente per la collaborazione LSST Dark Energy Science Collaboration (DESC), ma applicabile a qualsiasi esperimento che utilizzi le likelihood di Firecrown e il formato dati SACC, Smokescreen risolve il problema critico del bias dell'analista garantendo che i risultati finali non siano influenzati dalle aspettative a priori.

Il Problema: Bias e Sfide nel Blinding Cosmologico

Le analisi cosmologiche moderne richiedono strategie robuste di "blinding" (nascondimento dei dati) per prevenire il bias dell'esperimentatore. Tuttavia, la cosmologia presenta sfide uniche:

1. Unico Universo: Possiamo osservare solo un universo, rendendo difficile progettare esperimenti in modalità "cieca" (single-blind o double-blind) come avviene in altri campi.
2. Natura Statistica: I segnali cosmologici non sono eventi localizzati, ma pattern statistici distribuiti su grandi dataset (es. funzioni di correlazione o spettri di potenza), privi di una "regione di segnale" che possa essere semplicemente oscurata.
3. Rischio di Tuning: Senza un approccio principiato, gli analisti rischiano di adattare inconsciamente le proprie pipeline verso un risultato atteso o verso i risultati di altri esperimenti, compromettendo l'integrità scientifica.

I metodi esistenti (a livello di catalogo, posteriori o covarianza) presentano limiti: sono spesso ad hoc, difficili da implementare per esperimenti multi-sonda o lasciano i vettori di dati esposti durante l'analisi.

Metodologia: Blinding del Vettore di Dati

Smokescreen implementa l'approccio di Muir et al. (2020), che soddisfa tre criteri fondamentali: nascondere il risultato reale mantenendo una posterior fisica ragionevole, permettere test di validazione e prevenire il "deblinding" accidentale.

Il processo avviene in cinque passaggi:

1. Definizione delle Spostamenti: L'utente specifica le distribuzioni di spostamento (deterministica, uniforme o gaussiana) per i parametri cosmologici $\theta_i$.
2. Costruzione della Cosmologia Censita: Viene generata una cosmologia "cieca" ($\theta_{blind}$) sommando uno spostamento casuale ($\Delta\theta$) a una cosmologia di riferimento ($\theta_{ref}$):
   $$\theta_{blind} = \theta_{ref} + \Delta\theta$$
3. Calcolo dei Vettori Teorici: Utilizzando il framework di likelihood Firecrown, vengono calcolati i vettori teorici sia per la cosmologia di riferimento ($d_{ref}$) che per quella cieca ($d_{blind}$), mantenendo fissi i parametri di disturbo (nuisance parameters) ai valori di riferimento.
4. Calcolo del Fattore di Blinding: Viene calcolato un fattore di correzione, additivo o moltiplicativo:
   $$f^{add} = d_{blind} - d_{ref} \quad \text{oppure} \quad f^{mult} = d_{blind} / d_{ref}$$
5. Applicazione allo Spettro Osservato: Il fattore viene applicato al vettore di dati misurato ($d_{obs}$) per produrre il vettore censito ($\hat{d}$):
   $$\hat{d} = d_{obs} + f^{add} \quad \text{oppure} \quad \hat{d} = d_{obs} \cdot f^{mult}$$

Sicurezza e Integrità:

• Il file SACC originale contenente la vera cosmologia viene crittografato (usando Fernet/AES-128-CBC+HMAC-SHA256) e cancellato di default.
• La chiave di decrittazione viene archiviata separatamente dal file crittografato.
• Il file censito include metadati di audit (seed, timestamp, utente) per ricostruire la configurazione senza log esterni.

Architettura del Software

Smokescreen è strutturato attorno alla classe principale ConcealDataVector, con una separazione delle responsabilità:

• Parametri: Generazione degli spostamenti (param_shifts.py).
• Teoria: Calcolo dei vettori tramite likelihood esterne (datavector.py).
• Sicurezza: Crittografia (encryption.py).
• Orchestrazione: Interfaccia utente (__main__.py).

Il software è agnostico rispetto all'osservabile specifico, purché utilizzi likelihood compatibili con Firecrown e dati in formato SACC. Include un suite di test pytest con il 94% di copertura del codice, verificando non solo la correttezza sintattica ma anche la correttezza fisica (es. coerenza dei fattori di blinding con le equazioni teoriche).

Risultati e Validazione

Il paper dimostra l'efficacia di Smokescreen su un dataset simulato dell'LSST Y1 (3x2pt: shear cosmico, lensing galassia-galassia, clustering galassie).

• Scenari Testati: Sono stati creati due casi di blinding ("Blind A" e "Blind B") con spostamenti deterministici su $A_s$ (ampiezza delle fluttuazioni) e $w$ (equazione di stato dell'energia oscura).
• Validazione Cosmologica: L'inferenza cosmologica eseguita sui dati censiti mostra che:
  1. Le distribuzioni posteriori si spostano verso la cosmologia censita (rispettando i criteri di Muir et al.).
  2. Il buon adattamento (goodness-of-fit) rimane invariato ($\chi^2_{red}$ costante).
  3. L'evidenza bayesiana ($\log Z$) non cambia in modo significativo, confermando che le analisi censite sono statisticamente indistinguibili da quelle non censite.
  4. Anche parametri non direttamente spostati (come $\Omega_{cdm}$) mostrano spostamenti minimi dovuti alle degenerazioni note ($A_s$-$\Omega_{cdm}$-$w$), dimostrando che il blinding preserva la struttura fisica delle correlazioni.

Contributi Chiave e Significato

1. Standardizzazione: Smokescreen fornisce la prima implementazione standardizzata e riutilizzabile per il blinding dei vettori di dati nell'ecosistema DESC, eliminando le implementazioni ad hoc che portavano a inconsistenze tra modelli di blinding e modelli di inferenza.
2. Integrazione: Garantisce che il modello teorico usato per il blinding sia identico a quello usato per l'inferenza finale, un requisito fondamentale per la validità scientifica.
3. Adozione Ampia: Sebbene nato per LSST, è già stato adottato dalla collaborazione KiDS per la loro analisi legacy 6x2pt, dimostrando la sua versatilità.
4. Trasparenza: Rendendo il processo di blinding open-source e riproducibile, permette alla comunità scientifica di ispezionare e verificare come vengono calcolati gli spostamenti prima e dopo lo svelamento (unblinding).

In conclusione, Smokescreen rappresenta un'infrastruttura fondamentale per l'era dei sondaggi di Stage-IV (come LSST), promuovendo pratiche di analisi più coerenti, aperte e verificabili per garantire l'integrità delle future scoperte cosmologiche.