Factorizable Normalizing Flows for parameter-dependent density morphing

Sintesi Tecnica: Normalizing Flows Fattorizzabili per il Morphing di Densità Dipendente dai Parametri

Definizione del Problema
Nella fisica delle alte energie (HEP) e in altri domini scientifici, l'inferenza basata sulla verosimiglianza richiede spesso la modellazione di come una funzione di densità di probabilità (PDF) si deforma in funzione di parametri continui. Questi parametri possono rappresentare effetti fisici, costanti di calibrazione o incertezze sistematiche (parametri di disturbo). Sebbene i Normalizing Flows (NF) eccellano nel modellare una singola densità fissa, l'apprendimento di un flow separato per ogni possibile configurazione di $K$ parametri è intrattabile perché lo spazio delle configurazioni congiunte cresce esponenzialmente con $K$.

Gli approcci tradizionali nella HEP si affidano alle "variazioni di template", dove le simulazioni vengono eseguite a $\pm 1\sigma$ per ogni parametro di disturbo individualmente, e i risultati vengono interpolati utilizzando polinomi di basso ordine su dati discretizzati (binati) e a bassa dimensionalità. Questo metodo è robusto ma limitato dalla sua dipendenza dal binning e dalla sua assunzione che gli effetti di disturbo si fattorizzino (trascurando le correlazioni). Estendere questo approccio a fit unbinned ad alta dimensionalità richiede un metodo che sia:

1. Fedele: Cattura accuratamente le deformazioni della densità.
2. Capace di Profilazione: Fornisce una dipendenza dai parametri fluida e differenziabile.
3. Scalabile: Evita di campionare l'intero spazio di disturbo $K$-dimensionale.
4. Interpretabile: Mostra esplicitamente come ogni parametetro rimodella la distribuzione.

Metodologia: Normalizing Flows Fattorizzabili (FNF)
Gli autori introducono i Factorizable Normalizing Flows (FNF), un framework generativo che decoppia la modellazione della complessa densità nominale dalla modellazione delle variazioni sistematiche. L'architettura centrale consiste in due componenti:

1. Flow Nominale Fisso: Un flow invertibile ad alta fedeltà (ad esempio, Neural Spline Flow) viene addestrato una sola volta su una simulazione di riferimento ($\nu = 0$) per modellare la densità nominale $p_{\text{nom}}(y | x)$. Questa componente viene congelata durante la fase di modellazione sistematica.

2. Trasformazione Fattorizzabile Apprendibile ($T_\nu$): Viene appresa una trasformazione che mappa gli eventi osservati $y$ (affetti da sistematiche $\nu$) nuovamente nel riferimento nominale $y_{\text{nom}}$. La verosimiglianza viene valutata tramite la formula del cambiamento di variabili:
   $$p(y | x, \nu) = p_{\text{nom}}(T_\nu(y | x, \nu) | x) \cdot |\det \nabla_y T_\nu(y | x, \nu)|$$

   La trasformazione $T_\nu$ è costruita come una mappa affine autoregressiva in cui i parametri di scala ($s$) e di spostamento ($t$) sono funzioni polinomiali dei parametri di disturbo $\nu$. Fondamentalmente, questi polinomi sono fattorizzati sui singoli disturbi:
   $$s_j(y_{<j}, x, \nu) = \sum_{k=1}^K (\nu_k \alpha^k_j + \nu_k^2 \beta^k_j) + \sum_{k<\ell} \nu_k \nu_\ell \phi^k_\ell$$
   $$t_j(y_{<j}, x, \nu) = \sum_{k=1}^K (\nu_k \gamma^k_j + \nu_k^2 \delta^k_j) + \sum_{k<\ell} \nu_k \nu_\ell \psi^k_\ell$$

   I coefficienti ($\alpha, \beta, \gamma, \delta, \phi, \psi$) sono output di reti Multi-Layer Perceptron (MLP) mascherate, condizionate sulle caratteristiche di input.

   • Additività: La struttura primaria assume contributi additivi da ogni disturbo, permettendo a ciascuno di essere addestrato isolatamente utilizzando solo campioni $\pm 1\sigma$ per quel parametro specifico.
   • Termini di Interazione: I termini incrociati opzionali ($\phi, \psi$) possono essere inclusi per catturare le correlazioni a coppia tra i disturbi, richiedendo l'addestramento su campioni di variazione combinata.

Contributi Chiave

• Architettura Scalabile: L'FNF generalizza il metodo discreto di variazione dei template a un contesto continuo, differenziabile e ad alta dimensionalità. Evita la "maledizione della dimensionalità" addestrandosi sulle variazioni per singolo disturbo anziché sullo spazio congiunto.
• Scalabilità Lineare: Il costo computazionale e i requisiti di addestramento scalano linearmente con il numero di parametri di disturbo (quando i termini incrociati sono omessi), rendendolo fattibile per analisi con centinaia di incertezze.
• Verosimiglianza Trattabile: La struttura autoregressiva garantisce che il determinante del Jacobiano sia triangolare e computabile in modo economico ($O(D)$), consentendo una valutazione efficiente durante i fit di verosimiglianza.
• Interpretabilità: Il modello separa esplicitamente gli effetti lineari, quadratici e di interazione di ciascun parametro, fornendo un'interpretazione fisica chiara di come i sistemi forniscono la deformazione della densità.

Risultati Sperimentali
Gli autori hanno validato l'FNF su un dataset toy controllato che coinvolge due classi e due parametri di disturbo ($\nu_{\text{shift}}$ e $\nu_{\text{squeeze}}$) che deformano sia le variabili cinematiche che le distribuzioni di score condizionate.

• Ricostruzione: La trasformazione appresa ha riprodotto con successo le deformazioni imposte. Per un disturbo di pura traslazione, il modello ha appreso uno spostamento lineare con scala unitaria; per uno "squeeze" (compressione) che preserva il volume, ha appreso lo scaling non lineare e lo spostamento appropriati.
• Chiusura (Closure): Il modello fattorizzato (senza termini incrociati) ha raggiunto la chiusura rispetto alla verosimiglianza ottimale (entro circa $10^{-3}$ nats/evento) vicino agli assi di addestramento e al punto nominale.
• Correlazioni: Nelle regioni in cui entrambi i disturbi variavano fortemente simultaneamente, il modello fattorizzato ha mostrato un degrado nella qualità del fit a causa delle correlazioni trascurate. L'attivazione dei termini incrociati opzionali ha ridotto la divergenza di Kullback-Leibler di oltre un fattore quattro in queste regioni correlate, dimostrando la capacità dell'architettura di interpolare tra un'approssimazione fattorizzata standard e un modello completamente correlato.

Significatività e Rivendicazioni
L'articolo sostiene che gli FNF forniscano uno strumento generale per i flussi di lavoro di inferenza che richiedono il morphing continuo di densità. Abilitando la modellazione delle incertezze sistematiche in spazi unbinned ad alta dimensionalità senza il costo combinatorio del campionamento congiunto, gli FNF abbassano una barriera chiave all'adozione di fit di verosimiglianza unbinned nella fisica delle alte energie. Gli autori affermano che, mentre questo lavoro valida la modellazione parametrica della densità, l'implementazione degli FNF in un fit di verosimiglianza unbinned completo e profilato per estrarre i parametri di interesse è oggetto di un lavoro dedicato futuro. L'approccio è presentato come una generalizzazione diretta e continua della ricetta consolidata della variazione dei template, mantenendone la robustezza pur estendendone l'applicabilità a osservabili ad alta dimensionalità.