Explainable AI for Jet Tagging: A Comparative Study of GNNExplainer, GNNShap, and GradCAM for Jet Tagging in the Lund Jet Plane

Questo lavoro valuta e confronta i metodi di spiegabilità basati su perturbazioni, sui valori di Shapley e sui gradienti, adattati alla rappresentazione del Lund Jet Plane, dimostrando che tali tecniche correlano con successo le previsioni delle reti neurali con gli osservabili classici della QCD e rivelano distinti spostamenti di attenzione tra i regimi perturbativi e non perturbativi nel tagging dei jet.

L'essenziale

Il quadro generale: il problema della "scatola nera"

Immagina di essere un detective che cerca di risolvere un crimine. Hai un assistente AI super-intelligente che può osservare una scena del crimine disordinata e dirti, con il 99% di accuratezza, esattamente chi è il criminale. Tuttavia, quando chiedi all'AI perché lo pensa, risponde semplicemente: "Ne sono sicuro". Non ti mostra i suoi appunti né spiega il suo ragionamento.

Nel mondo della fisica delle particelle (in particolare al Large Hadron Collider), gli scienziati utilizzano modelli AI simili di "scatola nera" per identificare i getti. I getti sono spruzzi di particelle minuscole creati quando i protoni si scontrano. A volte questi getti provengono da particelle comuni (come quark o gluoni), e a volte provengono da particelle rare e pesanti (come il bosone di Higgs o un quark top).

L'AI è eccellente nel cogliere la differenza, ma i fisici sono preoccupati: sta effettivamente l'AI imparando le leggi della fisica, o sta semplicemente memorizzando le stranezze della simulazione informatica utilizzata per addestrarla? Se sta solo memorizzando la simulazione, potrebbe fallire quando osserva dati reali.

La soluzione: la mappa del "Piano Lund del Getto"

Per risolvere questo problema, i ricercatori hanno deciso di smettere di guardare le particelle come un mucchio disordinato e iniziare a guardarle come una mappa.

Hanno utilizzato qualcosa chiamato Piano Lund del Getto. Pensate a questo come a una mappa topografica di una catena montuosa.

• L'asse X rappresenta quanto è ampio lo spruzzo di particelle.
• L'asse Y rappresenta quanta energia hanno le particelle.

Ogni singola "divisione" in cui una particella si spezza in due particelle più piccole viene tracciata come un punto su questa mappa. Poiché questa mappa è basata sulle effettive leggi della fisica (Cromodinamica Quantistica), ogni punto ha un significato specifico e noto. È come avere una mappa dove ogni collina e ogni valle corrispondono a un evento geologico specifico.

L'esperimento: tre diverse "torce"

I ricercatori hanno preso tre diversi tipi di modelli AI (i "detective") e hanno illuminato tre diversi tipi di "torce" (strumenti di AI spiegabile) su di essi per vedere quali parti della mappa stavano osservando.

1. GNNExplainer (La torce "E se?"): Questo strumento chiede: "Se nascondo questa parte della mappa, l'AI ottiene ancora la risposta giusta?". Evidenzia le aree più critiche osservando cosa succede quando vengono rimosse.
2. GNNShap (La torce "Quota equa"): Questo strumento utilizza un concetto matematico della teoria dei giochi per calcolare esattamente quanta "credito" merita ogni punto sulla mappa per la decisione finale. È come dividere un conto in modo equo in base a chi ha mangiato cosa.
3. GradCAM (La torce "Mappa termica"): Questo strumento osserva i "neuroni" interni dell'AI che si attivano e disegna una mappa termica che mostra quali aree erano più attive quando l'AI ha preso una decisione.

Le scoperte: cosa ha visto effettivamente l'AI?

I ricercatori hanno confrontato le visualizzazioni "illuminanti" dell'AI con la fisica nota della mappa. Ecco cosa hanno scoperto:

1. L'AI ha imparato la vera fisica
Per le particelle pesanti (come il quark top o il bosone di Higgs), le torce dell'AI hanno illuminato correttamente le specifiche divisioni "dure" sulla mappa dove la particella pesante si è spezzata.

• Analogia: Se stai cercando un tipo specifico di albero in una foresta, l'AI non ha solo indovinato; ha indicato correttamente la forma unica delle foglie e della corteccia. Lo studio dimostra che l'AI non sta solo indovinando; ha imparato la struttura effettiva di come queste particelle pesanti decadono.

2. L'"Anomalia QCD" (La foresta nebbiosa)
Per le particelle comuni (getti QCD), la torcia dell'AI non si è concentrata su un punto specifico. Invece, ha illuminato l'intera mappa, specialmente le aree "soffici" e "larghe".

• Analogia: Immagina di cercare di identificare un pino generico. Non c'è un singolo ramo unico che lo definisce; è la forma complessiva e il modo in cui gli aghi sono dispersi. L'AI ha correttamente realizzato che per questi getti comuni, la risposta risiede nell'intero schema, non in un solo punto speciale. I ricercatori chiamano questo un "anomalia di fedeltà", ma in realtà è un segno che l'AI comprende perfettamente la fisica.

3. Strumenti diversi per lavori diversi
Lo studio ha scoperto che nessuna singola "torcia" funziona meglio per ogni modello AI.

• Per alcuni modelli AI, lo strumento "Quota equa" (GNNShap) era il migliore per trovare le divisioni dure.
• Per altri, lo strumento "Mappa termica" (GradCAM) era migliore per vedere gli schemi più ampi.
• Conclusione: Non puoi semplicemente scegliere uno strumento di spiegazione e usarlo per sempre. Devi abbinare lo strumento al modello AI specifico che stai utilizzando.

4. L'effetto "Boost"
I ricercatori hanno osservato getti che si muovevano a velocità diverse (bassa energia vs. alta energia). Hanno scoperto che man mano che i getti si muovevano più velocemente, il fuoco dell'AI diventava più nitido e concentrato sulle specifiche divisioni dure, proprio come la fisica prevede che dovrebbe essere.

La conclusione

Il documento conclude che i moderni taggatori di getti AI non sono semplici scatole nere magiche. Quando si illumina la luce giusta su di essi, si può vedere che hanno genuinamente imparato le leggi della fisica. Sanno dove le particelle pesanti si spezzano e comprendono la differenza tra un evento pesante specifico e uno spruzzo generico di particelle.

Questo è un grande passo avanti perché significa che gli scienziati possono fidarsi di più di questi strumenti AI quando vengono utilizzati per cercare nuove particelle sconosciute negli esperimenti futuri. L'AI non sta solo memorizzando un libro di testo; sta facendo fisica.

Sommario tecnico

1. Enunciato del Problema

Nonostante le prestazioni all'avanguardia delle Reti Neurali su Grafo (GNN) come ParticleNet e Particle Transformer nell'identificazione dei jet (getti collimati di particelle) al Large Hadron Collider (LHC), i loro processi decisionali rimangono "scatole nere".

• Il Divario: Gli osservabili classici della sottostruttura dei jet (ad esempio, $N$-subjettiness $\tau_{21}$, funzioni di correlazione energetica) sono derivati dai principi fondamentali della Cromodinamica Quantistica (QCD) e sono calcolabili analiticamente. Al contrario, le reti neurali apprendono rappresentazioni di caratteristiche complesse e opache.
• Il Rischio: Se un modello apprende artefatti delle simulazioni Monte Carlo (MC) (ad esempio, modelli specifici di adronizzazione o risposte del rivelatore) anziché la fisica fondamentale, le sue prestazioni degraderanno sui dati reali delle collisioni.
• La Sfida: I metodi esistenti di Intelligenza Artificiale Spiegabile (XAI) non sono stati applicati sistematicamente alle GNN basate sul Lund Jet Plane (LJP). L'LJP offre un'opportunità unica perché ogni nodo nella sua rappresentazione grafica corrisponde a una divisione di partoni fisicamente significativa, permettendo un confronto diretto tra l'attenzione del modello e la teoria QCD.

2. Metodologia

Gli autori hanno sviluppato un quadro completo per valutare e confrontare tre paradigmi XAI distinti adattati per GNN basate su LJP.

A. Rappresentazione dei Dati: Il Lund Jet Plane (LJP)

Invece di trattare i jet come immagini o nuvole di punti generiche, lo studio utilizza il Lund Jet Plane, uno spazio delle fasi 2D definito da:

• $\ln(k_T)$: Logaritmo della quantità di moto trasversa della divisione.
• $\ln(1/\Delta R)$: Logaritmo dell'inverso dell'angolo di divisione.
• Costruzione del Grafo: Ogni nodo rappresenta un'emissione specifica di partoni nella storia di showering del jet. Ciò consente ai metodi di spiegabilità di assegnare punteggi di importanza a specifici eventi di divisione fisica.

B. Modelli e Metodi di Spiegabilità

Lo studio valuta tre architetture:

1. LundNet: Una GNN che utilizza EdgeConv su un grafo $k$-NN statico costruito a partire dall'LJP.
2. ParticleNet: Una GNN che utilizza Dynamic EdgeConv (ricalcolando i vicini a ogni livello).
3. Particle Transformer: Un'architettura basata su Transformer che utilizza l'auto-attenzione sui costituenti dell'LJP.

Queste sono accoppiate con tre metodi XAI:

1. GNNExplainer (basato su perturbazione): Ottimizza una maschera per massimizzare l'informazione reciproca tra il sottografo e la previsione.
2. GNNShap (basato sui valori di Shapley): Utilizza la teoria dei giochi cooperativa per assegnare valori di importanza equi agli archi basandosi sul loro contributo marginale.
3. GradCAM (basato sui gradienti): Calcola mappe di attivazione della classe pesate con i gradienti per identificare nodi/caratteristiche importanti.

C. Quadro di Valutazione

Gli autori hanno introdotto una valutazione informata dalla fisica oltre alle metriche di fedeltà standard:

1. Maschere MC-Truth: Maschere di spiegazione di verità fondamentale sono state costruite tracciando i partoni ad alto scattering attraverso il processo di showering (ad esempio, identificando la struttura a 3 rami per i quark Top o la struttura a 2 rami per i bosoni di Higgs).
2. Metriche di Fedeltà ($Fid^+, Fid^-$): Misurano quanto la previsione del modello diminuisce quando gli archi importanti vengono rimossi o mantenuti.
3. Correlazione della Sottostruttura: Calcolo delle correlazioni di rango di Spearman tra l'importanza dei nodi assegnata dall'XAI e gli osservabili classici ($\tau_{21}, \tau_{32}, C_2, C_3$).
4. Stratificazione $p_T$: L'analisi è stata eseguita su tre bin di quantità di moto trasversa ($500\text{--}700$ GeV, $800\text{--}1000$ GeV e inclusivo) per studiare la transizione tra regimi non perturbativi e perturbativi.

3. Contributi Chiave

1. Primo Confronto Sistematico Multi-Metodo: Il documento fornisce il primo confronto rigoroso di metodi XAI basati su perturbazione, teoria dei giochi e gradienti specificamente per GNN che operano sulla rappresentazione fisicamente fondata dell'LJP.
2. Verità Fondamentale Informata dalla Fisica: L'introduzione di maschere di spiegazione MC-truth consente un controllo quantitativo su cui il modello si concentra sulle topologie di decadimento fisiche corrette (ad esempio, divisioni dure per il segnale rispetto a radiazioni morbide per il fondo).
3. Scoperta dell'"Anomalia di Fedeltà": Gli autori hanno identificato un comportamento controintuitivo ma fisicamente significativo in cui la rimozione di archi "importanti" dai jet QCD non degrada la confidenza del modello, a differenza dei jet di segnale.
4. Accoppiamento Architettura-Metodo: Lo studio dimostra che nessun singolo metodo XAI è universalmente migliore; la scelta ottimale dipende dall'architettura neurale sottostante.

4. Risultati Chiave

A. Apprendimento del Modello e Allineamento alla Fisica

• Riscoperta della QCD: Tutte e tre le architetture hanno appreso con successo le caratteristiche canoniche della sottostruttura QCD.
  • Jet Top ($t \to bW \to bq\bar{q}'$): I modelli si sono concentrati sulla struttura di divisione dura a 3 rami.
  • Jet Higgs ($H \to c\bar{c}$): I modelli si sono concentrati sulla regione di caduta di massa a 2 rami.
  • Jet QCD: I modelli hanno correttamente identificato l'assenza di scale dure, affidandosi al pattern integrato di radiazioni morbide e ad ampio angolo (coda di Sudakov).
• Forza della Correlazione: Il Particle Transformer ha mostrato la correlazione più forte ($|\rho| \approx 0.5\text{--}0.6$) tra i suoi pesi di attenzione interni e gli osservabili classici (ad esempio, $\tau_{21}$), suggerendo che i meccanismi di attenzione codificano le caratteristiche cinematiche a coppie in modo più diretto rispetto alle GNN a passaggio di messaggi locali.

B. Comportamenti Specifici del Metodo

• GNNShap: Più adatto per Particle Transformer e LundNet. Agisce come un "filtro" per le diramazioni dure e collinari, assegnando un peso elevato agli archi specifici responsabili della massa del segnale.
• GradCAM: Più adatto per ParticleNet. Tende a pesare l'attività di frammentazione a basso-$k_T$ (radiazione morbida), catturando l'intero percorso di passaggio dei messaggi piuttosto che solo gli archi causali.
• GNNExplainer: Altamente efficace nel rivelare il ruolo della condivisione della quantità di moto ($\ln z$) e dell'estensione angolare, evidenziando spesso l'intero pattern di radiazione.

C. L'Anomalia di Fedeltà (Jet QCD)

• Per i jet di segnale (2 rami/3 rami), la rimozione dei primi $k$ archi importanti distrugge la previsione ($Fid^+ \to 1$), come previsto.
• Per i jet QCD, la rimozione dei primi $k$ archi non comporta alcun calo significativo nella previsione ($Fid^+ \to 0$).
• Interpretazione: Questo non è un fallimento dello spiegatore ma una validazione della fattorizzazione QCD. I jet QCD mancano di una singola scala dura discriminante; la loro classificazione si basa sul pattern collettivo delle emissioni morbide. Pertanto, nessun piccolo sottografo è sufficiente a definire la classe.

D. Dipendenza da $p_T$

• All'aumentare della quantità di moto trasversa ($p_T$), le divisioni dure diventano più collimate.
• Nei regimi ad alto-$p_T$, l'accordo tra i diversi metodi XAI migliora generalmente per i jet di segnale, poiché il segnale duro diventa più distinto dal fondo morbido. Tuttavia, per i jet a 2 rami fortemente boostati, il confine tra segnale e fondo morbido diventa ambiguo, causando una certa divergenza nelle interpretazioni dei metodi.

5. Significato e Prospettive

• Fiducia nel ML: Lo studio fornisce prove quantitative che i tagger moderni di deep learning non stanno solo sfruttando artefatti di simulazione, ma stanno apprendendo la fisica fondamentale della sottostruttura prevista dalla QCD.
• Cambiamento Metodologico: Stabilisce che la valutazione multi-metodo è essenziale. Affidarsi a una singola tecnica XAI può portare a interpretazioni incomplete o distorte di ciò che un modello ha appreso.
• Applicazioni Future:
  • Rilevamento di Anomalie: Utilizzare l'XAI per localizzare popolazioni inaspettate nel piano di Lund per ricerche di Fisica Oltre il Modello Standard (BSM).
  • Progettazione di Architetture: Utilizzare mappe di spiegazione per potare gli input o progettare tagger più efficienti (ad esempio, limitando gli input alle regioni di Lund ad alta importanza).
  • Validazione Guidata dai Dati: Il quadro è pronto per essere applicato ai dati reali dell'LHC (ATLAS/CMS) per validare i tagger ML direttamente contro le misurazioni sperimentali piuttosto che contro la simulazione.

In conclusione, questo documento colma il divario tra machine learning ad alte prestazioni e fisica teorica delle particelle, dimostrando che con la giusta rappresentazione (Lund Jet Plane) e un XAI rigoroso, le reti neurali possono essere interpretate come apprendenti il linguaggio della QCD.