Graph Neural Networks for the Graphical Bootstrap

Sintesi Tecnica: Reti Neurali a Grafo per il Bootstrap Grafico

Enunciato del Problema
Il documento affronta un collo di bottiglia computazionale nella fisica delle alte energie, specificamente all'interno della teoria $\mathcal{N}=4$ super-Yang–Mills (SYM) planare. Il calcolo degli ampiezze di scattering e dei correlatori richiede la determinazione dei coefficienti per un vasto numero di oggetti combinatori noti come $f$-grafi. Questi grafi consistono in $n$ nodi e due tipi di archi: archi del denominatore (che formano un grafo planare) e archi del numeratore. Il numero di tali grafi cresce fattorialmente; al livello a 16 punti ($n=16$), esistono oltre 600 milioni di $f$-grafi.

I metodi tradizionali, noti come "bootstrap grafico", utilizzano vincoli fisici (come la "regola del raggio" e la "regola del cuspide") per generare equazioni lineari che determinano i coefficienti. Tuttavia, risolvere questi sistemi diventa computazionalmente proibitivo ad ordini superiori (ad esempio, la risoluzione del sistema per $n=16$ ha richiesto 3 giorni su un cluster HPC). Inoltre, una parte significativa dell'ansatz è ridondante: a $n=16$, circa il 94% degli $f$-grafi ha coefficienti nulli ($c^{(n)}_{a,b} = 0$). Gli autori propongono l'uso del Machine Learning non per predire direttamente i coefficienti esatti, ma per identificare e potare questi grafi ridondanti prima della risoluzione lineare, riducendo così la dimensione del problema.

Metodologia
Gli autori inquadrano il problema come un compito di classificazione binaria su grafi planari. Invece di predire i singoli coefficienti degli $f$-grafi, essi predicono un'etichetta binaria $d^{(n)}_a$ per i "grafi del denominatore" ($d$-grafi). Un $d-grafo$ è etichettato come 1 se qualunque delle sue possibili vestizioni del numeratore risulta in un coefficiente non nullo, e come 0 se tutte le vestizioni svaniscono. Ciò riduce il dataset a semplici grafi planari non etichettati.

• Modelli: Vengono messi a confronto tre architetture:
  • GIN (Graph Isomorphism Network): Utilizza il pooling di somma e il passaggio di messaggi (message passing).
  • GAT (Graph Attention Network): Utilizza il passaggio di messaggi basato sull'attenzione con residui.
  • GT (Graphormer): Un modello basato su Transformer con auto-attenzione globale e bias di adiacenza/percorso minimo.
• Caratteristiche (Features): Tutti i modelli utilizzano un set unificato di input per i nodi che combina:
  • Punteggi di centralità (grado, clustering, betweenness, closeness, PageRank).
  • Autovettori del Laplaciano top-3 come codifiche posizionali.
  • Conteggi di orbite di graphlet fino a $k=4$.
• Strategia di Addestramento: Lo studio si concentra sulla generalizzazione tra dimensioni diverse ($n \to n+1$). I modelli sono addestrati su grafi con fino a $n$ nodi e testati su $n+1$ nodi. Per gestire la crescente sbilanciamento delle classi (dove la percentuale di coefficienti nulli cresce con $n$), gli iperparametri sono selezionati tramite una ricerca a griglia su una partizione in cui i dati di addestramento ($10 \le N \le n-1$) sono distinti dai dati di validazione ($n$).
• Vincoli: Poiché il sistema fisico è risolvibile solo se tutti i grafi non nulli vengono mantenuti, i modelli richiedono il 100% di recall sulla classe positiva (grafi con coefficiente non nullo). La metrica principale di successo è il TNR (True Negative Rate), che misura quanti grafi ridondanti possono essere scartati in sicurezza.

Risultati Chiave

• Prestazioni di Classificazione: L'architettura Graphormer (GT) supera costantemente GIN e GAT, raggiungendo un ROC AUC del 99,996% nella transizione tra 15 e 16 nodi. GIN e GAT mostrano prestazioni inferiori, specialmente quando i dati di addestramento non includono dimensioni di grafi maggiori.
• Riduzione dell'Ansatz:
  • I modelli identificano con successo i settori ridondanti. Con una soglia ottimale, il modello GT rimuove l'85,5% del settore dei $d$-grafi ridondanti a $n+1=16$.
  • GAT raggiunge una riduzione del 61,0% allo stesso livello.
  • Il modello GIN mostra un calo significativo del TNR (4%) quando utilizza una soglia derivata dai dati di addestramento, evidenziando l'instabilità della selezione della soglia per questo compito specifico rispetto a GT e GAT.
• Cattura delle Regole: L'analisi suggerisce che GT cattura la "regola del raggio" (un semplice vincolo grafico) in modo più efficace rispetto agli altri modelli, con la probabilità di superiorità che aumenta dal 61% all'86% all'aumentare della dimensione dell'addestramento.
• Interpretabilità: Le sonde lineari addestrate sugli embedding del modello mostrano alti punteggi $r^2$ per la predizione di caratteristiche strutturali globali (es. conteggi di cicli $C_3, C_4, C_5$ e graphlet indotti). Significativamente, gli embedding catturano strutture non locali di ordine superiore (come $C_5$) nonostante non vi siano input espliciti, sebbene sia stata osservata un'anomalia in cui la prevedibilità di $C_3$ e $C_4$ è crollata nella transizione $14 \to 15$.

Significatività e Rivendicazioni
Il documento sostiene che le Reti Neurali a Grafo possano identificare efficacemente i settori ridondanti del bootstrap grafico, consentendo un sostanziale aumento della velocità computazionale (fino all'85,5% di riduzione dei dati) senza compromettere l'esattezza dei risultati fisici finali. Riducendo il numero di grafi forniti al risolutore lineare, il metodo rende più fattibili i calcoli perturbativi di ordine superiore.

Gli autori posizionano questo lavoro come:

1. Uno strumento pratico per la fisica delle alte energie che colma il divario tra risultati analitici esatti e machine learning.
2. Un utile benchmark per l'apprendimento su grafi puramente combinatori, dimostrando che le GNN possono apprendere regole strutturali complesse (come la regola del raggio) dai dati.
3. Una soluzione modesta ma immediata: invece di tentare il problema più difficile della predizione dei coefficienti razionali esatti, gli autori si concentrano sul compito binario della potatura, che fornisce un'immediata utilità pratica.

Il lavoro futuro suggerito dagli autori include l'estensione della potatura al livello completo degli $f$-grafi (considerando gli archi del numeratore) e la formulazione della predizione dei coefficienti come un compito strutturato a etichette finite.