\textsc{RooAgent}: An LLM Agent for \textsc{Root}-Based… — Spiegazione divulgativa

Immagina di avere una biblioteca massiccia e incredibilmente complessa di dati scientifici. Nel mondo della fisica delle particelle, questa biblioteca si chiama Root e contiene le "scontrini" di miliardi di collisioni di particelle. Per trovare una specifica informazione, come un particolare tipo di particella o un pattern nei dati, di solito è necessario essere un bibliotecario che parla una lingua molto difficile e tecnica (il codice di programmazione). Se non conosci il codice esatto, non puoi prendere in prestito il libro.

RooAgent è come assumere un assistente bibliotecario super-intelligente e multilingue che parla la tua lingua (inglese semplice) e conosce perfettamente il codice segreto della biblioteca.

Ecco come funziona, scomposto in concetti semplici:

1. Il Problema: La Barriera della "Lingua Straniera"

I fisici delle alte energie utilizzano uno strumento chiamato PyRoot per analizzare i dati. È potente, ma è come cercare di ordinare un pasto complesso in un ristorante dove il menu è scritto in una lingua che non parli. Devi conoscere la sintassi esatta per chiedere "un istogramma della quantità di moto degli elettroni" o "un conteggio degli eventi in cui i getti sono pesanti". Se fai un errore di battitura o usi la parola sbagliata, il computer risponde semplicemente "Errore".

2. La Soluzione: L'Agente "Traduttore"

RooAgent agisce come un traduttore. Non hai bisogno di imparare il codice. Basta dire all'agente cosa vuoi in inglese semplice, come:

"Mostrami un grafico della massa dei quark bottom."
"Conta quanti eventi accadono se guardo solo le particelle che si muovono più velocemente di 50 GeV."
"Trova il taglio migliore per separare il segnale dal rumore di fondo."

L'agente (alimentato da un Modello Linguistico su larga scala, o LLM) ascolta la tua richiesta, la traduce nei comandi tecnici corretti, esegue l'analisi e ti restituisce il risultato, solitamente un grafico, una tabella di numeri o un riepilogo.

3. Come Funziona: La "Cassetta degli Attrezzi"

Pensa all'agente come a un operaio edile con una cassetta degli attrezzi specifica. Il documento descrive due modi in cui questo operaio può essere assunto:

La Modalità LangGraph: L'operaio utilizza un "capocantiere" (LangGraph) per gestire un team di modelli AI (come GPT-4.1 o DeepSeek-V3). Il capocantiere scompone la tua grande richiesta in piccoli passaggi, chiede all'AI di scegliere lo strumento giusto e poi lo esegue.
La Modalità MCP: L'operaio parla direttamente a un diverso capo AI (Claude di Anthropic) utilizzando un protocollo standard (Model Context Protocol).

In entrambi i casi, gli "strumenti" nella cassetta degli attrezzi sono funzioni informatiche pre-scritte che fanno il lavoro pesante:

Ispezione: Guardare dentro i file di dati per vedere cosa c'è.
Conteggio: Sommare quanti eventi soddisfano una regola specifica.
Graficazione: Disegnare i grafici e i diagrammi.
Adattamento (Fitting): Disegnare una curva liscia attraverso i punti dati per vedere la forma.
Calcolo: Fare i calcoli matematici per vedere se una scoperta è statisticamente significativa.

4. La "Prova di Guida"

Gli autori hanno testato questo assistente con diversi scenari per vedere se poteva gestire il lavoro:

La Simulazione "ZH": Hanno simulato una specifica collisione di particelle (un bosone Z e un bosone di Higgs). L'agente ha trovato con successo i file, ha disegnato i grafici, ha contato gli eventi e ha persino trovato il "punto dolce" (il taglio migliore) per separare il segnale dal rumore di fondo.
La Sfida "Multi-Compito": Hanno dato all'agente un'unica istruzione lunga e complessa per fare sei cose diverse contemporaneamente (adattare una curva, creare grafici di confronto, eseguire un flusso di tagli, ottimizzare i tagli, scansionare finestre di massa e classificare i risultati). L'agente ha completato tutti e sei i passaggi di fila senza bisogno di aiuto umano.
Il Test Statistico "Giocattolo": Hanno creato un set di dati finto con un segnale nascosto. L'agente ha scansionato con successo diversi valori di massa, ha trovato il segnale nascosto nel punto giusto (250 GeV) e ha calcolato la probabilità che non fosse solo una coincidenza.
Il Test "Reale": Hanno utilizzato dati reali e pubblici dall'esperimento ATLAS al CERN (il Large Hadron Collider). L'agente ha analizzato con successo i dati per un bosone di Higgs che decade in quattro leptoni, producendo un grafico cumulativo che corrispondeva a quello che produrrebbero esperti umani.

5. Il Risultato

Il documento afferma che RooAgent funziona. Ha trasformato con successo domande in inglese semplice in risposte complesse di fisica.

Ha gestito correttamente 19 su 20 test a compito singolo.
Ha completato un flusso di lavoro multi-compito a 6 passaggi senza fermarsi.
Ha prodotto gli stessi risultati numerici sia utilizzando GPT-4.1 di OpenAI sia Sonnet 4.6 di Anthropic.

Il Rovescio della Medaglia:
L'agente non è perfetto. In un test, si è confuso perché l'utente ha scritto "Events" (con la E maiuscola) invece di "events" (con la e minuscola) per il nome del file. L'agente si è fermato e ha chiesto chiarimenti invece di indovinare. Inoltre, a volte diversi modelli AI potrebbero scegliere intervalli leggermente diversi per un grafico (ad esempio, mostrare 0–100 GeV contro 0–200 GeV), ma la matematica di base rimane la stessa.

Riepilogo

RooAgent è un ponte. Permette ai fisici (e potenzialmente a studenti o nuovi ricercatori) di parlare con i loro dati in linguaggio umano, mentre il computer gestisce il linguaggio tecnico e complesso richiesto per eseguire effettivamente l'analisi. Non sostituisce la comprensione della fisica da parte del fisico, ma rimuove l'ostacolo di dover memorizzare la sintassi complessa del codice per portare a termine il lavoro.

Sintesi Tecnica di "RooAgent: Un Agente LLM per l'Analisi di Fisica delle Alte Energie Basata su ROOT"

Enunciato del Problema
L'analisi dei dati nella Fisica delle Alte Energie (HEP) fa affidamento in modo sostanziale sul framework ROOT e sulla sua interfaccia Python, PyROOT, per compiti che vanno dalla selezione degli eventi e dalla creazione di istogrammi all'inferenza statistica. Tuttavia, l'utilizzo di questi strumenti richiede una significativa familiarità con convenzioni specifiche delle API, strutture dati (come i rami TTree) e l'organizzazione interna dei campioni di input. Questa barriera all'ingresso può ostacolare i nuovi utenti e rendere inefficienti i compiti di routine. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato potenziale nell'automatizzare flussi di lavoro multi-step tramite "chiamate di strumenti", esiste la necessità di un'interfaccia specializzata che mappi direttamente gli obiettivi in linguaggio naturale sulle specifiche chiamate di funzione richieste per l'analisi basata su ROOT.

Metodologia
Gli autori presentano RooAgent, un pacchetto Python che funge da interfaccia in linguaggio naturale per l'analisi basata su ROOT. Il sistema incapsula le funzioni PyROOT come strumenti eseguibili per un agente LLM. L'architettura supporta due modalità operative distinte, entrambe che utilizzano la stessa implementazione sottostante di PyROOT:

Modalità Agente LangGraph: Compatibile con GPT-4.1 di OpenAI (tramite GitHub Copilot) e DeepSeek-V3 (tramite Ollama). In questa modalità, l'LLM ragiona sui prompt dell'utente, seleziona gli strumenti, costruisce gli argomenti e chiama iterativamente le funzioni PyROOT fino al raggiungimento dell'obiettivo dell'utente.
Modalità Protocollo di Contesto del Modello (MCP): Progettata per l'integrazione con la CLI di Anthropic Claude (testata specificamente con Sonnet 4.6). Questa modalità opera come un server MCP, dove la CLI di Claude agisce sia come LLM sia come livello di orchestrazione, eliminando la necessità di dipendenze LangChain o LangGraph.

L'insieme di strumenti è modulare e copre l'intero spettro dei compiti comuni di analisi ROOT, inclusi:

Ispezione: Elencazione dei contenuti dei file, delle strutture TTree e dei tipi di dati dei rami.
Conteggio e Selezione: Applicazione di tagli booleani, generazione di cutflow e calcolo delle rese degli eventi.
Istogrammi e Statistica: Riempimento di istogrammi dai rami TTree, calcolo di integrali, medie e RMS, e calcolo della significatività ( $S/\sqrt{S+B}$ ).
Visualizzazione: Generazione di grafici 1D e 2D, sovrapposizione di distribuzioni e applicazione di scale logaritmiche.
Adattamento (Fitting): Esecuzione di adattamenti gaussiani, esponenziali o polinomiali alle distribuzioni.
Ottimizzazione: Scansione delle soglie di taglio per massimizzare la significatività.
Esportazione: Conversione dei rami TTree in file CSV.

Il sistema è progettato per il ragionamento iterativo, consentendo all'agente di chiamare gli strumenti più volte per affinare i risultati o correggere errori (ad esempio, chiarire i nomi degli alberi o regolare gli intervalli dei grafici).

Contributi Chiave

Interfaccia Unificata: RooAgent fornisce un insieme coerente di strumenti di analisi accessibili tramite linguaggio naturale su diversi backend LLM (OpenAI, Ollama, Anthropic) senza richiedere modifiche al codice di analisi sottostante.
Registro degli Strumenti: Il pacchetto espone una libreria completa di funzioni incapsulate in PyROOT specificamente adattate per i flussi di lavoro HEP, inclusi il calcolo della significatività, la generazione di cutflow e l'adattamento parametrico.
Architettura a Doppia Modalità: Supportando sia un agente basato su LangGraph sia un server MCP, il pacchetto offre flessibilità per gli utenti che preferiscono diversi ecosistemi LLM e metodi di distribuzione (locale vs cloud).

Risultati
Gli autori hanno valutato RooAgent utilizzando simulazioni Monte Carlo di $pp \to ZH$ ( $Z \to \ell^+\ell^-, H \to b\bar{b}$ ) e processi di fondo, nonché dati aperti ATLAS per il canale $H \to ZZ^* \to 4\ell$ .

Prestazioni di Riferimento: In una serie di 20 test a singolo compito, l'agente ha prodotto con successo risultati per 19 compiti. I compiti includevano ispezione dei file, creazione di istogrammi, conteggio degli eventi, definizione di variabili, adattamento gaussiano e scansione della significatività. Un fallimento è stato dovuto a un problema di sensibilità alle maiuscole/minuscole nella ricerca del nome di un albero, che l'agente ha correttamente identificato e segnalato per chiarimenti anziché produrre un risultato errato.
Flusso di Lavoro Multi-Compito: Un prompt complesso che richiedeva sei compiti sequenziali (adattamento, confronti cinematici, generazione di cutflow, ottimizzazione dei tagli, scansione della finestra di massa e classificazione dei tagli) è stato eseguito con successo in circa 225 secondi senza intervento umano.
Analisi Statistica: In un'analisi statistica di esempio che coinvolgeva una griglia di ipotesi di massa, l'agente ha correttamente abbinato gli istogrammi, calcolato le significatività osservate e attese, i valori p e i valori $CL_s$ , e identificato la massa del segnale iniettato (250 GeV) come il candidato più forte.
Applicazione ai Dati Aperti: Applicato ai dati aperti ATLAS, l'agente ha elaborato con successo più file ROOT, applicato tagli di selezione dei leptoni sequenziali, generato cutflow e prodotto un grafico in pila di segnale e fondo sovrapposti ai dati. I risultati sono stati coerenti tra GPT-4.1 e Sonnet 4.6.
Variazioni del Modello: Il documento nota che, sebbene la logica di base rimanga coerente, diversi LLM (ad esempio GPT-4.1 vs DeepSeek-V3) possono prendere scelte diverse riguardo agli intervalli dei grafici o alla normalizzazione quando non sono esplicitamente vincolati, evidenziando l'importanza della specificità del prompt.

Significato
Il documento afferma che RooAgent colma con successo il divario tra prompt in linguaggio semplice e i requisiti tecnici dell'analisi HEP basata su ROOT. Automatizzando la selezione degli strumenti e degli argomenti, il sistema snellisce i compiti di routine e abbassa la barriera all'ingresso per gli utenti non familiari con le complessità dell'API ROOT. Gli autori collocano questo lavoro come un passo verso un'analisi dei dati HEP più accessibile, dimostrando che gli agenti LLM possono orchestrare efficacemente flussi di lavoro complessi e multi-step che coinvolgono ispezione dei file, inferenza statistica e visualizzazione. Il pacchetto è modulare, consentendo future estensioni come l'integrazione di algoritmi di apprendimento automatico come strumenti chiamabili o l'identificazione di variabili ottimali per la selezione degli eventi.

\textsc{RooAgent}: An LLM Agent for \textsc{Root}-Based High Energy Physics Analysis