AgentRivet: an automated system for producing Rivet routines from journal publications

Questo articolo presenta AgentRivet, un workflow automatizzato che utilizza i Large Language Models per estrarre dettagli di analisi fisica dalle pubblicazioni scientifiche e generare routine Rivet, affrontando così il significativo divario nella copertura delle misurazioni model-independent nella fisica delle particelle.

L'essenziale

Immaginate il mondo della fisica delle particelle come una massiccia competizione culinaria ad alta posta in gioco. Gli scienziati in macchine giganti (come il Large Hadron Collider) cucinano "piatti" complessi (collisioni di particelle) e scrivono ricette dettagliate in articoli scientifici. Forniscono inoltre un elenco di ingredienti (dati) affinché altri chef possano provare a ricreare il piatto.

Tuttavia, c'è un problema: per poter davvero assaggiare e confrontare questi piatti, altri scienziati hanno bisogno di uno strumento da cucina specifico e standardizzato chiamato Rivet. Pensate a Rivet come a un misurino speciale e tecnologico che assicura che tutti misurino la zuppa esattamente nello stesso modo. Senza di esso, non potete confrontare equamente la vostra zuppa con quella di un altro.

Il problema è che solo circa il 40% delle ricette pubblicate arriva con questo misurino speciale. Per il resto, sono solo descrizioni testuali, che sono difficili da trasformare nel codice preciso necessario per lo strumento.

Entra in scena AgentRivet: Il Sotto-Chef IA

Gli autori di questo articolo hanno costruito un nuovo sistema chiamato AgentRivet. Pensate ad AgentRivet come a una squadra di robot IA progettati per leggere quelle ricette disordinate e puramente testuali e costruire automaticamente i misurini Rivet mancanti (codice informatico) per voi.

Ecco come funziona la loro "squadra di cucina", utilizzando un semplice flusso di lavoro:

1. L'Analista (Il Lettore): Questo robot IA legge l'articolo scientifico e agisce come un sotto-chef molto attento. Non si limita a leggere; estrae le istruzioni esatte: "Usa 2 limoni", "Trita le cipolle in questo modo", "Cuoci per 10 minuti". Trasforma il testo disordinato in una lista della spesa pulita e strutturata.
2. Il Programmatore (Il Costruttore): Questo robot prende la lista della spesa e prova a costruire il vero strumento Rivet (che è scritto in un linguaggio informatico specifico chiamato C++). È come un braccio robotico che cerca di assemblare una macchina complessa basandosi sulle istruzioni.
3. I Revisori (Gli Ispettori): Prima che lo strumento sia finito, due ispettori controllano il lavoro.
   • Il Revisore del Codice controlla gli errori tecnici, come l'uso del tipo sbagliato di vite o un componente rotto (errori di sintassi).
   • Il Revisore della Fisica controlla se le istruzioni corrispondono effettivamente alla ricetta. Il robot ha misurato le cipolle correttamente? Ha seguito il tempo di cottura?

Il "Test di Assaggio" (I Risultati)

Il team ha testato questa squadra di IA su due ricette recenti e complesse provenienti dagli esperimenti ATLAS e CMS (due grandi laboratori di fisica delle particelle). Hanno chiesto all'IA di costruire gli strumenti Rivet partendo da zero.

• La Buona Notizia: La squadra di IA è stata sorprendentemente brava nel compito. Ha costruito strumenti funzionanti con pochissimi glitch tecnici. Quando hanno usato gli strumenti per misurare collisioni di particelle simulate, i risultati apparivano molto simili a quelli che gli scienziati umani si aspettavano.
• La Cattiva Notizia (Le "Allucinazioni"): A volte, l'IA si confondeva davanti a parti vaghe della ricetta.
  • Se l'articolo diceva "Fai qualcosa di speciale con la salsa", ma non spiegava esattamente come, l'IA tirava a indovinare. A volte indovinava bene; a volte indovinava male.
  • Un modello di IA (Gemini) a volte dimenticava di seguire istruzioni specifiche riguardanti i "neutrini" (un tipo di particella invisibile), mentre un altro (Claude) a volte rimaneva bloccato in un loop o scriveva i propri "pensieri" invece del semplice codice.
  • L'IA ha avuto maggiori difficoltà con le parti più complesse e astratte delle ricette, come misurare la "forma" dell'evento o utilizzare formule matematiche complesse che non erano chiaramente definite.

Il Verdetto

L'articolo conclude che AgentRivet è uno strumento promettente. Può trasformare con successo circa il 40% delle ricette "mancanti" in codice funzionante, il che è un grande aiuto per la comunità della fisica.

Tuttamente, non è ancora perfetto. Ha ancora bisogno di un essere umano che gli sorvegli le spalle, specialmente quando la ricetta originale è vaga. Gli autori suggeriscono che in futuro istruiranno meglio l'IA, addestrandola su più esempi e aggiungendo controlli automatici per intercettare gli errori prima ancora che un essere umano li veda.

In breve: AgentRivet è una squadra automatizzata che legge articoli scientifici e costruisce gli strumenti software mancanti di cui gli scienziati hanno bisogno per confrontare i loro dati. Funziona bene, ma commette ancora errori quando le istruzioni non sono chiare, quindi gli esperti umani sono ancora necessari per controllare il lavoro.

Sommario tecnico

Sintesi Tecnica di AgentRivet: Un Sistema Automatizzato per la Produzione di Routine Rivet da Pubblicazioni Scientifiche

Problema
Gli esperimenti di collisione di particelle nell'ambito della fisica delle alte energie si affidano a Rivet (Robust Independent Validation of Event Generators), un toolkit in C++, per preservare le definizioni delle analisi e consentire confronti indipendenti dai modelli tra le previsioni teoriche e i dati sperimentali. Nonostante i chiari vantaggi di questa strategia di preservazione, la copertura delle analisi è criticamente incompleta. Attualmente, solo il 3% delle misurazioni dispone di routine Rivet documentate e pubblicamente disponibili, con una copertura che varia dal 49% per ATLAS al 16% per ALICE. La produzione di queste routine è spesso considerata un compito laborioso che non riceve sufficiente riconoscimento o ricompensa all'interno della comunità, creando un collo di bottiglia nella preservazione dei dati dei collider.

Metodologia: Il Workflow di AgentRivet
Per affrontare questo divario, gli autori hanno progettato e implementato AgentRivet, un workflow autonomo e multi-step basato su Large Language Models (LLM). Il sistema è costruito come un framework Python modulare e agnostico rispetto ai fornitori, che orchestra agenti IA specializzati per estrarre informazioni fisiche dalle pubblicazioni scientifiche e generare le corrispondenti routine Rivet.

Il workflow si compone dei seguenti elementi chiave:

1. Architettura Modulare ad Agenti: Il sistema scinde l'orchestrazione di alto livello dai specifici fornitori di LLM (OpenAI, Anthropic, Google), permettendo la commutazione dinamica tra i modelli.
2. Agenti Specializzati:
   • Analyst (Analista): Estrae informazioni fisiche strutturate dalle pubblicazioni, inclusi i dettagli dello spazio delle fasi fiduciale, la costruzione degli oggetti (es. leptoni "dressed", jet), i criteri di selezione dell'evento e le specifiche degli istogrammi. Utilizza modelli Pydantic per imporre schemi di output strutturati.
   • Coder (Programmatore): Genera codice C++ compatibile con Rivet basandosi sul riepilogo strutturato fornito dall'Analista. È vincolato all'uso della sintassi Rivet4 e aderisce a specifiche politiche di revisione.
   • Code Reviewer (Revisore del Codice): Valuta il codice generato alla ricerca di errori di sintassi, uso di sintassi obsoleta di Rivet3 e potenziali problemi di compilazione.
   • Physics Reviewer (Revisore della Fisica): Valida la fedeltà fisica dell'implementazione rispetto alla specifica estratta dall'Analista, controllando eventuali incongruenze nelle definizioni degli oggetti, nei tagli (cuts) e negli osservabili.
3. Ciclo di Revisione Iterativo: Una caratteristica critica del workflow è un ciclo iterativo in cui il Coder perfeziona il codice sulla base del feedback ricevuto da entrambi i revisori. Questo ciclo continua fino a quando non viene concessa l'approvazione, non rimangono problemi rilevanti o viene raggiunto un limite di iterazione configurabile.
4. Memoria Condivisa e Artefatti: Tutti i passaggi intermedi, inclusi i metadati estratti, le bozze del codice e i commenti di revisione, sono memorizzati in uno stato condiviso. Ciò garantisce che il processo sia auditabile, riproducibile e consenta la cache di prodotti derivati da LLM che sono costosi.

Benchmarking e Setup Sperimentale
Le prestazioni di AgentRivet sono state valutate utilizzando due misurazioni recenti e pubblicamente disponibili che mancavano di routine Rivet esistenti:

1. ATLAS: Produzione inclusiva di $W\gamma \to \ell\nu\gamma$, caratterizzata da complessi osservabili angolari, asimmetrie di boost e osservabili basati su reti neurali.
2. CMS: Osservabili di forma dell'evento (event shape) utilizzando particelle cariche all'interno dei jet, che coinvolgono definizioni non banali di massa del jet, thrust e broadening.

Il sistema è stato testato con tre LLM commerciali: Gpt-5.5 (OpenAI), Gemini-3.5-Flash (Google) e Claude-Opus-4.6 (Anthropic). Per ogni setup, sono state eseguite tre sessioni indipendenti per valutare la coerenza. Le routine generate sono state compilate con Rivet-4.1.2 e applicate a campioni di eventi Monte Carlo (MadGraph5_aMC@NLO e Pythia8) per verificare gli output fisici.

Risultati Chiave

• Qualità del Codice: AgentRivet ha prodotto routine Rivet competenti con pochi errori di sintassi.
  • Gpt-5.5 e Claude-Opus-4.6 hanno generalmente prodotto routine che compilavano con successo, sebbene Claude-Opus-4.6 raramente approvasse formalmente le routine nonostante l'identificazione di zero blocchi.
  • Gemini-3.5-Flash ha richiesto 2–3 iterazioni per rimuovere la sintassi obsoleta di Rivet3 e occasionalmente ha introdotto sintassi allucinate.
  • Tutte le routine potevano essere compilate con un intervento umano minimo (correggendo solo gli errori necessari).
• Fedeltà Fisica:
  • Ricostruzione degli Oggetti: La maggior parte dei modelli ha ricostruito correttamente gli oggetti standard (elettroni, muoni, fotoni, jet). Tuttavia, sono emersi problemi sottili, come l'esclusione errata di leptoni "dressed" o l'inclusione di neutrini prompt nella ricerca dei jet, spesso a causa di una formulazione ambigua nei paper originali.
  • Osservabili Complessi: Il sistema ha avuto difficoltà con le definizioni più complesse. Per l'analisi ATLAS, Gemini-3.5-Flash non è riuscito a costruire interamente gli osservabili angolari a causa di un'estrazione incompleta delle informazioni da parte dell'Analista. Claude-Opus-4.6 ha occasionalmente applicato vincoli al sistema errato (ad esempio, applicando il vincolo al sistema $\ell\nu\gamma$ invece che a $\ell\nu$).
  • Osservabili basati su Reti Neurali: Come previsto, nessun modello è stato in grado di costruire osservabili basati su reti neurali senza i file del modello sottostante, evidenziando un limite nel gestire definizioni "black box".
  • Binning degli Istogrammi: Quando i record HepData non erano disponibili, i modelli hanno dovuto inferire il binning dai grafici, portando a lievi discrepanze che hanno richiesto correzioni manuali.
• Costo e Affidabilità: Il costo per produrre una routine è variato tra \1.20 e \2.20. Il framework ha dimostrato robustezza contro i fallimenti delle API grazie alla logica di retry, sebbene la stabilità dell'accesso sia variata significativamente in base al fornitore e all'ora del giorno.

Significato e Rivendicazioni
L'articolo sostiene che AgentRivet dimostra la capacità dei moderni LLM di estrarre definizioni di analisi dettagliate dalla letteratura scientifica e di tradurle in software scientifico eseguibile. Il sistema colma con successo il divario tra pubblicazione e implementazione, offrendo una potenziale soluzione per la copertura incompleta delle routine Rivet.

Gli autori sottolineano che il processo di revisione iterativo è essenziale per migliorare sia la qualità del codice che la coerenza con l'analisi originale. Notano che, sebbene il sistema non sia ancora perfetto, la maggior parte dei problemi di implementazione fisica deriva da definizioni sottili ma ambigue nelle pubblicazioni originali piuttosto che da difetti fondamentali del workflow. Di conseguenza, l'articolo sostiene che AgentRitet fornisca un percorso automatizzato e praticabile per aumentare la preservazione delle analisi, a condizione che gli artefatti generati siano sottoposti ai descritti cicli di controllo della qualità. Il lavoro contribuisce alla crescente letteratura sugli agenti AI documentando le loro prestazioni in un contesto scientifico rigoroso e specifico del dominio.