Development of an LLM-Based System for Automatic Code Generation from HEP Publications

Questo studio presenta un sistema proof-of-concept basato su modelli linguistici di grandi dimensioni (LLM) che estrae automaticamente le procedure di analisi dalle pubblicazioni della fisica delle alte energie per generare codice eseguibile, dimostrando che, sebbene le attuali capacità siano promettenti come strumenti di supporto con intervento umano per la riproducibilità, persistono sfide significative come l'allucinazione e la stocasticità che ne impediscono l'uso come agenti completamente autonomi.

L'essenziale

Immagina di essere un cuoco che ha appena ricevuto una ricetta scritta da un famoso chef, ma la ricetta è piena di riferimenti ad altri libri di cucina, note a margine e termini tecnici che non tutti conoscono. Il tuo obiettivo è ricreare esattamente lo stesso piatto, passo dopo passo.

Questo è esattamente il problema che affrontano i fisici delle particelle (HEP) quando cercano di riprodurre i risultati di un esperimento descritto in un articolo scientifico. Spesso, le "ricette" (le analisi dei dati) sono così complesse e sparse tra diversi documenti che ricostruirle manualmente richiede anni di lavoro.

In questo articolo, Masahiko Saito e il suo team hanno costruito un assistente digitale intelligente (basato sull'Intelligenza Artificiale) per aiutare in questo compito. Ecco come funziona, spiegato in modo semplice:

1. L'Obiettivo: Copiare la "Ricetta" della Fisica

Il team ha creato un sistema che legge gli articoli scientifici (spesso lunghi e pieni di formule) e cerca di trasformarli in un codice di computer che può eseguire l'esperimento da solo. L'obiettivo è rendere la scienza più trasparente e riproducibile: se un computer può leggere l'articolo e rifare l'esperimento, allora la scienza è solida.

2. Come Funziona: Due Fasi Chiave

Il sistema non cerca di indovinare tutto in un colpo solo. Funziona come un architetto e un muratore che lavorano in due fasi distinte:

• Fase 1: L'Architetto (Estrazione delle Regole)
  L'IA legge l'articolo principale e tutti i libri di testo o articoli collegati che l'autore ha citato. Il suo compito è estrarre le "regole del gioco": quali particelle contare, quali escludere, quali misurazioni fare.

  • L'analogia: Immagina che l'IA sia uno studente molto diligente che legge un libro di testo e un dizionario per scrivere una lista di istruzioni chiara e ordinata, invece di saltare direttamente alla cucina.
  • Il problema: A volte l'IA si confonde (allucinazioni) o inventa regole che non esistono, proprio come uno studente che potrebbe ricordare male una lezione.

• Fase 2: Il Muratore (Generazione del Codice)
  Una volta che l'IA ha la lista delle regole (la "struttura"), prova a scrivere il codice informatico che le esegue.

  • L'analogia: Ora l'IA è il muratore che prende la lista dell'architetto e costruisce il muro. Se il muro crolla (errore di esecuzione), l'IA deve rileggere la lista e provare di nuovo.
  • Il controllo: Il sistema esegue il codice su dei dati reali (o simulati) e controlla se il risultato finale corrisponde esattamente a quello ottenuto dagli scienziati umani.

3. La Prova del Forno: L'Esperimento ATLAS

Per testare il loro sistema, hanno scelto un esperimento famoso del CERN (ATLAS) che studia come un bosone di Higgs si trasforma in quattro leptoni (particelle simili agli elettroni). È come se avessero detto: "Proviamo a farci scrivere da un robot la ricetta per questo piatto specifico e vediamo se viene buono come quello originale".

Hanno usato un "terreno di verità" (una ricetta fatta a mano da un umano esperto) per confrontare i risultati.

4. Cosa Hanno Scoperto? (I Risultati)

I risultati sono un mix di speranza e cautela:

• Il Buono: I modelli di IA più grandi e potenti (quelli con "più cervello", chiamati modelli open-weight) sono riusciti a leggere l'articolo e scrivere codice che, in alcuni casi, ha prodotto esattamente lo stesso risultato dell'umano. Hanno capito le regole complesse e le hanno tradotte in istruzioni funzionanti.
• Il Cattivo: L'IA è ancora un po' "distratta". A volte inventa regole che non ci sono (allucinazioni), a volte si blocca o scrive codice che sembra giusto ma non funziona. È come se un cuoco a volte aggiungesse sale invece di zucchero perché ha letto male la ricetta.
• La Conclusione: L'IA non è ancora pronta per lavorare da sola (come un chef autonomo). È però eccellente come assistente. Se un fisico umano controlla il lavoro dell'IA (un approccio "uomo nel circuito"), il sistema diventa uno strumento potentissimo per accelerare la scienza.

In Sintesi

Immagina di avere un tutor di fisica super intelligente che legge migliaia di pagine in un secondo e ti prepara la bozza del codice per l'esperimento. Non puoi fidarti ciecamente di lui (potrebbe sbagliare), ma se lo controlli e correggi i suoi errori, ti fa risparmiare mesi di lavoro.

Questo studio ci dice che siamo sulla strada giusta: l'IA sta imparando a "leggere" la scienza e a "scrivere" esperimenti, ma per ora ha bisogno ancora di una mano umana per assicurarsi che tutto sia corretto.

Sommario tecnico

Titolo: Sviluppo di un Sistema Basato su LLM per la Generazione Automatica di Codice da Pubblicazioni HEP

1. Il Problema

L'analisi dei dati nella fisica delle alte energie (HEP) è diventata progressivamente complessa, richiedendo competenze computazionali sostanziali e molto tempo per configurare ambienti e scrivere codice. Questo innalza la barriera all'ingresso per studenti e nuovi ricercatori. Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) offrano un potente supporto per la codifica, la loro applicazione all'analisi automatica è ostacolata da variabilità stocastica e "allucinazioni" (generazione di informazioni non veritiere), rendendo difficile fidarsi di analisi completamente automatizzate senza una verifica attenta. Inoltre, garantire la riproducibilità dei risultati fisici rimane una sfida cruciale, spesso compromessa da descrizioni ambigue o incomplete nelle pubblicazioni.

2. Metodologia

Gli autori hanno sviluppato un flusso di lavoro Proof-of-Concept (PoC) che utilizza LLM a peso aperto (open-weight) per estrarre procedure di analisi dalle pubblicazioni HEP e generare codice eseguibile. Il sistema è progettato come un processo iterativo in due fasi, con un'intermediazione leggibile dall'uomo per evitare che l'LLM agisca come una "scatola nera":

• Fase 1: Estrazione dei Criteri di Selezione

  • Obiettivo: Estrarre criteri di selezione degli eventi, definizioni di oggetti e informazioni rilevanti dal paper target e dalle sue citazioni.
  • Workflow: Utilizza un ciclo iterativo basato su LangChain e LangGraph con quattro componenti:
    1. Planner: Decide quale riferimento leggere e formula obiettivi specifici.
    2. Loader: Converte il PDF in Markdown, isola il testo rilevante e mappa le citazioni agli ID arXiv.
    3. Reader: Estrae i criteri basandosi sugli obiettivi del Planner (testato in modalità "Bulk" per l'intero testo e "Chunk" per segmenti).
    4. Merger: Integra i nuovi risultati nella lista strutturata, trattando i riferimenti come supplementari per evitare sovrascritture inappropriate.
  • Output: Una lista di selezione strutturata con commenti e provenienza dei riferimenti, non una semplice lista numerica.

• Fase 2: Generazione del Codice

  • Obiettivo: Generare codice di analisi eseguibile partendo dalla lista strutturata ottenuta nella Fase 1.
  • Workflow: Un ciclo iterativo in cui:
    1. Planner: Scompone il task in sottotask sequenziali.
    2. Generator: Produce il codice per il sottotask corrente, ricevendo feedback sugli errori di esecuzione precedenti.
    3. Executor: Esegue il codice in un container Singularity isolato (preconfigurato con ROOT, numpy, uproot).
    4. Validator: Verifica sia i risultati di esecuzione che il codice stesso rispetto ai criteri di completamento.
  • Vincolo: Per questa valutazione, la conoscenza di dominio specifica (API, definizioni variabili) è fornita esplicitamente nel prompt, isolando la capacità di traduzione da quella di recupero della conoscenza.

3. Contributi Chiave

• Flusso di lavoro verificabile: Implementazione di un sistema che separa la comprensione del documento dalla generazione del codice, introducendo una rappresentazione intermedia leggibile dall'uomo. Questo posiziona l'LLM come un collaboratore verificabile piuttosto che un agente autonomo.
• Valutazione quantitativa della riproducibilità: Utilizzo dei dati aperti ATLAS (Open Data) per l'analisi $H \to ZZ^* \to 4\ell$ come benchmark. Il sistema permette di confrontare direttamente i risultati generati con l'analisi pubblicata e con un'implementazione manuale di riferimento (baseline).
• Analisi separata delle capacità: Valutazione indipendente dell'estrazione delle selezioni e della generazione del codice per chiarire limiti e punti di forza specifici dei modelli open-weight.

4. Risultati

Lo studio è stato condotto utilizzando diversi modelli (Qwen3, GPT-OSS, Gemini) su un dataset di 1.000 eventi Monte Carlo.

• Fase 1 (Estrazione):
  • I modelli con $\ge 30$ miliardi di parametri (es. Qwen3:235B, Gemini 2.5 Flash) sono riusciti a estrarre la maggior parte dei 27 criteri di selezione di riferimento, identificando tutti i criteri in alcune esecuzioni.
  • Il modello da 4B ha mostrato prestazioni scarse.
  • Sfide: Persiste una significativa variabilità stocastica tra le esecuzioni. L'uso della modalità "Chunk" (segmentazione del testo) ha migliorato il recupero dei criteri per modelli piccoli ma ha aumentato drasticamente le allucinazioni e il tasso di fallimento del flusso di lavoro.
• Fase 2 (Generazione Codice):
  • I modelli più grandi (Qwen3-Coder-Next:80B e GPT-OSS:120B) hanno raggiunto una corrispondenza esatta a livello di eventi con la baseline manuale in 3/10 e 2/10 esecuzioni rispettivamente.
  • Il modello da 30B non ha ottenuto nessuna corrispondenza esatta.
  • Criticità: Un'alta frequenza di fallimenti nell'esecuzione o di corrispondenze non esatte ("Not Matched") indica che stabilità e correttezza sono ancora insufficienti. È emerso che un codice eseguibile non garantisce la correttezza fisica (selezione degli eventi errata).

5. Significato e Conclusioni

Il lavoro dimostra che i modelli LLM open-weight moderni sono già promettenti come strumenti di supporto per la riproducibilità in un contesto human-in-the-loop (con supervisione umana), ma non sono ancora affidabili come agenti di analisi completamente autonomi.

• Implicazioni: Il sistema funge da framework per valutare la qualità della documentazione delle pubblicazioni HEP; un fallimento nella riproduzione può indicare descrizioni mancanti o ambigue.
• Sfide future: La variabilità stocastica, le allucinazioni e i fallimenti di esecuzione rimangono ostacoli significativi.
• Prospettive: Il lavoro futuro si concentrerà su valutazioni end-to-end (per tracciare la propagazione degli errori dalla Fase 1 alla 2), sull'integrazione di RAG (Retrieval-Augmented Generation) per la conoscenza di dominio specifica (es. API ROOT) e sull'espansione del benchmark ad altre analisi. L'obiettivo finale è creare un sistema collaborativo che non solo traduca testo in codice, ma identifichi esplicitamente le ambiguità nelle procedure pubblicate, migliorando la trasparenza e la riproducibilità della letteratura scientifica.