Fantastic Scientific Agents and How to Build Them: AgentBuild for Rietveld Refinement

Sintesi Tecnica: AgentBuild per la Raffinazione di Rietveld

Problema
La transizione dei flussi di lavoro scientifici da eseguibili deterministici ad agenti basati su Large Language Model (LLM) introduce una sfida critica: le attuali pratiche di sviluppo (fine-tuning, apprendimento per rinforzo, prompt engineering) oscurano il giudizio dello scienziato. Il fine-tuning codifica l'esperienza in pesi non differenziabili che scompaiono al cambio del modello; l'apprendimento per rinforzo richiede ricompense scalari che non riescono a catturare giudizi visivi multicriterio; e gli approcci "prompt-and-go" mancano di un parametro di accettazione. Di conseguenza, gli scienziati non dispongono di un artefatto leggibile che definisca cosa costituisca un'analisi competente, e la "competenza" di un agente non è una proprietà duratura, ma una proprietà transitoria di uno specifico checkpoint del modello.

Metodologia: AgentBuild
Il documento propone AgentBuild, un primitivo di fase del flusso di lavoro che tratta la costruzione dell'agente come un processo di compilazione guidato da un contratto redatto dallo scienziato, piuttosto che come un processo di addestramento. La metodologia separa la proprietà intellettuale dello scienziato dal comportamento di runtime dell'agente attraverso tre componenti principali:

1. Il Contratto Redatto dallo Scienziato: L'esperto di dominio redige tre artefatti distinti che fungono da "origine" della competenza dell'agente:

   • Rubrica con Controllo di Versione: Una specifica di criteri qualitativi e visivi (es. identificazione delle fasi, indici di fit, struttura del report) con soglie di superamento rigorose.
   • Curriculum Graduato per Difficoltà: Un insieme di tuple accoppiate contenenti campioni scientifici rappresentativi e report di riferimento, disposti da facile a difficile.
   • Base di Conoscenza Esterna Curata: Un corpus di sola lettura delle procedure di dominio (es. tutorial GSAS-II) che informa la costruzione ma non entra mai nell'agente.

2. Il Ciclo di Costruzione (Build Loop): AgentBuild opera come un ciclo di meta-ottimizzazione:

   • Input: Il contratto (rubrica, curriculum, base di conoscenza), un handle del modello base, un inventario di strumenti MCP (Model Context Protocol) e un confine di modifica (edit boundary).
   • Giudice: Un LLM guidato dalla rubrica valuta l'Agente in Fase di Sviluppo (AUD - Agent-Under-Development) rispetto ai casi del curriculum. Valuta sia la qualità dell'output che l'aderenza alla traiettoria rispetto alla rubrica.
   • Meta-Ottimizzatore: Un LLM che muta l'assemblaggio dell'AUD (prompt di sistema, cablaggio degli strumenti, codice helper) all'interno di un confine di modifica dichiarato. Fondamentalmente, l'ottimizzatore non può modificare il motore scientifico sottostante, la rubrica o il curriculum.
   • Test di Accettazione: Il ciclo utilizza un criterio P-strict: ogni caso attivo del curriculum deve soddisfare ogni soglia dimensionale della rubrica in un'unica iterazione per procedere.
   • Output: Un agente pacchettizzato versionato, A2A (Agent-to-Agent), e una traccia di provenienza (PROV) che documenta ogni diff, punteggio e handle del modello.

3. Interfaccia Duratura: Il sistema garantisce che l'interfaccia dell'agente persista attraverso le generazioni di modelli. Se il modello base cambia, AgentBuild viene eseguito nuovamente contro lo stesso contratto per "ri-sintonizzare" l'agente invece di "ri-costruirlo" da zero. Il contratto dello scienziato rimane l'asset duraturo; l'agente è un derivato.

Contributi Chiave

• Framework AgentBuild: Una fase di workflow che compila agenti da un contratto redatto dallo scienziato, spostando il ruolo dello scienziato dalla codifica dell'agente alla redazione del contratto.
• Architettura a Due Basi di Conoscenza: Una separazione rigorosa tra la Base di Conoscenza del Produttore (curata dallo scienziato, di sola lettura al momento della costruzione) e la Base di Conoscenza dell'AUD del Consumatore (generata dalla macchina, letta al runtime). Ciò impedisce all'ottimizzatore di far trapelare la proprietà intellettuale dello scienziato nel contesto di runtime dell'agente.
• Valutazione Guidata dalla Rubrica: L'uso di una rubrica multidimensionale, visiva e testuale come test di accettazione tipizzato, sostituendo le funzioni di ricompensa scalari con un gate "pass/fail" basato sulla plausibilità scientifica e l'aderenza al workflow.
• Caso di Studio sulla Raffinazione di Rietveld: L'istanza di questo framework per l'analisi dei dati di diffrazione a raggi X (XRD) utilizzando GSAS-II, dimostrando la costruzione di un agente capace di ispezione visiva e raffinazione.

Risultati: L'Esperimento SNR
Gli autori hanno istanziato AgentBuild per raffinare i dati XRD di un campione di Ossido di Litio, Lantanio e Zirconio (LLZO) attraverso una scala di Rapporto Segnale-Rumore (SNR) (tempi di conteggio da 1 minuto a 4 ore).

• Traiettoria di Costruzione: Partendo da un harness vuoto, la costruzione è progredita attraverso casi di base (PbSO4, fluorapatite) e scansioni LLZO a basso conteggio.
• Milestone: Alla Iterazione 7, l'agente ha superato una suite di quattro casi sotto il criterio rigoroso P-strict, gestendo con successo la scansione da 30 minuti.
• Caso di Frontiera: La costruzione è escalation alla scansione di 4 ore (Iterazione 9). L'agente risultante ha prodotto una raffinazione plausibile (Rwp 5.78%) che corrispondeva visivamente ai dati. Tuttavia, ha fallito il contratto di ambito del workflow rigoroso (specificamente la dimensione T2 riguardante l'uso degli strumenti e l'aderenza al protocollo), rilasciando parametri al di fuori del protocollo vincolato giustificato dalla maggiore qualità dei dati.
• Performance su Casi Holdout: Su casi SNR riservati (es. scansione da 10 minuti), l'agente terminale ha mantenuto forti punteggi di reportistica scientifica e di traiettoria (D4-D6 e T1-T5), anche quando i controlli deterministici sulla fase (D1-D3) sono falliti a causa di problemi di parsing dell'interfaccia piuttosto che di fallimenti nel ragionamento.

Significatività e Rivendicazioni
Il documento sostiene che AgentBuild fornisca un meccanismo per mantenere il giudizio dello scienziato leggibile, redatto e esterno al ciclo di costruzione.

• Garanzia di Non-Sostituzione: La metodologia assicura che l'affermazione scientifica risieda nella rubrica e nel curriculum redatti, non nei pesi del modello. Un modello base può formattare gli artefatti, ma il contratto costituisce l'affermazione scientifica.
• Conformità FAIR: Trattando la costruzione come una fase di workflow con una traccia di provenienza, gli agenti risultanti soddisfano i principi FAIR (Findable, Accessible, Interoperable, Reusable) per il software di ricerca, specificamente la posizione FAIR-CWFR (FAIR per i Workflow Computazionali e la Ricerca).
• Modestia sull'Ambito: Gli autori dichiarano esplicitamente che questo lavoro valuta la raffinazione monofase focalizzata sul SNR. Non pretendono di risolvere la raffinazione multifase, la modellazione di impurità deboli o l'identificazione delle fasi come benchmark generale. Il fallimento della scansione di 4 ore è inquadrato non come un fallimento di adattamento del pattern, ma come un fallimento del contratto di ambito del workflow, esponendo i limiti dell'attuale protocollo piuttosto che la capacità di ragionamento dell'agente.
• Lavoro Futuro: Il documento identifica la necessità di interfacce più nitide tra la narrazione scientifica non deterministica e la validazione deterministica, e suggerisce espansioni future che includano scenari multifase e classi di materiali più ampie.

In sintesi, il documento sostiene che gli agenti scientifici debbano essere visti come derivati compilati di un contratto duraturo, dove il processo di costruzione è un'ottimizzazione iterativa, guidata dalla valutazione, dell'assemblaggio dell'agente, non un ri-addestramento dell'esperienza dello scienziato.