Fantastic Scientific Agents and How to Build Them: AgentBuild for Rietveld Refinement

Technische Samenvatting: AgentBuild voor Rietveld-verfijning

Probleemstelling
De overgang van wetenschappelijke workflows van deterministische uitvoerbare bestanden naar Large Language Model (LLM) agents introduceert een kritieke uitdaging: huidige ontwikkelingspraktijken (fine-tuning, reinforcement learning en prompt engineering) verhullen het oordeel van de wetenschapper. Fine-tuning legt expertise vast in niet-differentieerbare gewichten die verdwijnen bij het wisselen van model; reinforcement learning vereist scalaire beloningen die er niet in slagen om multi-criteria visuele oordelen te vangen; en 'prompt-and-go'-benaderingen missen een acceptatiegrens. Bijgevolg ontbreeft het wetenschappers aan een leesbaar artefact dat definieert wat een competente analyse is, en de "competentie" van een agent is geen duurzaam bezit, maar een tijdelijke eigenschap van een specifieke model-checkpoint.

Methodologie: AgentBuild
Het artikel stelt AgentBuild voor, een primitief voor de workflow-fase dat de constructie van een agent beschouwt als een compilatieproces gedreven door een door een wetenschapper opgestelde contract, in plaats van een trainingsproces. De methodologie scheidt de intellectuele eigendom van de wetenschapper van het runtime-gedrag van de agent via drie kerncomponenten:

1. Het door de wetenschapper opgestelde contract: De domeinexpert auteur van drie afzonderlijke artefacten die dienen als de "oorsprong" van de competentie van de agent:

   • Versiebeheerde Rubriek: Een specificatie van kwalitatieve en visuele criteria (bijv. fase-identificatie, fit-indices, rapportstructuur) met strikte drempelwaarden voor succes.
   • Moeilijkheidsgraad-gegradeerd Curriculum: Een set paren bestaande uit representatieve wetenschappelijke monsters en referentierapporten, gerangschikt van makkelijk naar moeilijk.
   • Gecureerde Externe Kennisbank: Een read-only corpus van domeinprocedures (bijv. GSAS-II tutorials) die de build informeert maar nooit de agent zelf wordt.

2. De Build Loop: AgentBuild werkt als een meta-optimalisatie-loop:

   • Inputs: Het contract (rubriek, curriculum, kennisbank), een base model handle, een MCP (Model Context Protocol) tool-inventaris en een edit-boundary.
   • Judge (Beoordelaar): Een op een rubriek gebaseerde LLM-beoordelaar scoort de Agent-Under-Development (AUD) tegen de curriculum-gevallen. Het evalueert zowel de kwaliteit van de output als de traject-naleving van de rubriek.
   • Meta-Optimizer: Een LLM die de assemblage van de AUD (systeemprompts, tool-bedrading, helper-code) muteert binnen een verklaarde edit boundary. Cruciaal is dat de optimizer de onderliggende wetenschappelijke engine, de rubriek of het curriculum niet kan wijzigen.
   • Acceptatietest: De loop gebruikt een P-strict criterium: elk actief curriculum-geval moet in één enkele iteratie aan elke dimensie-drempelwaarde van de rubriek voldoen om door te gaan.
   • Outputs: Een versiebeheerde, A2A (Agent-to-Agent) verpakte agent en een herkomstspoor (PROV) dat elke diff, score en model handle documenteert.

3. Duurzame Interface: Het systeem zorgt ervoor dat de interface van de agent standhoudt over generaties van modellen heen. Als het basismodel verandert, wordt AgentBuild opnieuw uitgevoerd tegen hetzelfde contract om de agent te "re-tunen" in plaats van deze vanaf nul te "rebuilden". Het contract van de wetenschapper blijft het duurzame bezit; de agent is een derivaat.

Belangrijkste Bijdragen

• AgentBuild Framework: Een workflow-fase die agents compileert vanuit een door een wetenschapper opgesteld contract, waardoor de rol van de wetenschapper verschuift van agent-coderen naar contract-auteur.
• Two-Knowledge-Base Architectuur: Een strikte scheiding tussen de Producer Knowledge Base (door wetenschappers gecureerd, read-only tijdens de build) en de Consumer AUD Knowledge Base (door machine gegenereerd, gelezen tijdens runtime). Dit voorkomt dat de optimizer de intellectuele eigendom van de wetenschapper in de runtime-context van de agent lekt.
• Rubriek-gestuurde Evaluatie: Het gebruik van een multidimensionale, visuele en tekstuele rubriek als een getypeerde acceptatietest, wat scalaire beloningsfuncties vervangt door een "pass/fail" poort gebaseerd op wetenschappelijke plausibiliteit en workflow-naleving.
• Rietveld-verfijning Casestudy: De instantiatie van dit framework voor röntgendiffractie (XRD) data-analyse met behulp van GSAS-II, wat de constructie demonstreert van een agent die in staat is tot visuele inspectie en verfijning.

Resultaten: Het SNR-experiment
De auteurs hebben AgentBuild geïnstantieerd om XRD-data van een Lithium Lanthaan Zirkoniaat (LLZO) monster te verfijnen over een Signal-to-Noise Ratio (SNR) ladder (tel-tijden variërend van 1 minuut tot 4 uur).

• Constructie-traject: Startend vanaf een leeg harnas, vorderde de build door baseline-gevallen (PbSO4, fluorapatiet) en lage-tel LLZO-scans.
• Mijlpaal: Bij Iteratie 7 slaagde de agent voor een suite van vier gevallen onder het strikte P-strict criterium, waarbij de 30-minuten scan succesvol werd afgehandeld.
• Frontier Case: De build escaleerde naar de 4-uur scan (Iteratie 9). De resulterende agent produceerde een plausibele verfijning (Rwp 5.78%) die visueel overeenkwam met de data. Echter, het faalde op de strikte workflow-scope contract (specifiek de T2-dimensie betreffende toolgebruik en protocol-naleving), waarbij parameters werden vrijgegeven buiten het beperkte protocol dat door de hogere datakwaliteit gerechtvaardigd was.
• Holdout Prestaties: Op gereserveerde SNR-gevallen (bijv. 10-minuten scan) behield de terminale agent sterke wetenschappelijke rapportage en traject-scores (D4-D6 en T1-T5), zelfs wanneer deterministische controles op fase-identificatie (D1-D3) faalden door problemen met interface-parsing in plaats van redeneerfouten.

Betekenis en Claims
Het artikel claimt dat AgentBuild een mechanisme biedt om het oordeel van de wetenschapper leesbaar, geautoriseerd en buiten de build-loop te houden.

• Niet-vervangende Waarborg: De methodologie zorgt ervoor dat de wetenschappelijke claim berust in de geautoriseerde rubriek en het curriculum, en niet in de modelgewichten. Een basismodel kan artefacten formatteren, maar het contract vormt de wetenschappelijke claim.
• FAIR-Compliance: Door constructie te behanden als een workflow-fase met een herkomstspoor, voldoen de resulterende agents aan de FAIR-principes voor wetenschappelijke software, specificaal de FAIR-CWFR (FAIR voor computationele workflows en onderzoek) positie.
• Bescheidenheid over de Scope: De auteurs verklaren expliciet dat dit werk zich richt op single-phase, SNR-georiënteerde verfijning. Er wordt niet beweerd dat multiphase verfijning, zwakke onzuiverheid-modellering of fase-identificatie als een algemene benchmark wordt opgelost. De fout bij de 4-uur scan wordt geframed als een workflow-scope contractfout, en niet als een patroon-fitting fout, wat de grenzen van het huidige protocol blootlegt in plaats van de redeneerkracht van de agent.
• Toekomstig Werk: Het artikel identificeert de noodzaak voor scherpere interfaces tussen niet-deterministische wetenschappelijke narratie en deterministische validatie, en suggereert toekomstige uitbreidingen naar multiphase scenario's en bredere materiaalklassen.

Samenvattend betogen de auteurs dat wetenschappelijke agents moeten worden beschouwd als gecompileerde derivaten van een duurzaam contract, waarbij het build-proces een iteratieve, evaluatie-gestuurde optimalisatie is van de assemblage van de agent, en niet een hertraining van de expertise van de wetenschapper.