Technische Samenvatting: Kunnen Agenten een Reactie Prijsbepalen? Evaluatie van LLM's op Chemische Kostenredenering

Probleemstelling

Hoewel Large Language Models (LLM's) een toenemend vermogen hebben aangetoond als tool-gebruikende agenten in algemene domeinen (bijvoorbeeld software-engineering, webnavigatie), blijft de rigoureuze evaluatie van hun prestaties in wetenschappelijk toolgebruik beperkt. Bestaande benchmarks vertrouwen vaak op samengestelde demonstraties, expertbeoordeling of "LLM-as-judge"-scoring in plaats van exacte, rechter-vrije grondwaarheid.

Specifiek in de chemie kunnen agenten syntheseplannen maken en domeintools aanroepen, maar ontbreekt het hen aan een gecontroleerde testomgeving voor schatting van chemische inkoopprijzen. Dit is een praktische industriële taak die vereist dat een agent:

1. Ambigue chemische namen koppelt aan unieke moleculaire structuren.
2. Gefragmenteerde leveranciersoffertes ophaalt uit een prijsdatabase.
3. Geldige aankoopverpakkingen selecteert onder zuiverheids- en kwantiteitsbeperkingen.
4. Hoeveelheden normaliseert (het omzetten van equivalenten, mol%, en volumes naar massa).
5. Exacte rekenkundige bewerkingen uitvoert om kosten te aggregeren op basis van een reactiebeschrijving.

Huidige evaluaties falen in het isoleren van specifieke faalmodi (bijvoorbeeld grondingsfouten versus rekenfouten) of het bieden van deterministische, reproduceerbare labels voor deze meerstapsworkflows.

Methodologie: De CHEMCOST Benchmark

Om deze kloof te dichten, introduceren de auteurs CHEMCOST, een benchmark ontworpen voor de deterministische evaluatie van LLM-agenten op schatting van chemische inkoopprijzen.

Datasetconstructie

• Schaal: De benchmark bestaat uit 1.427 evalueerbare reacties afkomstig uit vijf bronnen: de Open Reaction Database, handboeken met naamreacties, Organic Syntheses, retrosyntheseroutecollecties (PaRoutes, ChemPU) en handgemaakte voorbeelden.
• Grondwaarheid: Labels worden deterministisch berekend vanuit een bevroren momentopname van 230.775 verpakkingsniveau-leveranciersoffertes die 2.261 chemicaliën bestrijken.
• Inkoopregels: De grondwaarheid gaat uit van een vaste 1 mmol beperkende-reagens-schaal. De kosten worden berekend door:
  • Het beperkende reagens te identificeren.
  • De vereiste massa voor elke niet-oplosmiddelcomponent te berekenen ($m_i = e_i \times MW_i \times 10^{-3}$ g).
  • De kleinste geldige verpakking te selecteren (zuiverheid $\ge$ 95%) die de vereiste massa dekt. Als een enkele verpakking niet volstaat, wordt het minimumaantal van de grootste verpakkingen aangekocht.
  • De totale aankoopprijs te normaliseren op de grammen verkregen product (rekening houdend met de opbrengst).
• Ruisinjectie: Om robuustheid te testen, verstoort een vierlaags ruispijplijn de invoer terwijl de grondwaarheid behouden blijft:
  1. Chemische Naamruis: Aliasvorming, afkortingen (bijvoorbeeld TEA) en isomeer-ambiguïteit.
  2. Hoeveelheidsruis: Omzetten tussen mol%, equivalenten, volumes en vage termen (bijvoorbeeld "overmaat").
  3. Ontbrekende Informatie: Weglaten van velden zoals moleculaire gewichten, opbrengsten of rollen.
  4. Formaatruis: Simulatie van OCR-artefacten, natuurlijke taalproza en Unicode-degradatie.

Evaluatieprotocol

• Agentopstelling: Agenten opereren als ReAct (Redeneren + Handelen) lussen met een maximumbudget van 40 stappen. Ze zijn uitgerust met vier deterministische tools: chemische naamresolutie, leveranciersofferte-oproep, berekening van moleculair gewicht en rekenkunde.
• Metingen: De primaire metriek is Cost Tolerance Accuracy (CTA@k), gedefinieerd als het fractie van voorspellingen binnen $k\%$ relatieve fout van de grondwaarheid. Aanvullende metrieken omvatten componentprecisie/recall, tool-efficiëntie en onthoudingspercentages.
• Geëvalueerde Modellen: Een diverse set van frontier-, open-weight- en chemie-gespecialiseerde modellen (bijvoorbeeld GPT-5, Qwen3.5-Plus, DeepSeek V4 Pro, ChemDFM, LlaSMol).

Belangrijkste Resultaten

1. Tooltoegang is Noodzakelijk maar Niet Voldoende

• Prestatieplafond: Zelfs de sterkste agenten (Qwen3.5-Plus) bereiken slechts 50,6% nauwkeurigheid binnen 25% relatieve fout (CTA@25) op schone invoer. De prestaties dalen aanzienlijk onder strengere metrieken (CTA@10) en ruis.
• Specialisatiekloof: Chemie-gespecialiseerde modellen (bijvoorbeeld ChemDFM, ChemLLM) tonen hoge componentherkenning (precisie/recall) maar bijna nul kostennauwkeurigheid. Dit geeft aan dat domeinkennis alleen niet vertaalt naar effectief agentisch redeneren of kwantitatieve aggregatie.
• Toolafhankelijkheid: Zero-shot en Chain-of-Thought (CoT)-benaderingen zonder tools presteren slecht (CTA@25 < 8%), wat bevestigt dat parametrische kennis ontoereikend is voor het ophalen van specifieke, actuele leveranciersprijzen en het uitvoeren van exacte verpakkingsselectie.

2. Faalmodi en Robuustheid

• Formaatruis is Kritiek: Formaatverstoringen (bijvoorbeeld OCR-fouten, ongestructureerde tekst) zijn de sterkste trigger voor agentonthechting, wat de onthoudingspercentages met ongeveer 26 procentpunten verhoogt bij frontier-modellen. Dit verstoort het initiële parsingsstadium, waardoor de workflow niet kan beginnen.
• Toolgebruikspatronen:
  • Noodzaak: Er is een sterke correlatie ($r=0,98$) tussen toolengagement en succes; modellen die geen tools aanroepen, falen.
  • Inefficiëntie: Het louter aanroepen van tools is niet genoeg. Gefaalde trajecten omvatten vaak niet-convergente ophaling (herhaaldelijk vragen zonder een geldige verpakking te selecteren) of vroegtijdige beëindiging. Gefaalde gevallen gebruiken vaak meer tooloproepen dan succesvolle.
• Herkenning versus Berekening: Agenten kunnen chemische componenten vaak correct identificeren (hoge precisie) maar falen in het assembleren ervan tot een correcte inkoopstatus (lage CTA). De kloof tussen herkenning en berekening wordt aanzienlijk breder onder ruis.

3. Structurele Moeilijkheid

• Route- diepte: Het aantal synthestappen is de dominante factor in moeilijkheid. De nauwkeurigheid daalt van ongeveer 42% voor eenstapsreacties naar ongeveer 11-13% voor meerstapsroutes (3-5 stappen).
• Aantal Componenten: Binnen eenstapsreacties heeft het aantal componenten een modelafhankelijk effect; sommige modellen gaan beter om met meercomponentenrecepten, mogelijk vanwege rijkere context voor ophaling.

Betekenis en Beweringen

De paper beweert dat CHEMCOST de eerste rigoureuze, rechter-vrije benchmark biedt voor het evalueren van wetenschappelijk toolgebruik in een realistische industriële workflow. De betekenis hiervan ligt in:

1. Voorbijgaan aan "Black Box"-evaluatie: Door de taak op te splitsen in gronding, ophaling, verpakkingsselectie en aggregatie, maakt de benchmark diagnose op stapsniveau mogelijk van waar agenten falen (bijvoorbeeld breekbaar parsen versus ineffectieve integratie van bewijs).
2. Benadrukken van de "Gronding"-kloof: De resultaten tonen aan dat LLM's, hoewel ze verbeteren in algemene toolcoördinatie, worstelen met de specifieke beperkingen van wetenschappelijke domeinen: het oplossen van ambigue entiteiten, het naleven van strikte inkoopregels en het handhaven van kwantitatieve statusvolging onder ruis.
3. Definiëren van het Pad Voorwaarts: De auteurs betogen dat vooruitgang in wetenschappelijke agenten niet alleen betere modellen vereist, maar ook betrouwbare gronding, ophalingsbewuste statusvolging en gekalibreerde onthoudingsmechanismen. De huidige stand van de techniek suggereert dat tooltoegang een voorwaarde is, maar dat de integratie van opgehaald bewijs in een coherent kwantitatief besluit een aanzienlijke uitdaging blijft.

De auteurs concluderen dat hoewel agenten kosten kunnen benaderen, betrouwbare, exacte inkoopredenering onder realistische omstandigheden een open probleem blijft, wat verder onderzoek vereist naar gestructureerd toolgebruik en robuustheid tegen invoerveranderingen.