🤖 AI

Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning

Dieser Beitrag stellt ChemCost vor, einen rigorosen Benchmark zur Bewertung der Fähigkeit von Large Language Models, Kosten chemischer Reaktionen zu schätzen, indem Identitäten verankert, Lieferantenangebote abgerufen und arithmetische Operationen durchgeführt werden, wobei sich zeigt, dass selbst fortschrittliche Agenten aufgrund von zerbrechlichem Parsen, ineffektiver Evidenzintegration und schwacher Rauschrobustheit mit dieser Aufgabe Schwierigkeiten haben.

Ursprüngliche Autoren: Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der herausfinden muss, wie viel es genau kostet, ein bestimmtes Gericht für eine Dinnerparty zuzubereiten. Sie haben das Rezept (die chemische Reaktion), aber Sie kennen die Preise der Zutaten nicht und wissen nicht genau, welche Marke oder welche Packungsgröße Sie kaufen müssen, um die richtige Menge zu erhalten.

Dieser Artikel stellt einen neuen „Test" namens CHEMCOST vor, um zu prüfen, ob fortschrittliche KI-Computer (Large Language Models oder LLMs) wie ein intelligenter Einkaufsassistent fungieren können, um dieses Problem zu lösen.

Hier ist eine Aufschlüsselung dessen, was der Artikel unter Verwendung einfacher Analogien herausfand:

1. Die Herausforderung: Es geht nicht nur um „Googeln"

Die Autoren wollten herausfinden, ob KI als wissenschaftlicher Beschaffungsagent fungieren kann. Es geht nicht nur darum, ein Gedicht zu schreiben oder eine Quizfrage zu beantworten. Es ist ein mehrstufiges Mathe- und Einkaufspuzzle:

Das Namensspiel: Das Rezept könnte „TEA" sagen. Ist das Triethylamin (eine Chemikalie) oder Triethanolamin (eine andere Chemikalie)? Die KI muss herausfinden, welches Molekül genau gemeint ist.
Die Einkaufsjagd: Die KI muss Preise aus einer eingefrorenen Datenbank mit über 230.000 Lieferantenangeboten nachschlagen. Sie kann nicht einfach raten; sie muss das spezifische „Paket" finden (z. B. eine 1-g-Flasche versus eine 100-g-Flasche), das zum Rezept passt.
Die Mathematik: Sie muss „1,5 Äquivalente" in Gramm umrechnen, die Kosten für jede einzelne Zutat berechnen und durch die Endmenge des Produkts teilen, um einen Preis pro Gramm zu erhalten.

Die Analogie: Stellen Sie sich vor, die KI ist ein Schüler, der eine Abschlussprüfung schreibt. Der Lehrer gibt ihm ein Rezept, eine gesperrte Bibliothek mit Preisetiketten und einen Taschenrechner. Der Schüler muss die richtigen Zutaten finden, die richtigen Größen kaufen, die Mathematik durchführen und eine einzige Zahl abgeben: die Gesamtkosten.

2. Der Test: CHEMCOST

Die Forscher bauten einen Benchmark mit 1.427 verschiedenen chemischen Rezepten auf.

Der „Lösungsschlüssel": Sie baten keine Menschen, die KI zu benoten. Stattdessen erstellten sie eine „eingefrorene" Datenbank mit echten Preisen und einen strengen Satz von Regeln. Der Computer berechnet die exakt richtige Antwort im Voraus. Das bedeutet, die Benotung ist zu 100 % objektiv – keine menschliche Verzerrung.
Der „Rauschen"-Test: Um zu sehen, ob die KI wirklich intelligent ist oder nur Muster auswendig lernt, verunstalteten sie die Rezepte. Sie änderten die Namen (z. B. „Na2C03" statt „Na2CO3" mit einer Null statt einem „O"), entfernten die Ausbeuteprozentzahlen oder schrieben die Anweisungen in unordentlichem, unstrukturiertem Text.

3. Die Ergebnisse: „Tool-Zugriff" reicht nicht aus

Die Forscher testeten viele verschiedene KI-Modelle, von den größten „Frontier"-Modellen bis hin zu spezialisierten Chemie-Modellen. Hier ist, was passierte:

Die Decke: Selbst die intelligentesten KI-Modelle bekamen nur etwa 50 % der Antworten richtig (innerhalb einer 25 %-Fehlerspanne) bei sauberen, einfachen Eingaben. Sie sind weit von Perfektion entfernt.
Die „Tool"-Falle: Den KI-Modellen wurden „Tools" gegeben (wie eine Suchmaschine für chemische Namen und eine Preisabfrage). Der Artikel ergab, dass das Vorhandensein der Tools notwendig, aber nicht ausreichend ist.
- Analogie: Einem Schüler einen Taschenrechner und einen Bibliotheksausweis zu geben, garantiert nicht, dass er die Matheaufgabe richtig löst. Er muss immer noch wissen, welche Zahlen er in den Taschenrechner eingibt und welches Buch er öffnet.
Das „Brüchige"-Problem: Wenn die Eingabe leicht unordentlich war (wie ein Tippfehler in einem chemischen Namen oder ein seltsames Formatierungsproblem), gaben die KI-Modelle oft komplett auf oder bekamen die Antwort völlig falsch.
- Analogie: Wenn ein menschlicher Koch „Na2C03" (mit einer Null) sieht, könnte er raten, dass es sich um einen Tippfehler für „Na2CO3" handelt. Die KI jedoch geriet oft in Panik, fand den Artikel nicht und hörte auf zu versuchen.

4. Wo scheitern sie?

Der Artikel zerlegte genau, wo die KI stecken bleibt:

Parsing: Sie können den unordentlichen Text nicht lesen, um die Zutaten zu finden.
Evidenz-Integration: Sie finden die Preise, können sie aber nicht korrekt mit den Rezeptmengen kombinieren.
Packungsauswahl: Sie wählen die falsche Flaschengröße aus (kaufen eine 100-g-Flasche, wenn sie nur 1 g benötigen, oder umgekehrt).
Aufgeben: Wenn der Text unordentlich ist, verweigern sie oft die Antwort, anstatt zu versuchen, es herauszufinden.

5. Der „menschliche" Benchmark

Die Forscher ließen auch echte menschliche Chemiker den Test bestehen.

Das Ergebnis: Menschen schlugen die KI (etwa 67 % Genauigkeit bei sauberen Eingaben), machten aber immer noch Fehler. Dies beweist, dass die Aufgabe auch für Experten wirklich schwierig ist.
Die Erkenntnis: Die KI ist nicht nur „dumm"; die Aufgabe selbst ist ein komplexes Jonglieren aus Lesen, Suchen und Berechnen, das sowohl für Menschen als auch für Maschinen schwierig ist.

Zusammenfassung

Der Artikel kommt zu dem Schluss, dass KI, obwohl sie besser im Einsatz von Tools wird, noch nicht zuverlässig genug ist, um ihr die Schätzung chemischer Kosten in der realen Welt anzuvertrauen. Sie hat Schwierigkeiten, wenn die Informationen nicht perfekt formatiert sind, und scheitert oft daran, die Verbindung zwischen dem Finden eines Preises und der Berechnung der endgültigen Summe herzustellen.

Kurz gesagt: Die KI ist wie ein sehr schneller, sehr kenntnisreicher Praktikant, der Zugang zum gesamten Internet und einem Taschenrechner hat, aber immer noch einen Menschen benötigt, der seine Arbeit überprüft, insbesondere wenn die Anweisungen etwas unordentlich geschrieben sind.

Technischer Überblick: Können Agenten eine Reaktion bewerten? Evaluation von LLMs beim chemischen Kostenreasoning

Problemstellung

Während Large Language Models (LLMs) als toolnutzende Agenten in allgemeinen Domänen (z. B. Softwareentwicklung, Webnavigation) zunehmend Fähigkeiten unter Beweis stellen, bleibt die rigorose Evaluation ihrer Leistung beim wissenschaftlichen Tool-Einsatz begrenzt. Bestehende Benchmarks stützen sich häufig auf kuratierte Demonstrationen, Expertenbewertungen oder „LLM-as-judge"-Scoring anstelle von exakten, bewertungsfreien Ground-Truth-Daten.

Insbesondere in der Chemie können Agenten Synthesen planen und domänenspezifische Tools aufrufen, ihnen fehlt jedoch eine kontrollierte Testumgebung für die Schätzung von Beschaffungskosten für Chemikalien. Dies ist eine praktische industrielle Aufgabe, die von einem Agenten erfordert:

Ambige chemische Namen auf eindeutige Molekülstrukturen zu grounden.
Zerstreute Lieferantenangebote aus einer Preisdatenbank abzurufen.
Gültige käufliche Pakete unter Reinheits- und Mengenbeschränkungen auszuwählen.
Mengen zu normalisieren (Umrechnung von Äquivalenten, Mol-% und Volumina in Masse).
Exakte Arithmetik durchzuführen, um Kosten basierend auf einer Reaktionsbeschreibung zu aggregieren.

Aktuelle Evaluationen scheitern daran, spezifische Fehlermodi zu isolieren (z. B. Grounding-Fehler versus Rechenfehler) oder deterministische, reproduzierbare Labels für diese mehrstufigen Workflows bereitzustellen.

Methodik: Der CHEMCOST-Benchmark

Um diese Lücke zu schließen, stellen die Autoren CHEMCOST vor, einen Benchmark für die deterministische Evaluation von LLM-Agenten bei der Schätzung von Beschaffungskosten für Chemikalien.

Datenaufbau

Umfang: Der Benchmark umfasst 1.427 bewertbare Reaktionen, die aus fünf Quellen stammen: der Open Reaction Database, Lehrbüchern für benannte Reaktionen, Organic Syntheses, retrosynthetischen Routensammlungen (PaRoutes, ChemPU) und handgefertigten Beispielen.
Ground Truth: Die Labels werden deterministisch aus einem eingefrorenen Snapshot von 230.775 paketbezogenen Lieferantenangeboten berechnet, die 2.261 Chemikalien abdecken.
Beschaffungsregeln: Die Ground Truth geht von einem festen 1 mmol-limitierenden-Reagenz-Maßstab aus. Die Kosten werden berechnet durch:
- Identifizierung des limitierenden Reagenz.
- Berechnung der erforderlichen Masse für jede nicht-solvent-Komponente ( $m_i = e_i \times MW_i \times 10^{-3}$ g).
- Auswahl des kleinsten gültigen Pakets (Reinheit $\ge$ 95 %), das die erforderliche Masse abdeckt. Wenn kein einzelnes Paket ausreicht, wird die Mindestanzahl der größten Pakete gekauft.
- Normalisierung der gesamten Anschaffungskosten durch die Gramm des erhaltenen Produkts (unter Berücksichtigung der Ausbeute).
Rauscheinbringung: Um die Robustheit zu testen, verzerrt eine vierstufige Rauschpipeline die Eingaben, während die Ground Truth erhalten bleibt:
1. Chemische Namensrauschen: Aliase, Abkürzungen (z. B. TEA) und Isomer-Ambiguität.
2. Mengenrauschen: Umrechnung zwischen Mol-%, Äquivalenten, Volumina und vagen Begriffen (z. B. „Überschuss").
3. Fehlende Informationen: Weglassen von Feldern wie Molekulargewichten, Ausbeuten oder Rollen.
4. Formatrauschen: Simulation von OCR-Artefakten, natürlichsprachigem Prosa und Unicode-Degradation.

Evaluationsprotokoll

Agenten-Setup: Agenten operieren als ReAct-Schleifen (Reasoning + Acting) mit einem maximalen Budget von 40 Schritten. Sie sind mit vier deterministischen Tools ausgestattet: chemische Namensauflösung, Abruf von Lieferantenangeboten, Berechnung von Molekulargewichten und Arithmetik.
Metriken: Die primäre Metrik ist die Cost Tolerance Accuracy (CTA@k), definiert als der Anteil der Vorhersagen innerhalb eines relativen Fehlers von $k\%$ gegenüber der Ground Truth. Zusätzliche Metriken umfassen Komponenten-Präzision/Recall, Tool-Effizienz und Enthaltungsquoten.
Evaluierte Modelle: Eine diverse Auswahl von Frontier-, Open-Weight- und chemiespezialisierten Modellen (z. B. GPT-5, Qwen3.5-Plus, DeepSeek V4 Pro, ChemDFM, LlaSMol).

Hauptergebnisse

1. Tool-Zugriff ist notwendig, aber nicht hinreichend

Leistungsgrenze: Selbst die stärksten Agenten (Qwen3.5-Plus) erreichen bei sauberen Eingaben nur 50,6 % Genauigkeit innerhalb eines relativen Fehlers von 25 % (CTA@25). Die Leistung sinkt unter strengeren Metriken (CTA@10) und bei Rauschen signifikant.
Spezialisierungslücke: Chemiespezialisierte Modelle (z. B. ChemDFM, ChemLLM) zeigen eine hohe Komponenten-Erkennung (Präzision/Recall), aber nahezu null Kosten-Genauigkeit. Dies deutet darauf hin, dass Domänenwissen allein nicht in effektives agentisches Reasoning oder quantitative Aggregation übersetzt wird.
Tool-Abhängigkeit: Zero-Shot- und Chain-of-Thought (CoT)-Ansätze ohne Tools schneiden schlecht ab (CTA@25 < 8 %), was bestätigt, dass parametrisches Wissen nicht ausreicht, um spezifische, aktuelle Lieferantenpreise abzurufen und eine exakte Paketauswahl durchzuführen.

2. Fehlermodi und Robustheit

Formatrauschen ist kritisch: Formatstörungen (z. B. OCR-Fehler, unstrukturierter Text) sind der stärkste Auslöser für Agenten-Enthaltung und erhöhen die Enthaltungsquoten um ca. 26 Prozentpunkte bei Frontier-Modellen. Dies unterbricht die initiale Parsing-Phase und verhindert den Start des Workflows.
Tool-Nutzungsmuster:
- Notwendigkeit: Es besteht eine starke Korrelation ( $r=0,98$ ) zwischen Tool-Einsatz und Erfolg; Modelle, die keine Tools aufrufen, scheitern.
- Ineffizienz: Das bloße Aufrufen von Tools reicht nicht aus. Gescheiterte Trajektorien beinhalten oft nicht-konvergente Abrufe (wiederholte Abfragen ohne Auswahl eines gültigen Pakets) oder vorzeitige Terminierung. Gescheiterte Fälle nutzen oft mehr Tool-Aufrufe als erfolgreiche.
Erkennung versus Berechnung: Agenten können chemische Komponenten oft korrekt identifizieren (hohe Präzision), scheitern jedoch daran, sie in einen korrekten Beschaffungszustand zu überführen (niedrige CTA). Die Lücke zwischen Erkennung und Berechnung vergrößert sich unter Rauschen signifikant.

3. Strukturelle Schwierigkeit

Routentiefe: Die Anzahl der Syntheseschritte ist der dominierende Faktor für die Schwierigkeit. Die Genauigkeit sinkt von ca. 42 % bei einstufigen Reaktionen auf ca. 11–13 % bei mehrstufigen Routen (3–5 Schritte).
Anzahl der Komponenten: Innerhalb einstufiger Reaktionen hat die Anzahl der Komponenten einen modellabhängigen Effekt; einige Modelle kommen mit mehrkomponentigen Rezepten besser zurecht, möglicherweise aufgrund eines reichhaltigeren Kontexts für den Abruf.

Bedeutung und Behauptungen

Die Autoren behaupten, dass CHEMCOST den ersten rigorosen, bewertungsfreien Benchmark für die Evaluation des wissenschaftlichen Tool-Einsatzes in einem realistischen industriellen Workflow bietet. Seine Bedeutung liegt in:

Überwindung der „Black-Box"-Evaluation: Durch die Zerlegung der Aufgabe in Grounding, Abruf, Paketauswahl und Aggregation ermöglicht der Benchmark eine Diagnose auf Stufebene, wo Agenten scheitern (z. B. brüchiges Parsing versus ineffektive Evidenzintegration).
Hervorhebung der „Grounding"-Lücke: Die Ergebnisse zeigen, dass LLMs zwar bei der allgemeinen Tool-Orchestrierung Fortschritte machen, aber mit den spezifischen Einschränkungen wissenschaftlicher Domänen kämpfen: Auflösung ambiger Entitäten, Einhaltung strenger Beschaffungsregeln und Aufrechterhaltung eines quantitativen State-Trackings unter verrauschten Eingaben.
Definition des weiteren Weges: Die Autoren argumentieren, dass Fortschritte bei wissenschaftlichen Agenten nicht nur bessere Modelle erfordern, sondern zuverlässiges Grounding, abrufbewusstes State-Tracking und kalibrierte Enthaltungsmechanismen. Der aktuelle Stand der Technik deutet darauf hin, dass Tool-Zugriff eine Voraussetzung ist, die Integration abgerufener Evidenz in eine kohärente quantitative Entscheidung jedoch eine erhebliche Herausforderung bleibt.

Die Autoren schließen, dass Agenten zwar Kosten approximieren können, zuverlässiges, exaktes Beschaffungsreasoning unter realistischen Bedingungen jedoch ein offenes Problem bleibt, das weitere Forschung zu strukturiertem Tool-Einsatz und Robustheit gegenüber Eingabevariationen erfordert.