Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
Dieses Paper präsentiert ein auf menschliche Präferenzen ausgerichtetes LLM-as-a-Judge-Evaluationsframework für das agentische Wirkstoffentdeckungssystem ChatInvent, welches spezifische Qualitätsdimensionen definiert, ein Richtermodell durch Expertenannotation validiert und optimiert, um eine hohe Übereinstimmung zu erreichen, und aufzeigt, dass informelle Formulierungen die Leistung nicht beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt der Arzneimittelentwicklung verbringen Wissenschaftler Jahre damit, Moleküle zu entwerssen, sie im Labor aufzubauen und sie zu testen, um zu sehen, ob sie Krankheiten heilen können. Dieser Prozess ist langsam, teuer und voller komplexer Entscheidungen. Vor kurzem ist eine neue Art von künstlicher Intelligenz auf den Plan getreten: Systeme, die nicht nur Fragen beantworten, sondern auch handeln. Dies sind agentische Systeme. Im Gegensatz zu einem Standard-Chatbot, der lediglich Text generiert, kann ein Agent ein mehrstufiges Experiment planen, spezialisierte Software aufrufen, um chemische Eigenschaften zu berechnen, und Daten aus riesigen wissenschaftlichen Datenbanken abrufen. Er fungiert eher wie ein digitaler Forschungsassistent, der die Arbeit tatsächlich erledigen kann, anstatt nur darüber zu sprechen. Doch während diese digitalen Assistenten immer leistungsfähiger werden, entsteht ein kritisches Problem: Woher wissen wir, ob sie gute Arbeit leisten? Traditionelle Methoden zur Bewertung von Computerantworten, die oft darauf basieren, Wörter mit einer korrekten Antwort abzugleichen, versagen, wenn die Aufgabe offen gestaltet und kreativ ist. Zudem ist es zu langsam, menschliche Experten zu bitten, jede einzelne Ausgabe zu bewerten, um mit der Geschwindigkeit dieser neuen Maschinen Schritt zu halten. Die wissenschaftliche Gemeinschaft benötigte eine Möglichkeit, diese Agenten zu evaluieren, die sowohl schnell als auch vertrauenswürdig war.
Ein Team von Forschern von AstraZeneca und der Universität Göteborg nahm sich dieser Herausforderung an, indem sie ein System entwickelten, bei dem eine künstliche Intelligenz als Richter für eine andere fungiert. Sie konzentrierten sich auf ein spezielles Werkzeug namens ChatInvent, einen agentischen Assistenten, der Wissenschaftlern helfen soll, die Phasen der Arzneimittelentwicklung zu durchlaufen. Die Forscher wussten, dass es riskant ist, eine KI einfach sich selbst bewerten zu lassen, da diese Modelle voreingenommen oder inkonsistent sein können. Um dies zu lösen, entwarfen sie ein strenges Test-Framework, um sicherzustellen, dass die „Richter“-KI mit menschlichen Experten übereinstimmte. Sie definierten vier spezifische Qualitäten, die eine gute Antwort haben sollte: ob die Antwort vollständig war, ob die Informationen relevant für die Frage waren, wie klar und gut strukturiert der Text war und ob der Agent in seiner zugewiesenen Rolle blieb, ohne Dinge zu tun, die er nicht tun sollte. Sie fügten auch eine strenge Prüfung hinzu, um festzustellen, ob der Agent die korrekten Computerwerkzeuge verwendete, um die Aufgabe zu erfüllen.
Um den besten Richter zu finden, testete das Team vier verschiedene leistungsstarke KI-Modelle, einschließlich Optionen von großen Technologieunternehmen und Open-Source-Projekten. Sie baten fünf menschliche Experten aus den Bereichen Chemie und künstliche Intelligenz, eine Reihe von 35 Fragen und Antworten zu bewerten. Diesen Experten wurden dieselben Anweisungen und Informationen gegeben wie den KI-Richtern. Die Forscher verglichen dann die von den Menschen vergebenen Punktzahlen mit den Punktzahlen der jeweiligen KI-Modelle. Sie fanden heraus, dass die menschlichen Experten zwar nicht immer perfekt übereinstimmten, die KI-Modelle jedoch überraschend konsistent waren. Ein Modell insbesondere stimmte sehr eng mit der Mehrheitsmeinung der Menschen überein. Die Forscher nutzten dann einen kleinen Satz von Beispielen, die von den menschlichen Experten annotiert worden waren, um diesen am besten abschneidenden KI-Richter feinabzustimmen. Dieser Prozess, bekannt als Optimierung, verbesserte die Fähigkeit des Richters, dem menschlichen Denken zu entsprechen, und steigerte seinen Übereinstimmungswert von 80 % auf 86 %.
Mit einem zuverlässigen Richter im Rücken evaluierte das Team 70 neue Fragen, die das ChatInvent-System zuvor noch nie gesehen hatte. Die Ergebnisse zeigten sowohl die Stärken als auch die Schwächen in der Leistung des Agenten auf. Das System war exzellent darin, beim Thema zu bleiben, seine Antworten klar zu strukturieren und die richtigen Werkzeuge zu verwenden, um Informationen zu sammeln. Es hatte jedoch Schwierigkeiten mit der Vollständigkeit. In fast 40 % der Fälle lieferte der Agent eine unvollständige Antwort, wobei er oft spezifische Details wie den Fundort einer generierten Datei oder eine angeforderte chemische Eigenschaft vergaß. Die Forscher entdeckten, dass dies nicht daran lag, dass der Agent die Frage missverstand, sondern dass er manchmal einen letzten Schritt in seinem Workflow nicht ausführte. Interessanterweise machte die Art und Weise, wie die Frage gestellt wurde, einen Unterschied. Das Team testete Fragen, die von sehr formell bis sehr informell reichten. Sie fanden heraus, dass eine übermäßig formelle Formulierung dem Agenten nicht half; tatsächlich führten etwas informellere oder neutralere Formulierungen manchmal zu besseren Ergebnissen. Dies deutet darauf hin, dass der Agent davon profitieren könnte, ein eigenes internes System zu haben, das einen steifen oder komplexen Prompt eines Nutzers in eine klarere Version umschreibt, bevor er mit der Arbeit beginnt.
Die Studie kommt zu dem Schluss, dass diese agentischen Systeme zwar großes Potenzial für die Beschleunigung der Arzneimittelentdeckung bergen, aber noch nicht perfekt sind. Die Forscher zeigten, dass es möglich ist, ein robustes, automatisiertes Evaluierungssystem aufzubauen, das das menschliche Urteilsvermögen widerspiegelt, vorausgesetzt, der Richter ist sorgfältig auf Expertenmeinungen abgestimmt. Dieser Ansatz ermöglicht es Entwicklern, schnell zu identifizieren, wo ihre Agenten scheitern – etwa bei fehlenden Dateipfaden oder unvollständigen Daten – ohne dafür ein Team von menschlichen Bewertern für jeden Test anstellen zu müssen. Die Arbeit dient als Blaupause für die Zukunft und zeigt, dass für künstliche Intelligenz, um in der Wissenschaft wirklich nützlich zu sein, wir ihr zuerst beibringen müssen, ihre eigene Arbeit mit derselben Sorgfalt und Präzision zu bewerten, die ein menschlicher Experte anwenden würde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.