Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
Dit artikel presenteert een mens-gealigneerd LLM-as-a-Judge evaluatiekader voor het ChatInvent agentische drug discovery systeem, dat specifieke kwaliteitsdimensies definieert, een judge-model valideert en optimaliseert via expertannotatie om een hoge alignment te bereiken, en onthult dat informele formuleringen de prestaties niet hinderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestoken wereld van de medicijnontwikkeling besteden wetenschappers jaren aan het ontwerpen van moleculen, het bouwen ervan in het laboratorium en het testen of ze een ziekte kunnen genezen. Dit proces is traag, duur en vol complexe beslissingen. Onlangs is er een nieuw soort kunstmatige intelligentie op het toneel verschenen: systemen die niet alleen vragen beantwoorden, maar ook actie ondernemen. Dit zijn agentische systemen. In tegenstelling tot een standaard chatbot die simpelweg tekst genereert, kan een agent een meerstaps-experiment plannen, speciale software aanroepen om chemische eigenschappen te berekenen en gegevens ophalen uit enorme wetenschappelijke databases. Het fungeert meer als een digitale onderzoeksassistent die daadwerkelijk het werk kan verrichten, in plaats van er alleen over te praten. Echter, naarmate deze digitale assistenten bekwaamder worden, ontstaat er een cruciaal probleem: hoe weten we of ze hun werk goed doen? Traditionele manieren om computerantwoorden te beoordelen, die vaak vertrouwen op het matchen van woorden met een correct antwoord, schieten tekort wanneer de taak open en creatief is. Bovendien is het vragen aan menselijke experts om elke enkele output te beoordelen te traag om het tempo van deze nieuwe machines bij te houden. De wetenschappelijke gemeenschap had een manier nodig om deze agenten te evalueren die zowel snel als betrouwbaar was.
Een team van onderzoekers van AstraZeneca en de Universiteit van Göteborg pakte deze uitdaging aan door een systeem te bouwen waarbij één kunstmatige intelligentie optreedt als rechter voor een andere. Ze richtten zich op een specifieke tool genaamd ChatInvent, een agentische assistent die wetenschappers helpt bij het navigeren door de fasen van de medicijnontwikkeling. De onderzoekers wisten dat het simpelweg laten beoordelen van zichzelf door een AI riskant was, aangezien deze modellen bevooroordeeld of inconsistent kunnen zijn. Om dit op te lossen, ontwierpen ze een rigoureus testkader om te garanderen dat de "rechter"-AI overeenstemming vertoonde met menselijke experts. Ze definieerden vier specifieke kwaliteiten die een goed antwoord zou moeten hebben: of de reactie volledig was, of de informatie relevant was voor de vraag, hoe duidelijk en goed georganiseerd de tekst was, en of de agent binnen zijn toegewezen rol bleef zonder dingen te doen die hij niet hoorde te doen. Ze voegden ook een strikte controle toe om te zien of de agent de juiste computertools gebruikte om de taak te voltooien.
Om de beste rechter te vinden, testte het team vier verschillende krachtige AI-modellen, inclus van opties van grote technologiebedrijven en open-source projecten. Ze vroegen vijf menselijke experts in chemie en kunstmatige intelligentie om een set van 35 vragen en antwoorden te beoordelen. Deze experts kregen dezelfde instructies en informatie als de AI-rechters. De onderzoekers vergeleken vervolgens de scores gegeven door de mensen met de scores gegeven door elk AI-model. Ze ontdekten dat hoewel de menselijke experts het niet altijd perfect met elkaar eens waren, de AI-modellen verrassend consistent waren. Eén model in het bijzonder stemde zeer nauw overeen met de meerderheidsmening van de mensen. De onderzoekers gebruikten vervolgens een kleine set voorbeelden, geannoteerd door de menselijke experts, om deze best presterende AI-rechter te verfijnen. Dit proces, bekend als optimalisatie, verbeterde het vermogen van de rechter om menselijk denken te evenaren, waardoor de overeenstemmingsscore steeg van 80% naar 86%.
Met een betrouwbare rechter in plaats, evalueerde het team 70 nieuwe vragen die het ChatInvent-systeem nog nooit eerder had gezien. De resultaten onthulden zowel de sterktes als de zwaktes in de prestaties van de agent. Het systeem was uitstekend in het on-topic blijven, het organiseren van zijn antwoorden en het gebruiken van de juiste tools om informatie te verzamelen. Het worstelde echter met volledigheid. In bijna 40% van de gevallen gaf de agent een gedeeltelijk antwoord, waarbij hij vaak specifieke details vergat, zoals waar een gegenereerd bestand te vinden is of een gevraagde chemische eigenschap. De onderzoekers ontdekten dat dit niet kwam omdat de agent de vraag verkeerd begreep, maar omdat het soms faalde in het uitvoeren van een laatste stap in zijn workflow. Interessant genoeg maakte de manier waarop de vraag gesteld werd een verschil. Het team testte vragen variërend van zeer formeel tot zeer informeel. Ze ontdekten dat overdreven formele formuleringen de agent niet hielpen beter te presteren; sterker nog, iets informelere of neutralere formuleringen leidden soms tot betere resultaten. Dit suggereert dat de agent zou kunnen profiteren van een eigen intern systeem dat een stijve of complexe prompt van een gebruiker herschrijft naar een duidelijkere versie voordat het begint met werken.
De studie concludeert dat hoewel deze agentische systemen grote beloften inhouden voor het versnellen van de medicijnontwikkeling, ze nog niet perfect zijn. De onderzoekers hebben aangetoond dat het mogelijk is om een robuust, geautomatiseerd evaluatiesysteem te bouwen dat het menselijk oordeel weerspiegelt, mits de rechter zorgvuldig is afgestemd op de meningen van experts. Deze aanpak stelt ontwikkelaars in staat om snel te identificeren waar hun agenten falen — zoals het missen van bestandspaden of incomplete gegevens — zonder dat zij een team van menselijke beoordelaars voor elke test hoeven in te huren. Het werk dient als een blauwdruk voor de toekomst, en laat zien dat om kunstmatige intelligentie werkelijk nuttig te laten zijn in de wetenschap, we haar eerst moeten leren hoe ze haar eigen werk kan beoordelen met dezelfde zorg en precisie als een menselijke expert dat zou doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.