DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

Technische Samenvatting: DrugAgent

Probleemstelling
De beoordeling van drug-target interacties (DTI) is een cruciale taak in de vroege stadia van medicijnontwikkeling die het synthetiseren van heterogene databronnen vereist: kwantitatieve voorspellingen van machine learning (ML)-modellen, gecureerde relaties uit kennisgrafen (KG's) en experimentele bevindingen uit wetenschappelijke literatuur. Deze bronnen zijn vaak complementair maar imperfect. ML-modellen kunnen een gebrekkige kalibratie vertonen buiten hun trainingsdistributie; KG's kunnen connectiviteit impliceren zonder directe binding; en literatuur bewijs is ongelijk verdeeld en kan tegenstrijdige of assay-specifieke bevindingen bevatten. Huidige benaderingen vertrouwen doorgaans op enkelvoudige modaliteiten (bijv. numerieke ML-voorspellingen) of missen mechanismen om overeenstemming, conflict en onzekerheid over deze diverse herkomstbronnen expliciet te verzoenen. Er is behoefte aan een systeem dat deze bronnen kan integreren in een interpreteerbare, op bewijs gebaseerde beoordeling, in plaats van enkel te functioneren als een op zichzelf staande voorspeller.

Methodologie
De auteurs introduceren DrugAgent, een op Large Language Models (LLM) gebaseerd multi-agent systeem ontworpen voor het integreren van heterogene biomedische bewijslast voor DTI-beoordeling. Het systeem maakt gebruik van een gestructureerde, modulaire pijplijn bestaande uit vier kerncomponenten:

1. Coordinator Agent: Orquestreert de workflow, roept gespecialiseerde agents aan en handhaaft een gedeeld JSON-schema voor hun outputs om consistente downstream-verwerking te garanderen.
2. Specialized Evidence Agents:
   • ML Agent: Maakt gebruik van een voorgetraind DeepPurpose-model (message passing neural networks voor drugs, CNN's voor eiwitten) getraind op BindingDB om kwantitatieve affiniteitsvoorspellingen (bijv. pKd) te genereren, die worden gediscretiseerd in activiteitslabels (Sterk, Matig, Zwak).
   • KG Agent: Bouwt een heterogene kennisgraaf die DrugBank, CTD en BindingDB integreert. Het voert een multi-hop breadth-first search uit (maximaal 5 stappen) om mechanistische paden te vinden. Paden worden gescoord op basis van lengte en een straf voor het passeren door "hub"-nodes met een hoge graad om niet-specifieke connectiviteit te verminderen. De agent genereert gestructureerd bewijs inclusief padbeschrijvingen en betrouwbaarheidsscores.
   • RAG Agent (Retrieval-Augmented Generation): Haalt volledige artikelen op uit PubMed Central (Open Access) via een multi-channel strategie: queries op drug-target paren, queries op alleen de drug en queries op alleen de target. Queries worden verrijkt met assay-specifieke terminologie (bijv. IC50, Kd, inhibitie). De opgehaalde tekstfragmenten worden opnieuw gerangschikt op basis van sectietype (waarbij voorkeur wordt gegeven aan 'Results') en entiteit-co-mentions.
3. Reasoning Agent: Dit module voert de kernintegratie uit in twee fasen:
   • Gestructureerde Samenvatting: Zet de outputs van de agents om in een gedeelde representatie, waarbij overeenstemming, conflict en onzekerheid tussen de bronnen expliciet worden samengevat.
   • Regelgestuurde Besluitvorming: Past een prioriteitsgebaseerde logica toe (meerderheidsconsensus eerst, gevolgd door tie-breaking) om een definitief label te genereren. Als de regels niet conclusief zijn, wordt een beperkte LLM-fallback gebruikt. Dit ontwerp scheidt de synthese van bewijslast van de uiteindelijke beslissing om interpreteerbaarheid te waarborgen.

Belangrijkste Bijdragen

• Multi-Agent Integratie Framework: DrugAgent is het eerste systeem dat ML-voorspellingen, padgebaseerde KG-bewijs en RAG-gebaseerde literatuurretrieval gezamenlijk integreert in een verenigd, gestructureerd redeneerproces voor DTI.
• Expliciete Conflictmodellering: Het systeem modelleert en vat overeenstemming en conflict tussen bewijsmiddelen expliciet samen, in plaats van ze als een enkele inputstroom te behandelen.
• Interpreteerbaarheid en Getrouwheid (Faithfulness): Door de outputs van agents om te zetten in gestructureerde representaties en regelgestuurde besluitvorming te gebruiken, biedt DrugAgent reproduceerbare rationales die geworteld zijn in het specifieke geleverde bewijs, waardoor de "black box"-natuur van onbeperkte LLM-redenering wordt vermeden.
• Evaluatie van Bewijsbeschikbaarheid: De studie analyseert systematisch hoe de beschikbaarheid van opgehaalde literatuur de biologische plausibiliteit en coherentie van de outputs van het systeem beïnvloedt.

Resultaten
Het systeem werd geëvalueerd op twee benchmarks: een kinase-inhibitie dataset (900 paren, 178 kinases, 42 inhibitoren) en een Tox21 androgeenreceptor (AR) antagonist screening dataset (500 paren).

• Getrouwheid (Faithfulness): In LLM-as-a-Judge (LLMaJ) evaluaties waren de outputs van DrugAgent in 98,8% van de kinase-gevallen getrouw aan het ingevoerde bewijs, met hoge scores voor gronding en lage percentages niet-onderbouwde claims.
• Biologische Plausibiliteit: 98,9% van de DrugAgent-outputs werd beoordeeld als ten minste plausibel. Het systeem vertoonde een hoge stabiliteit, met 98% labelovereenstemming bij herhaalde runs.
• Bewijs-dynamiek:
  • Conflictresolutie: Wanneer bewijsmiddelen botsten, neigde DrugAgent naar het toekennen van intermediaire labels (bijv. "Matig") in plaats van extreme labels. In gevallen van volledig conflict kreeg 68% van de outputs het label "Matig".
  • Impact van Literatuur: De aanwezigheid van directe drug-target literatuur verbeterde de biologische plausibiliteit en de scores voor mechanistische coherentie aanzienlijk. Systemen zonder RAG (bijv. ML+KG) produceerden soms hogere plausibiliteitsscores, maar met een hoger percentage "tegengesproken en niet plausibel" outputs, wat suggereert dat literatuur fungeert als een cruciale grondende beperking.
  • Gestreifeerde Prestaties: Hoewel de ML+KG baseline competitief presteerde in totaal, presteerde DrugAgent (inclusief RAG) beter dan de baselines wanneer directe literatuur beschikbaar was. Een hybride strategie (het gebruik van DrugAgent alleen wanneer er op paar-niveau papers bestaan, anders ML+KG) behaalde de beste resultaten op de Tox21 dataset (Nauwkeurigheid: 0,67, F1: 0,67).
• Sanity Checks: Plausibiliteitsscores correleerden niet direct met de grondwaarheid (ground-truth) activiteitslabels, wat aangeeft dat plausibiliteit de coherentie van het argument weergeeft gezien het bewijs, in plaats van een directe maatstaf voor voorspellende nauwkeurigheid.

Betekenis en Claims
De auteurs positioneren DrugAgent niet als een op zichzelf staande DTI-voorspeller die bedoeld is om gespecialiseerde ML-modellen in isolatie te overtreffen, maar als een complementair hulpmiddel voor bewijsintegratie. De primaire betekenis ligt in het vermogen om:

1. Heterogene, op bewijs gebaseerde beoordelingen te bieden die interpreteerbaar en reproduceerbaar zijn.
2. Strategieën aan te bieden om overeenstemming, conflict en onzekerheid in biomedische data te modelleren, waarmee de uitdaging wordt aangepakt om verschillende biologische modaliteiten en herkomstbronnen te verzoenen.
3. Aan te tonen dat opgehaalde literatuur het meest nuttig is wanneer direct bewijs beschikbaar is, wat het belang van bewijsbeschikbaarheid voor RAG-gebaseerde integratie onderstreept.

De paper concludeert dat hoewel het systeem de betrouwbaarheid en interpreteerbaarheid verbetert, het nog steeds regelgestuurd is in plaats van statistisch gekalibreerd, en dat toekomstig werk nodig is om computationele kosten, zorgen over data leakage in de voorgetrainde componenten en bredere generalisatie naar ongeziene drug-target paren en targetklassen aan te pakken.