DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

Sintesi Tecnica: DrugAgent

Problematica
La valutazione dell'interazione farmaco-bersaglio (DTI) è un compito critico nella fase iniziale della scoperta di farmaci che richiede la sintesi di fonti di dati eterogenee: previsioni quantitative da modelli di machine learning (ML), relazioni curate da grafi di conoscenza (KG) e risultati sperimentali dalla letteratura scientifica. Queste fonti sono spesso complementari ma imperfette. I modelli ML possono mancare di calibrazione al di fuori della loro distribuzione di addestramento; i KG possono implicare connettività senza un legame diretto; la letteratura è distribuita in modo non uniforme e può contenere risultati contrastanti o specifici per determinati saggi. Gli approcci attuali si affidano tipicamente a singole modalità (ad esempio, previsioni numeriche ML) o mancano di meccanismi per conciliare esplicitamente accordo, conflitto e incertezza tra queste diverse provenienze. Esiste la necessità di un sistema in grado di integrare queste fonti in una valutazione interpretabile e fondata sull'evidenza, piuttosto che funzionare esclusivamente come un predittore autonomo.

Metodologia
Gli autori introducono DrugAgent, un sistema multi-agente basato su modelli linguistici di grandi dimensioni (LLM) progettato per integrare evidenze biomediche eterogenee per la valutazione della DTI. Il sistema impiega una pipeline strutturata e modulare composta da quattro componenti chiave:

1. Agente Coordinatore (Coordinator Agent): Orchestra il flusso di lavoro, invocando agenti specializzati e imponendo uno schema JSON condiviso per i loro output, al fine di garantire un'elaborazione coerente a valle.
2. Agenti di Evidenza Specializzati:
   • Agente ML: Utilizza un modello DeepPurpose pre-addestrato (reti neurali a passaggio di messaggi per i farmaci, CNN per le proteine) addestrato su BindingDB per generare previsioni quantitative di affinità (ad esempio, pKd), che vengono discretizzate in etichette di attività (Forte, Moderata, Debole).
   • Agente KG: Costruisce un grafo di conoscenza eterogeneo integrando DrugBank, CTD e BindingDB. Esegue una ricerca in ampiezza multi-hop (profondità massima 5) per trovare percorsi meccanicistici. I percorsi sono valutati in base alla lunghezza e con una penalità per il passaggio attraverso nodi "hub" ad alto grado, per ridurre la connettività non specifica. L'agente restituisce evidenze strutturate, inclusi descrizioni dei percorsi e punteggi di confidenza.
   • Agente RAG (Retrieval-Augmented Generation): Recupera articoli a testo completo da PubMed Central (Open Access) utilizzando una strategia multi-canale: query per coppia farmaco-bersaglio, query solo per il farmaco e query solo per il bersaglio. Le query sono arricchite con terminologia specifica del saggio (ad esempio, IC50, Kd, inibizione). I frammenti recuperati sono riclassificati in base al tipo di sezione (favorendo i "Risultati") ed enumerazione di entità.
3. Agente di Ragionamento (Reasoning Agent): Questo modulo eseglie l'integrazione centrale in due fasi:
   • Sintesi Strutturata: Converte gli output degli agenti in una rappresentazione condivisa, riassumendo esplicitamente accordo, conflitto e incertezza tra le fonti.
   • Processo Decisionale Guidato da Regole: Applica una logica basata sulla priorità (accordo della maggioranza prima, poi risoluzione delle parità) per generare un'etichetta finale. Se le regole sono inconcludenti, viene utilizzato un fallback di LLM vincolato. Questo design separa la sintesi delle evidenze dalla decisione finale per garantire l'interpretabilità.

Contributi Chiave

• Framework di Integrazione Multi-Agente: DrugAgent è il primo sistema che integra congiuntamente previsioni ML, evidenze basate su percorsi di KG e recupero di letteratura tramite RAG in un processo di ragionamento strutturato e unificato per la DTI.
• Modellazione Esplicita del Conflitto: Il sistema modella e riassume esplicitamente l'accordo e il conflitto tra le fonti di evidenza, invece di trattarle come un singolo flusso di input.
• Interpretabilità e Fedeltà: Convertendo gli output degli agenti in rappresentazioni strutturate e utilizzando un processo decisionale guidato da regole, DrugAgent fornisce razionali riproducibili che sono radicati nelle specifiche evidenze fornite, evitando la natura "black box" del ragionamento LLM non vincolato.
• Valutazione della Disponibilità delle Evidenze: Lo studio analizza sistematicamente come la disponibilità della letteratura recuperata influenzi la plausibilità biologica e la coerenza degli output del sistema.

Risultati
Il sistema è stato valutato su due benchmark: un dataset di inibizione delle chinasi (900 coppie, 178 chinasi, 42 inibitori) e un dataset di screening degli antagonisti del recettore degli androgeni (AR) di Tox21 (500 coppie).

• Fedeltà: Nelle valutazioni LLM-as-a-Judge (LLMaJ), gli output di DrugAgent sono stati fedeli all'evidenza di input nel 98,8% dei casi di chinasi, con punteggi elevati per l'ancoraggio ai dati e bassi tassi di affermazioni non supportate.
• Plausibilità Biologica: Il 98,9% degli output di DrugAgent è stato giudicato come almeno plausibile. Il sistema ha mostrato un'elevata stabilità, con un accordo sulle etichette del 98% tra le esecuzioni ripetute.
• Dinamiche dell'Evidenza:
  • Risoluzione dei Conflitti: Quando le fonti di evidenza entravano in conflitto, DrugAgent tendeva ad assegnare etichette intermedie (ad esempio, "Moderata") piuttosto che estreme. Nei casi di conflitto totale, il 68% degli output è stato assegnato come "Moderata".
  • Impatto della Letteratura: La presenza di letteratura diretta farmaco-bersaglio ha migliorato significativamente la plausibilità biologica e i punteggi di coerenza meccanicistica. I sistemi senza RAG (ad esempio, ML+KG) hanno talvolta prodotto punteggi di plausibilità più elevati, ma con un tasso maggiore di output "contraddetti e non plausibili", suggerendo che la letteratura agisce come un vincolo di ancoraggio cruciale.
  • Prestazioni Stratificate: Sebbene il baseline ML+KG sia risultato competitivo nel complesso, DrugAgent (incorporando RAG) ha superato i baseline quando era disponibile l'evidenza letteraria diretta. Una strategia ibrida (utilizzando DrugAgent solo quando esistono paper a livello di coppia, altrimenti ML+KG) ha ottenuto i risultati migliori sul dataset Tox21 (Accuratezza: 0,67, F1: 0,67).
• Controlli di Sanità (Sanity Checks): I punteggi di plausibilità non correlavano direttamente con le etichette di attività reali, indicando che la plausibilità riflette la coerenza dell'argomentazione date le evidenze piuttosto che una misura diretta dell'accuratezza predittiva.

Significatività e Rivendicazioni
Gli autori posizionano DrugAgent non come un predittore DTI standalone destinato a superare i modelli ML specializzati in isolamento, ma come uno strumento complementare per l'integrazione delle evidenze. La principale significatività risiede nella sua capacità di:

1. Fornire valutazioni fondate su evidenze eterogenee che siano interpretabili e riproducibili.
2. Offrire strategie per modellare accordo, conflitto e incertezza nei dati biomedici, affrontando la sfida di conciliare diverse modalità e provenienze biologiche.
3. Dimostrare che la letteratura recuperata è più benefica quando l'evidenza diretta è disponibile, evidenziando l'importanza della disponibilità delle evidenze per l'integrazione basata su RAG.

L'articolo conclude che, sebbene il sistema migliori l'affidabilità e l'interpretabilità, rimane guidato da regole piuttosto che statisticamente calibrato, e che sono necessari lavori futuri per affrontare i costi computazionali, le preoccupazioni sulla fuga di dati (data leakage) nei componenti pre-addestrati e una più ampia generalizzazione su coppie farmaco-bersaglio e classi di bersagli non visti.