HemOncAgent: an artificial intelligence system for retrieving structured and narrative oncology knowledge

Nel complesso mondo del trattamento del cancro, i medici devono orientarsi tra due tipi di informazioni molto diversi. Un tipo è rigido e preciso, come un catalogo di ingredienti che elenca esattamente quali farmaci appartengono a una specifica combinazione o quali codici medici descrivono una particolare malattia. L'altro tipo è fluido e descrittivo, presente nelle note scritte dei medici specialisti che spiegano come sequenziare i trattamenti nel tempo, decidendo quando iniziare una nuova terapia o come gestire un paziente dopo una recidiva. Per decenni, i sistemi informatici progettati per aiutare i medici hanno faticato a gestire entrambi contemporaneamente. Alcuni eccellono nel trovare fatti esatti ma non riescono a comprendere la storia di un piano di trattamento, mentre altri sono bravi a leggere il testo ma perdono le connessioni critiche tra farmaci specifici. Questo divario è importante perché un medico che pone una domanda sulla cura del cancro potrebbe aver bisogno di un elenco preciso di farmaci in un momento e di una spiegazione narrativa dei percorsi terapeutici il momento successivo.

Un team di ricercatori ha costruito un nuovo assistente digitale chiamato HemOncAgent per colmare questo divario. Invece di costringere un singolo metodo a fare tutto il lavoro, questo sistema agisce come un bibliotecario attento che sa quando consultare un database strutturato e quando leggere un manuale dettagliato. I ricercatori hanno testato questo strumento contro gli standard dei sistemi informatici utilizzando centinaia di domande sulla conoscenza oncologica. Hanno scoperto che, permettendo al computer di scegliere la fonte giusta per ogni specifica domanda, il nuovo sistema poteva rispondere sia a quesiti fattuali che a scenari terapeutici complessi con un'elevata precisione. I risultati suggeriscono che per la conoscenza medica che è in parte dato rigido e in parte esperienza umana, un approccio ibrido è molto più affidabile rispetto al ricorso a un unico tipo di ricerca.

La sfida in oncologia è che la conoscenza esiste in due forme distinte. Da un lato, ci sono database curati che memorizzano fatti strutturati, come quali farmaci compongono un determinato regime o quali standard codici medici si applicano a una condizione. Questi sono come le regole rigide di un gioco, dove ogni elemento ha un posto definito. Dall'altro lato, ci sono risorse scritte dai clinici che descrivono come i trattamenti vengono effettivamente utilizzati nella pratica, dettagliando l'ordine in cui le terapie vengono somministrate per diversi stadi di una malattia. Queste narrazioni catturano la sfumatura del processo decisionale che i database rigidi spesso perdono. Sebbene i grandi modelli linguistici — programmi informatici addestrati su enormi quantità di testo — possano rispondere alle domande, spesso allucinano o tirano a indovinare quando non hanno accesso a queste specifiche fonti esterne. Per risolvere questo problema, i ricercatori hanno sviluppato un sistema in grado di attingere a entrambi i tipi di risorse, selezionando quella più appropriata in base a ciò che l'utente sta chiedendo.

I ricercatori hanno creato HemOncAgent affinché fungesse da hub centrale collegato a due specifiche fonti di conoscenza. La prima è un grafo della conoscenza strutturato, una vasta rete di oltre 126.000 concetti e 424.000 relazioni che collegano farmaci, regimi e malattie. Questa fonte è eccellente per rispondere a domande sulla composizione esatta o sulle approvazioni regolatorie. La seconda è un sito web narrativo contenente migliaia di pagine di testo scritte da esperti, che descrive i percorsi terapeutici e le sequenze di cura. Quando viene posta una domanda, l'agente analizza la richiesta e decide se interrogare il grafo strutturato, cercare nel testo narrativo o usare entrambi. Successivamente, recupera le informazioni rilevanti e sintetizza una risposta finale. Per vedere se questo approccio funzionasse, il team ha confrontato HemOncAgent con altri tre sistemi: un modello linguistico standard senza conoscenze esterne, un sistema che cercava solo nel testo narrativo e un sistema che interrogava solo il grafo strutturato.

Il test ha coinvolto 600 domande divise in due gruppi. Il primo gruppo si concentrava su fatti strutturati, come identificare i farmaci in un regime o trovare un codice medico specifico. Il secondo gruppo si concentrava su dettagli narrativi, come determinare l'ordine dei trattamenti per una specifica impostazione della malattia. I risultati hanno mostrato un modello chiaro. Il sistema che cercava solo nel testo narrativo performava bene sulle sequenze di trattamento ma falliva miseramente nel trovare codici esatti o elenchi di farmaci. Al contrario, il sistema che utilizzava solo il grafo strutturato era eccellente per i fatti ma faticava a trovare i corretti percorsi di trattamento descritti nel testo. Il modello linguistico standard senza alcun aiuto esterno performava scarsamente su entrambi. HemOncAgent, tuttavia, ha ottenuto il punteggio complessivo più alto. Ha eguagliato le prestazioni del sistema specializzato nel grafo per le domande fattuali e ha superato il sistema basato solo sul testo per le domande narrative, combinando con successo i punti di forza di entrambi gli approcci.

Quando i ricercatori hanno esaminato più da vicino i tipi specifici di domande, i vantaggi del sistema ibrido sono diventati ancora più evidenti. Per le domande che richiedevano corrispondenze esatte, come trovare la classificazione di un farmaco o un numero di sperimentazione clinica, l'agente si è affidato quasi interamente al database strutturato, raggiungendo una precisione quasi perfetta. Per le domande riguardanti i contesti di trattamento, come cosa accade dopo il fallimento di una terapia di prima linea, l'agente ha cercato principalmente nelle pagine narrative. In questi casi, ha superato significativamente il sistema basato solo sul grafo, che non riusciva a trovare le risposte nascoste nella prosa. L'agente ha anche dimostrato di poter mescolare intelligentemente le fonti quando necessario, utilizzando sia il grafo che il testo per circa un quarto delle domande narrative per garantire una risposta completa. Questa flessibilità gli ha permesso di mantenere un'alta precisione in tutto l'intervallo della conoscenza oncologica.

Lo studio ha anche testato quanto fossero robusti questi risultati cambiando il modello informatico sottostante che generava le risposte. Anche quando i ricercatori hanno sostituito il motore primario con un tipo diverso di intelligenza artificiale, il sistema ibrido ha continuato a superare le alternative a singola fonte. Sebbene i punteggi assoluti siano cambiati leggermente, il modello è rimasto lo stesso: avere accesso sia a fonti strutturate che narrative forniva un vantaggio costante. I ricercatori hanno osservato che il sistema di valutazione automatizzata utilizzato per valutare le risposte concordava con un secondo sistema di valutazione indipendente in quasi il 94 percento delle risposte, confermando che i risultati non erano solo un caso fortuito dovuto a un metodo di valutazione specifico.

Nonostante questi successi, gli autori sono cauti nel definire i confini delle loro scoperte. Le domande utilizzate per il test sono state generate direttamente dalle stesse risorse che il sistema stava cercando, il che significa che il test ha misurato quanto bene il sistema potesse recuperare informazioni da quelle specifiche fonti piuttosto che quanto bene potesse ragionare su nuovi scenari clinici mai visti. Lo studio non afferma che questo sistema sia pronto a sostituire i medici o che possa rispondere a ogni possibile domanda sulla cura del cancro, specialmente poiché le linee guida mediche cambiano rapidamente e la base di conoscenza rappresenta un'istantanea temporale. Tuttavia, i risultati suggeriscono fortemente che per le risorse di conoscenza clinica che spaziano tra dati rigidi e narrazione umana, una singola strategia di ricerca è insufficiente. Permettendo a un agente di intelligenza artificiale di scegliere lo strumento giusto per il compito, i ricercatori hanno dimostrato un modo pratico per rendere l'informazione medica più accessibile e affidabile.