Automated Identification of Complex Percutaneous Coronary Intervention from Cardiac Catheterization Reports Using Large Language Models

Gli ospedali generano ogni giorno un vasto oceano di testo non strutturato. Tra i documenti più critici figurano i referti narrativi scritti dopo una cateterismo cardiaco, una procedura in cui i medici inseriscono un sottile tubo attraverso le arterie per esaminare i vasi sanguigni del cuore. Questi referti sono ricchi di dettagli sull'anatomia del cuore di un paziente e sulle tecniche specifiche utilizzate per correggere le ostruzioni, ma sono scritti in paragrafi a flusso libero piuttosto che in campi con caselle di controllo ordinate. Per i ricercatori e i team di miglioramento della qualità, ciò crea un collo di bottiglia significativo. Per studiare l'efficacia di queste procedure o per monitorare la complessità dei casi attraverso un sistema sanitario, gli esperti umani devono leggere manualmente migliaia di questi referti ed estrarre dati specifici. Questo processo è lento, costoso e difficile da scalare, limitando spesso la dimensione e la velocità di importanti studi medici.

L'ascesa dei grandi modelli linguistici, un tipo di intelligenza artificiale capace di comprendere e generare testo simile a quello umano, offre una potenziale soluzione a questo problema. Questi sistemi possono essere addestrati per leggere documenti complessi ed estrarre fatti specifici, proprio come un assistente di ricerca molto veloce e instancabile. Tuttavia, rimaneva da chiarire se questi strumenti potessero gestire il linguaggio sfumato e specializzato tipico delle note procedurali cardiache, in particolare quando richiesti di identificare casi "complessi" che coinvolgono molteplici ostruzioni o tecniche difficili. Un team di ricercatori ha deciso di testare questa questione utilizzando una vasta collezione di veri referti di cateterismo cardiaco.

I ricercatori hanno raccolto 1.412 note procedurali de-identificate provenienti da tre diversi ospedali all'interno del sistema Yale New Haven Health. Questi documenti coprivano procedure eseguite tra il 2011 e il 2017 e includevano un mix di esami diagnostici e interventi effettivi in cui i medici hanno posizionato stent o utilizzato palloncini per aprire arterie ostruite. Per creare uno standard affidabile per il confronto, un gruppo di esperti cardiologi ha letto manualmente ogni singola nota. Hanno prima determinato se un referto descriveva una procedura in cui uno stent o un palloncino venivano effettivamente utilizzati per trattare un'arteria coronaria. Per quelli che lo facevano, hanno poi estratto sei dettagli specifici che definiscono una procedura "complessa": il numero di vasi sanguigni trattati, il numero di ostruzioni distinte corrette, il numero totale di stent posizionati, se veniva utilizzata una specifica tecnica a due stent per un vaso ramificato, la lunghezza totale di tutti gli stent combinati e se è stata trattata un'occlusione totale cronica — un'ostruzione completa e di lunga data.

Con questo "gold standard" verificato dagli umani in posizione, il team ha testato tre diversi modelli di intelligenza artificiale per vedere se potessero replicare il lavoro degli esperti. Hanno scelto modelli open-source, il che significa che il loro codice e i loro pesi sono pubblicamente disponibili, permettendo ai ricercatori di eseguirli su computer locali sicuri per proteggere la privacy dei pazienti. Un modello era un sistema massiccio e generalista con 70 miliardi di parametri, una misura della sua dimensione e capacità di ragionamento. Gli altri due erano modelli più piccoli, pre-addestrati specificamente sulla letteratura medica, con 7 miliardi di parametri ciascuno, progettati per comprendere la terminologia clinica. I ricercatori hanno fornito le stesse sollecitazioni testuali (prompt) e gli stessi referti a tutti e tre i modelli, chiedendo loro di identificare se una procedura fosse avvenuta ed estrarre le sei variabili specifiche.

I risultati hanno mostrato una chiara distinzione di capacità. Il grande modello generalista ha superato significativamente i due modelli più piccoli e specifici per l'ambito medico. Quando interrogato semplicemente per identificare se un referto descriveva una procedura cardiaca, il modello grande ha raggiunto una sensibilità perfetta, il che significa che non ha mancato alcuna procedura reale, e ha identificato correttamente le non-procedure con un'alta precisione. Al contrario, i modelli più piccoli hanno faticato: uno scambiava frequentemente le note di non-procedura per procedure, mentre l'altro non riusciva quasi per nulla a riconoscere le procedure reali.

Il divario si è ampliato quando il compito richiedeva l'estrazione dei sei dettagli complessi. Il modello grande ha identificato con successo il numero di stent e la lunghezza totale degli stent con un'accuratezza molto elevata, spesso superiore al 90 percento. Ha anche performato bene nell'identificare il numero di vasi trattati. Tuttavia, la sua prestazione è calata sulle variabili che richiedevano più interpretazione, come contare l'esatto numero di ostruzioni distinte o determinare se veniva utilizzata una specifica tecnica a due stent per un vaso ramificato. In questi casi, il modello a volte ometteva dettagli o interpretava erroneamente il contesto, sebbene rimanesse comunque molto più accurato dei modelli più piccoli. I modelli medici più piccoli, nonostante l'addestramento specializzato, non riuscivano a estrarre costantemente questi dettagli, producendo spesso risultati troppo inaffidabili per l'uso nella ricerca.

Lo studio ha anche esaminato se i modelli si comportassero diversamente tra i tre siti ospedalieri. Mentre il modello grande manteneva un'alta accuratezza in tutte e tre le località, si sono notate variazioni nel modo in cui performava in ciascun sito, probabilmente a causa delle differenze nel modo in cui i medici di ogni ospedale scrivevano i propri referti. I modelli più piccoli mostravano un'incoerenza ancora maggiore, con prestazioni che fluttuavano selvaggiamente a seconda della località. Ciò suggerisce che, sebbene il modello grande sia robusto, il modo in cui le informazioni vengono documentate può comunque influenzare i risultati.

I ricercatori hanno analizzato gli errori commessi dal modello con le migliori prestazioni per capire dove incontrasse difficoltà. Hanno scoperto che gli errori avvenivano spesso quando la documentazione era ambigua o frammentata. Ad esempio, il modello a volte confondeva un test diagnostico con un trattamento, o faticava a distinguere tra uno stent posizionato con successo e uno tentato ma non rilasciato. Ha inoltre avuto difficoltà quando un referto menzionava un'ostruzione che non era stata effettivamente trattata, o quando la descrizione di un'occlusione totale cronica era implicita piuttosto che esplicitamente dichiarata. Questi errori evidenziano che, sebbene la tecnologia sia potente, non è ancora perfetta nel navigare nella realtà disordinata e incoerente della scrittura medica umana.

In definitiva, lo studio dimostra che un modello di intelligenza artificiale open-source di grandi dimensioni può estrarre accuratamente dati complessi da referti procedurali cardiaci non strutturati, un compito che tradizionalmente richiedeva ore di lavoro manuale. I risultati suggeriscono che per molte variabili, in particolare quelle esplicitamente dichiarate come il numero di stent, questi strumenti possono raggiungere un livello di accuratezza adatto alla ricerca. Tuttavia, per le variabili che richiedono una profonda interpretazione contestuale, la tecnologia affronta ancora delle sfide. Il lavoro indica che il futuro della ricerca cardiovascolare scalabile potrebbe risiedere nell'uso di questi potenti modelli per gestire la massa dell'estrazione dei dati, potenzialmente combinati con la supervisione umana per i casi più difficili, piuttosto che fare affidamento esclusivamente su modelli più piccoli e specializzati o sulla revisione manuale.