What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

Negli ultimi anni, medici e scienziati dell'informatica hanno iniziato a collaborare per costruire strumenti di intelligenza artificiale in grado di aiutare a diagnosticare malattie, prevedere gli esiti dei pazienti e suggerire trattamenti. Questi strumenti, noti come sistemi di apprendimento automatico (machine learning), sono potenti perché possono trovare schemi in enormi quantità di dati che gli esseri umani potrebbero ignorare. Tuttavia, esiste un problema persistente: questi sistemi spesso funzionano come "scatole nere". Producono risultati senza spiegare come vi siano arrivati e si basano su connessioni statistiche piuttosto che su chiare teorie sul perché un trattamento funzioni. Ciò crea un dilemma per i medici che devono fidarsi degli strumenti che utilizzano. Se un computer dice che un paziente ha una malattia, ma nessuno capisce perché lo abbia detto, come può un medico essere sicuro che sia corretto? Questa incertezza ha portato a una domanda difficile: come possiamo verificare che questi sistemi complessi e opachi siano abbastanza affidabili da essere utilizzati negli ospedali reali?

Due filosofi, Emanuele Ratti e Lena Zuchowski, hanno proposto un nuovo modo di pensare a questo problema guardando a come la medicina stessa gestisce incertezze simili. Suggeriscono che non dovremmo cercare di costringere l'intelligenza artificiale a diventare trasparente o spiegabile nel modo in cui solitamente ci aspettiamo. Al contrario, sostengono che dovremmo imparare dalla lunga storia di come la medicina valida i nuovi farmaci. Proprio come i medici non sempre sanno esattamente come una specifica pillola agisca all'interno del corpo, sanno comunque che è sicura ed efficace grazie al rigoroso processo utilizzato per testarla. I ricercatori propongono che lo stesso tipo di processo di test rigoroso usato per i farmaci possa essere adattato per creare un nuovo standard per fidarsi dell'intelligenza artificiale.

Il nucleo del loro argomento si basa su un confronto tra due processi molto diversi: lo sviluppo di nuovi medicinali e la costruzione di sistemi di apprendimento automatico. In medicina, quando viene scoperto un nuovo farmaco, gli scienziati spesso non comprendono appieno il meccanismo biologico che vi sta dietro. Potrebbero non sapere esattamente come la molecola interagisce con le cellule del corpo. Nonostante questa mancanza di conoscenza teorica, il farmaco può comunque essere dimostrato efficace. Ciò avviene attraverso un processo chiamato traduzione clinica, in cui i ricercatori testano sistematicamente il farmaco sotto molte condizioni diverse. Determinano il dosaggio corretto, i tipi specifici di pazienti a cui è utile e le situazioni in cui potrebbe fallire. Raccolta queste informazioni, creano un profilo dettagliato dell'utilità del farmaco, anche se il "perché" sottostante rimane un mistero.

Ratti e Zuchowski sostengono che i sistemi di apprendimento automatico affrontino esattamente la stessa situazione. Questi sistemi sono spesso "ateoretici", il che significa che non si basano su teorie create dall'uomo; sono "associazionisti", il che significa che trovano legami tra punti di dati senza comprendere la causa; e sono "opachi", il che significa che il loro processo decisionale interno è nascosto. Per questo motivo, cercare di far spiegare la propria logica all'IA è spesso impossibile. Invece di combattere questa natura, gli autori suggeriscono di copiare l'approccio medico. Dovremmo smettere di pretendere che l'IA spieghi la sua logica e iniziare a pretendere di sapere le condizioni specifiche in cui funziona.

Per rendere concreta questa idea, i ricercatori hanno sviluppato un nuovo framework che chiamano "ensemble di apprendimento" (learning ensemble). Pensate a questo come a un manuale di istruzioni dettagliato che va ben oltre il semplice dire "questo programma per computer funziona". In medicina, un farmaco non è solo una sostanza chimica; è una sostanza chimica usata in un modo specifico, per un gruppo specifico di persone, con effetti collaterali specifici. Allo stesso modo, un sistema di apprendimento automatico non è solo un pezzo di codice; è un sistema che funziona solo quando vengono soddisfatte determinate condizioni. L'ensemble di apprendimento è una raccolta di informazioni che definisce tali condizioni. Include dettagli sui dati utilizzati per addestrare il sistema, l'hardware specifico su cui gira, i tipi di pazienti su cui è stato testato e le metriche esatte utilizzate per giudicare il suo successo.

Gli autori suddividono questa informazione in tre categorie principali. La prima è i "confini di affidabilità". Questa sezione documenta l'ambiente in cui il sistema è stato costruito. Pone domande come: I dati erano puliti e diversificati, o erano disordinati e limitati? Il sistema è stato testato su computer potenti, o ha faticato con hardware di base? Se i dati provenivano da un solo ospedale, il sistema potrebbe fallire quando utilizzato in un ospedale diverso con attrezzature differenti. Documentando questi confini, gli utenti possono sapere esattamente dove il sistema è sicuro da usare e dove potrebbe rompersi.

La seconda categoria è le "prestazioni". Questa non è solo un singolo numero che dice che il sistema è accurato al 90%. Si richiede invece un rapporto dettagliato di come il sistema si comporta in diverse situazioni. Ad esempio, funziona ugualmente bene per pazienti giovani e anziani, o per persone di generi diversi? Commette più errori quando i dati sono leggermente diversi da quelli su cui è stato addestrato? I ricercatori sottolineano che sapere dove un sistema fallisce è importante quanto sapere dove ha successo. Se un sistema è eccellente nel diagnosticare un certo tipo di cancro ma terribile con un altro, questo fallimento specifico deve essere registrato affinché i medici non lo utilizzino per i casi sbagliati.

La terza categoria è la "dimensione funzionale". Questa guarda a ciò che il sistema deve effettivamente fare nel mondo reale. Un sistema potrebbe essere matematicamente perfetto nel prevedere un numero, ma se quel numero non aiuta un medico a prendere una decisione migliore, il sistema è inutile. Questa parte del framework verifica se l'output del sistema corrisponde alle necessità del team medico. Ad esempio, se un sistema è progettato per aiutare un medico a decidere se ricoverare un paziente, deve essere testato per vedere se aiuta effettivamente con quella specifica decisione. Se il sistema viene utilizzato per uno scopo per cui non è stato progettato, diventa inaffidabile, indipendentemente da quanto bene esegua il suo compito originale.

I ricercatori illustrano la potenza di questo approccio con esempi reali di fallimento. Indicano uno studio in cui un sistema di intelligenza artificiale sosteneva di rilevare il cancro osservando la composizione genetica dei batteri nel corpo umano. Il sistema sembrava funzionare perfettamente all'inizio, con un'accuratezza molto alta. Tuttavia, quando i ricercatori hanno esaminato attentamente i dati, hanno scoperto che il sistema non aveva affatto imparato nulla sul cancro. Aveva imparato a riconoscere un tipo specifico di errore nel processo di raccolta dei dati che si verificava più frequentemente nei pazienti oncologici. Poiché il sistema era opaco, questo errore era nascosto. Se i ricercatori avessero utilizzato il framework dell'ensemble di apprendimento, sarebbero stati obbligati a documentare le fonti dei dati e le condizioni specifiche del test. Questa documentazione avrebbe rivelato che i dati erano difettosi e che il sistema stava facendo affidamento su una scorciatoia piuttosto che su una reale connessione biologica.

Un altro esempio riguarda un sistema progettato per prevedere quali pazienti con polmonite fossero ad alto rischio di morte. Il sistema ha appreso che i pazienti con asma avevano in realtà un rischio minore. Questo sembrava controintuitivo. Il motivo era che il sistema aveva appreso che i pazienti asmatici ricevevano trattamenti molto aggressivi ed efficaci in ospedale, il che riduceva il loro rischio di morte. Tuttavia, se un medico avesse usato questo sistema per decidere chi curare, avrebbe potuto erroneamente pensare che i pazienti asmatici non avessero bisogno di cure. Il sistema era matematicamente corretto in base ai dati, ma era funzionalmente pericoloso perché non comprendeva il contesto del trattamento medico. Il framework dell'ensemble di apprendimento avrebbe colto questo problema richiedendo una definizione chiara dello scopo del sistema e un controllo rispetto alla conoscenza medica reale.

Gli autori precisano che questo framework non risolve il mistero di come funzioni l'apprendimento automatico. I sistemi saranno ancora opachi e si baseranno ancora su schemi statistici piuttosto che su teorie chiare. Il valore dell'ensemble di apprendimento non risiede nel rendere l'IA trasparente, ma nel rendere trasparente l'uso dell'IA. Sposta l'attenzione dal chiedere "Come pensa il computer?" al chiedere "Sotto quali condizioni esatte possiamo fidarci della risposta del computer?". È un cambiamento sottile ma cruciale. Permette ai medici di utilizzare strumenti potenti senza dover comprendere la matematica complessa che li sta dietro, purché abbiano una mappa chiara di dove tali strumenti siano sicuri da usare.

Questo approccio suggerisce un nuovo modo per regolare e valutare l'intelligenza artificiale in medicina. Invece di pretendere che ogni algoritmo sia spiegabile, i regolatori e gli ospedali dovrebbero pretendere un "ensemble di apprendimento" completo per ogni sistema. Questo documento fungerebbe da certificato di affidabilità, dettagliando i dati, le prestazioni e l'uso previsto. Se un ospedale vuole utilizzare un sistema, può controllare l'ensemble per vedere se la sua situazione specifica corrisponde alle condizioni in cui il sistema è stato provato efficace. Se le condizioni non corrispondono, il sistema non dovrebbe essere utilizzato. Questo metodo accetta i limiti della tecnologia attuale fornendo al contempo un modo robusto per gestire i rischi.

L'articolo conclude che questo framework è un passo avanti pratico. Non sostiene di aver risolto tutti i problemi dell'intelligenza artificiale, né promette che questi sistemi non commetteranno mai errori. Invece, offre un modo strutturato per costruire la fiducia. Trattando i sistemi di apprendimento automatico come trattamenti medici — dove l'attenzione è rivolta alle condizioni d'uso piuttosto che al meccanismo interno — possiamo creare un percorso più sicuro e affidabile per l'integrazione di queste tecnologie nell'assistenza sanitaria. L'obiettivo non è rendere trasparente la scatola nera, ma costruire una guida affidabile che ci dica esattamente dove è sicuro guardare dentro.