Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making

Nel mondo ad alta posta in gioco della medicina, i medici si trovano spesso di fronte a scelte in cui non esiste un'unica risposta corretta. Quando un paziente è in condizioni critiche o affronta una malattia rara, il team medico deve bilanciare diversi doveri morali contrastanti. Devono cercare di aiutare il paziente, evitare di causare danni, rispettare il diritto del paziente di scegliere il proprio percorso e garantire che le risorse siano condivise equamente tra tutti coloro che ne hanno bisogno. Questi doveri, noti come beneficenza, non maleficenza, autonomia e giustizia, spesso tirano in direzioni opposte. Per esempio, un trattamento che potrebbe salvare una vita potrebbe anche causare una sofferenza immensa, oppure un farmaco scarso ed costoso potrebbe aiutare profondamente una persona lasciando però molti altri senza cure. Man mano che l'intelligenza artificiale diventa più comune nell'assistenza sanitaria, le persone iniziano a chiedersi come questi sistemi informatici gestiscano decisioni così difficili e cariche di valori. La preoccupazione non è solo se la macchina conosca i fatti, ma se comprenda il peso dei compromessi morali coinvolti.

Un nuovo studio investiga come i modelli linguistici di grandi dimensioni, i potenti sistemi di IA capaci di generare testi simili a quelli umani, prendano queste scelte etiche quando si prendono in cura pazienti affetti da malattie rare. Le malattie rare presentano una sfida unica perché colpiscono un numero esiguo di persone, spesso con dati medici limitati disponibili. In queste situazioni, famiglie e medici devono spesso prendere decisioni in condizioni di profonda incertezza, pesando opzioni imperfette l'una contro l'altra. I ricercatori hanno creato un test per vedere se l'IA potesse navigare in queste acque torbide. Hanno costruito una collezione di 208 storie mediche realistiche, o vignette, basate su malattie rare del mondo reale e sui loro specifici dettagli genetici e clinici. Ogni storia presentava un vero dilemma in cui due diversi passi successivi erano entrambi medicalmente ragionevoli ma eticamente opposti. Ad esempio, un'opzione poteva dare priorità ai bisogni immediati di un singolo paziente, mentre l'altra si concentrava sulla distribuzione equa di una risorsa limitata tra un gruppo. I ricercatori hanno poi chiesto a undici diversi modelli di IA all'avanguardia di scegliere tra queste due opzioni.

I risultati hanno rivelato un modello sorprendente. In tutti i diversi modelli di IA testati, indipendentemente da chi li avesse creati o da come fossero stati addestrati, i sistemi sceglievano costantemente l'opzione che dava priorità alla giustizia. Nel contesto di queste storie mediche, ciò significava che l'IA favoriva quasi sempre la distribuzione uguale delle risorse rispetto ai bisogni specifici e urgenti di un singolo paziente. I modelli sembravano trattare l'equità come una questione di dare a tutti la stessa quota, piuttosto che dare di più a chi è più malato o ha una maggiore necessità medica. Questa preferenza per l'uguaglianza sembrava essere una risposta superficiale al concetto di equità, una che trascurava la gravità della condizione del paziente. Lo studio suggerisce che questi sistemi di IA non stiano ragionando profondamente sulla complessità morale della situazione, ma stiano invece ricorrendo a una semplice regola di distribuzione uguale.

I ricercatori hanno anche scoperto che la scelta dell'IA dipendeva fortemente da chi veniva descritto come la persona che prendeva la decisione finale. Quando la storia inquadrava la decisione come appartenente a un comitato o a un consiglio ospedaliero, l'IA favoriva fortemente la giustizia e la condivisione equa delle risorse. Tuttavia, quando la decisione era inquadrata come appartenente a un singolo medico o al paziente stesso, l'IA cambiava la sua preferenza. In quei casi, i modelli si allontanavano dalla stretta uguaglianza e iniziavano a dare priorità ai desideri del paziente o al suo benessere immediato. Ciò indica che l'IA è altamente sensibile al ruolo sociale assegnato al decisore, rispecchiando le intuizioni umane su come funzioni l'autorità. Sembra aver appreso che i comitati sono responsabili dell'equità, mentre gli individui sono responsabili della cura e della scelta.

Questo comportamento solleva importanti domande su come questi strumenti possano essere utilizzati negli ospedali. Lo studio suggerisce che i sistemi di supporto decisionale basati sull'IA potrebbero silenziosamente rafforzare le strutture di potere esistenti invece di offrire una prospettiva nuova e fondata su principi. Se un medico chiede consiglio a un'IA su un caso difficile, la risposta che l'IA fornisce potrebbe cambiare semplicemente in base al fatto che il medico chieda come individuo o come parte di un team. I ricercatori hanno scoperto che i modelli non sembrano ragionare partendo dai primi principi su cosa sia meglio per il paziente; invece, stanno abbinando la situazione a un modello di comportamento atteso in base al ruolo coinvolto. Questo "bias di autorità" significa che l'IA potrebbe non essere in grado di sfidare le pratiche istituzionali ingiuste o di riconoscere quando le esigenze specifiche di un paziente dovrebbero prevalere su una regola generale di uguaglianza.

Lo studio non afferma che questi modelli di IA siano difettosi o che non possano essere utili. Piuttosto, evidenzia un punto cieco nel modo in cui valutiamo attualmente l'IA medica. La maggior parte dei test si concentra sul fatto che la macchina conosca i fatti corretti o possa rispondere correttamente a domande mediche. Questa ricerca mostra che, anche quando i modelli sono fattualmente accurati, possono comunque avere pregiudizi nascosti nel modo in cui pesano i valori morali. I risultati suggeriscono che, mentre ci avviciniamo all'uso dell'IA in contesti medici ad alta posta in gioco, dobbiamo guardare oltre la semplice accuratezza. Dobbiamo capire come questi sistemi diano priorità ai valori e se le loro scelte siano allineate con il ragionamento complesso e sfumato che i medici umani e gli esperti di etica utilizzano quando si decide della vita delle persone. Lo studio conclude che, senza un'attenta attenzione a queste preferenze etiche, gli strumenti di IA potrebbero finire per semplice ripetere lo status quo del processo decisionale istituzionale, potenzialmente a spese dei pazienti più vulnerabili.