Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

Nel campo in rapida evoluzione dell'intelligenza artificiale, una nuova generazione di programmi informatici ha imparato a leggere e scrivere come gli esseri umani, offrendo consigli su tutto, dalla letteratura alla medicina. Mentre questi strumenti si spostano nel settore sanitario, gli esperti hanno esortato gli sviluppatori a programmarli con un tipo specifico di sensibilità: una consapevolezza della diversità, dell'equità e dell'inclusione. L'obiettivo è garantire che, quando un medico chiede aiuto a un computer per un paziente, la macchina consideri come fattori quali la razza, il reddito o il background culturale possano influenzare gli esiti sanitari. Questo approccio presuppone che, chiedendo esplicitamente al computer di riflettere su queste realtà sociali, esso diventi più equo e accurato. Tuttavia, la relazione tra le istruzioni di un computer e il suo output è complessa, e i prompt ben intenzionati possono talvolta innescare comportamenti imprevisti che distorcono le stesse informazioni che dovrebbero chiarire.

I ricercatori della Arizona State University hanno indagato cosa accade quando applicano queste istruzioni focalizzate sull'equità a domande mediche. Hanno testato quarantasette diversi modelli di intelligenza artificiale, che spaziavano da sistemi commerciali ampiamente utilizzati a programmi open-source specializzati, utilizzando una vasta collezione di domande a scelta multipla di ambito medico. Nel loro esperimento, hanno preso scenari medici standard — descrizioni di pazienti con sintomi specifici ma senza menzione del loro background — e hanno chiesto ai modelli di risolverli. Hanno confrontato le risposte dei modelli sotto quattro diverse condizioni: senza istruzioni aggiuntive, con un'istruzione priva di senso, con un'istruzione medica neutrale e con una singola frase che indirizzava il modello a considerare la diversità e l'equità.

I risultati hanno rivelato un modello sorprendente e costante. Quando i modelli ricevevano l'istruzione focalizzata sull'equità, iniziavano frequentemente a inventare dettagli sui pazienti che non erano mai presenti nella descrizione originale. I ricercatori chiamano questo fenomeno "iniezione demografica". Nei gruppi di controllo, dove non veniva data alcuna istruzione speciale, i modelli aggiungevano dettagli demografici non dichiarati, come la razza o lo stato sociale di un paziente, in meno dell'uno per cento dei casi. Ma quando veniva aggiunto il prompt sull'equità, quel numero balzava al trentatré per cento in ogni singolo modello testato. Ciò significa che circa una volta su tre, quando al computer veniva chiesto di considerare l'equità, esso decideva silenziosamente di assegnare una specifica razza, età o situazione economica a un paziente che non ne aveva alcuna.

La maggior parte delle volte, questa invenzione era innocua. I modelli aggiungevano una dichiarazione generale su come una certa malattia colpisca un determinato gruppo di persone nel mondo reale, senza cambiare la raccomandazione medica finale. Tuttavia, una parte più piccola ma significativa di queste risposte andava oltre. In circa il due e mezzo per cento dei casi, il modello attribuiva la demografia inventata direttamente al paziente specifico nella storia. Questo spostamento nell'identità del paziente causava il cambiamento del consiglio medico e, quasi sempre, il nuovo consiglio era errato. Per esempio, presentata una casistica riguardante una donna con un gonfiore indolore al collo e marcatori ematici normali, un modello potrebbe identificare correttamente la condizione come un tipo specifico di infiammazione tiroidea. Ma quando sollecitato a considerare l'equità, lo stesso modello potrebbe improvvisamente decidere che la paziente fosse una donna nera o ispanica e, basandosi su quell'identità inventata, passare a una diagnosi diversa e errata.

Lo studio ha scoperto che il modo in cui l'istruzione veniva formulata contava molto. Prompt più dettagliati che chiedevano al modello di considerare i determinanti sociali della salute o specifici gruppi demografici causavano l'invenzione di dettagli sul paziente ancora più frequentemente, con il tasso di invenzione che saliva fino al cinquantasei per cento. I ricercatori hanno determinato che questo comportamento era guidato dal contenuto dell'istruzione sull'equità, non semplicemente dal fatto che il modello stesse leggendo più testo. Avevano escluso l'idea che i modelli fossero semplicemente distratti da parole extra, poiché le istrazioni altrettanto lunghe ma non correlate all'equità non causavano lo stesso effetto. Invece, i modelli sembravano aver appreso un'associazione forte durante il loro addestramento: quando vedono parole relative all'equità, si aspettano di vedere dettagli demografici e si sentono obbligati a fornirli, anche quando l'utente non li ha richiesti.

Questa scoperta evidenzia un difetto sottile ma critico nel modo in cui questi sistemi elaborano le istruzioni. Il computer non agisce per malizia o pregiudizio nel senso umano del termine; piuttosto, sta seguendo un pattern che ha appreso per essere utile. Quando gli viene detto di considerare l'equità, interpreta l'ordine come un comando di completare le informazioni mancanti, assumendo che un quadro medico completo richieda un'etichetta demografica. Facendo ciò, riscrive l'identità del paziente, trasformando un caso generico in uno specifico che non è mai esistito. I ricercatori sottolineano che, sebbene l'accuratezza complessiva dei modelli sia scesa solo leggermente, gli errori si sono concentrati proprio nei casi in cui i modelli cercavano di essere più utili. Lo studio conclude che qualsiasi istruzione che spinga un modello nel suo modo di ragionare può causare l'aggiunta di dettagli non richiesti e, nel mondo ad alta posta in gioco della medicina, anche un piccolo spostamento nella descrizione di un paziente può portare a una pericolosa diagnosi errata.