Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

Quando una persona chiama per un aiuto d'emergenza, la prima decisione è spesso presa da una voce dall'altra parte della linea. Questo operatore deve decidere rapidamente se il chiamante ha bisogno di un'ambulanza, di una visita medica domiciliare o semplicemente del consiglio di aspettare. Negli ultimi anni, gli ospedali e i servizi di emergenza hanno iniziato a utilizzare l'intelligenza artificiale per assistere in questo compito difficile. Questi programmi informatici ascoltano la conversazione, leggono le parole pronunciate e calcolano quanto sia urgente la situazione. La speranza è che le macchine possano elaborare le informazioni più velocemente e in modo più coerente rispetto agli esseri umani, specialmente quando il chiamante è in dolore o in stato di sofferenza. Tuttavia, un problema persistente in medicina è che le donne spesso ricevono cure diverse dagli uomini, talvolta a loro svantaggio. Possono attendere più a lungo per il sollievo dal dolore o essere prese meno sul serio quando descrivono i sintomi. La domanda critica per la nuova era della tecnologia medica è se questi programmi informatici ripeteranno semplicemente i vecchi errori umani o se possono essere costruiti per trattare tutti equamente.

Un team di ricercatori in Francia si è posto l'obiettivo di indagare esattamente su questo problema nel contesto della gestione delle emergenze mediche. Hanno lavorato con una grande organizzazione chiamata SOS Médecins Grand Paris, che gestisce quotidianamente migliaia di chiamate da persone che necessitano di assistenza medica nella stessa giornata. I ricercatori si sono concentrati su un tipo specifico di chiamata: quelle in cui un medico ha infine visitato il paziente a domicilio. Alla fine di ogni visita, il medico registrava se il paziente veniva inviato al pronto soccorso di un ospedale o rimandato a casa. Questa registrazione ha servito come verità di base (ground truth) per lo studio, permettendo ai ricercatori di vedere quali chiamate richiedessero effettivamente cure ospedaliere urgenti. Hanno raccolto dati da quasi due milioni di chiamate effettuate tra il 2018 e il 2023, accoppiando le registrazioni audio delle chiamate iniziali con le cartelle cliniche finali dei pazienti. Dopo la pulizia e l'abbinamento dei dati, avevano una collezione massiccia di oltre un milione di coppie tra chiamate e risultati con cui lavorare.

I ricercatori hanno poi costruito tre diversi modelli informatici per vedere come il mix di uomini e donne nei dati di addestramento influenzasse i risultati. Non si sono limitati a costruire un solo modello e testarlo; hanno creato tre versioni distinte per isolare l'effetto del bilanciamento di genere. Il primo modello è stato addestrato solo su dati provenienti da uomini. Il secondo è stato addestrato solo su dati provenienti da donne. Il terzo è stato addestrato su un mix perfettamente bilanciato di uomini e donne, ma con la metà del numero totale di esempi rispetto agli altri due. Hanno poi testato ciascun modello su nuove chiamate mai viste prima per vedere quanto fosse efficace nel prevedere chi avesse bisogno di andare in ospedale. L'obiettivo era vedere se un modello addestrato su un gruppo bilanciato avrebbe funzionato ugualmente bene per entrambi i sessi, o se la composizione dei dati di addestramento avrebbe cambiato il modo in cui la macchina "vedeva" uomini e donne.

I risultati hanno rivelato un quadro sorprendente e complesso di come queste macchine apprendono. Il modello addestrato esclusivamente sugli uomini è stato efficace per gli uomini, ma ha incontrato grandi difficoltà quando applicato alle donne. Non riusciva a identificare molte donne che avevano effettivamente bisogno di cure d'emergenza, mostrando una chiara lacuna nelle prestazioni. Al contrario, il modello addestrato esclusivamente sulle donne è stato efficace per le donne e, forse più sorprendentemente, ha performato altrettanto bene per gli uomini. Non sembrava perdere accuratezza quando applicato alla popolazione maschile. Il terzo modello, che era stato addestrato su un mix bilanciato di uomini e donne, si è collocato nel mezzo. È stato più efficace per gli uomini che per le donne, ma il divario era minore rispetto al modello basato solo sugli uomini. Fondamentalmente, i ricercatori hanno scoperto che semplicemente bilanciare i numeri di uomini e donne nei dati di addestramento non era sufficiente a garantire l'equità. Anche il modello bilanciato mostrava una leggera preferenza per gli uomini, suggerendo che il problema non riguarda solo l'avere un numero uguale di esempi, ma qualcosa di più profondo nel modo in cui i sintomi e gli esiti si relazionano tra loro per i diversi sessi.

Per capire perché ciò stesse accadendo, i ricercatori hanno esaminato da vicino le parole che i modelli consideravano più importanti nel prendere le decisioni. Hanno scoperto che il linguaggio usato per descrivere un'emergenza portava pesi differenti a seconda del modello. Ad esempio, termini relativi a cadute o mancanza di respiro erano importanti per entrambi i gruppi, ma altri termini come "dolore" e "addome" erano altamente influenti per il modello femminile, mentre "sangue" e "capogiro" guidavano le decisioni del modello maschile. Ciò indica che la relazione tra ciò che un paziente dice e la necessità di un ospedale non è identica per uomini e donne. I modelli informatici non stavano solo fallendo nel vedere abbastanza esempi di donne; stavano imparando che i segni di un'emergenza appaiono diversi a seconda del sesso del chiamante. Un singolo modello che tenta di imparare da entrambi i gruppi contemporaneamente finisce per fare un compromesso che favorisce i pattern del gruppo di maggioranza, che in questo caso pendeva verso gli uomini.

Lo studio conclude che risolvere il pregiudizio di genere nell'intelligenza artificiale non è semplice come garantire che i dati di addestramento abbiano un numero uguale di uomini e donne. Sebbene il bilanciamento dei dati aiuti, non risolve automaticamente il problema. I ricercatori suggeriscono che le differenze nel modo in cui uomini e donne sperimentano e descrivono la malattia siano strutturali e fondamentali. Per questo motivo, un modello costruito specificamente per le donne appare abbastanza robusto da gestire gli uomini, ma un modello costruito per gli uomini non si traduce bene per le donne. Questo risultato sfida la comune assunzione che un singolo algoritmo bilanciato possa trattare tutti equamente. Al contrario, suggerisce che l'equità nell'IA medica possa richiedere il riconoscimento di queste profonde differenze fin dall'inizio del processo di progettazione, piuttosto che cercare di correggerle successivamente con semplici aggiustamenti dei dati. Il lavoro evidenzia che, affinché questi strumenti siano davvero sicuri ed efficaci, devono essere costruiti con la comprensione che l'esperienza umana della malattia non è uniforme tra i sessi.