High-Stakes Decisions with Language Models: Insights from Emergency Triage

Immagina di essere il capitano di un'astronave che naviga in un campo di asteroidi nebbioso. Il computer della tua nave è incredibilmente intelligente; può guardare un punto sfocato e dirti: "C'è una probabilità del 90% che quel punto sia un asteroide pericoloso". Ma il computer non sa cosa fare con quel numero. Se ti schianti, la nave esplode (un'emergenza mancata). Se spari un colpo di avvertimento a una nuvola innocua, sprechi carburante e infastidisci l'equipaggio (un falso allarme). Il computer ha bisogno di una regola: "Se il pericolo è superiore al 10%, spara il colpo!" o "Spara solo se è superiore al 90%!". Questa regola si chiama funzione di utilità. Nel mondo reale, i medici affrontano esattamente questa situazione nebbiosa ogni giorno. Usano il triage per decidere chi ha bisogno di assistenza immediata e chi può aspettare. Per molto tempo, gli scienziati hanno saputo che prendere queste decisioni ad alto rischio non riguarda solo il tirare a indovinare le probabilità; si tratta di sapere quanto odi commettere il tipo sbagliato di errore. Se hai troppa paura di mancare una crisi, manderai tutti in ospedale. Se sei troppo preoccupato di sprecare tempo, potresti perdere una situazione di vita o di morte. La grande domanda è: quando chiediamo a cervelli informatici super intelligenti (chiamati Modelli di Linguaggio), di fare il capitano, sanno come stabilire le proprie regole, o tirano solo a indovinare?

Questo articolo approfondisce questa questione trattando il triage medico d'emergenza non come un semplice gioco di indovini, ma come un puzzle decisionale. I ricercatori hanno preso un insieme di storie mediche (vignette) dove i medici avevano già deciso chi avesse bisogno del pronto soccorso e chi no. Hanno chiesto a diversi modelli di IA di leggere queste storie e prima, di indovinare la probabilità che un paziente avesse bisogno di cure d'emergenza, e secondo, di decidere se inviarlo al pronto soccorso. Il team ha scoperto una cosa sorprendente: i modelli di IA erano in realtà molto bravi a indovinare le probabilità. Potevano distinguere un paziente malato da uno sano con un'alta precisione. Tuttavia, quando si trattava di prendere la decisione finale, i modelli agivano come se avessero una regola segreta e non detta che era troppo cauta riguardo all'invio delle persone in ospedale.

Gli autori hanno scoperto che il "comportamento errato" osservato in un popolare strumento sanitario per consumatori (che è risultato mancare più della metà delle emergenze reali) non era dovuto al fatto che l'IA fosse stupida o non capisse la medicina. Invece, era perché l'IA stava usando una regola predefinita e nascosta che dava valore alle risorse risparmiate rispetto alle vite salvate. Era come un capitano che si rifiuta di sparare il colpo di avvertimento a meno che l'asteroide non sia certo al 99%, anche se mancarne uno sarebbe catastrofico. Il documento mostra che quando i ricercatori hanno esplicitamente detto all'IA: "Ehi, mancare un'emergenza è 5 volte peggio di un falso allarme", l'IA ha cambiato immediatamente idea. Ha iniziato a inviare più pazienti al pronto soccorso, intercettando circa il 50% in più di emergenze reali senza causare un enorme aumento di visite inutili.

Lo studio suggerisce che il problema non è la capacità dell'IA di prevedere il futuro, ma la sua capacità di seguire gli ordini del capitano su ciò che conta di più. I ricercatori hanno scoperto che, semplicemente cambiando le parole nel prompt per specificare il "costo" di diversi errori, potevano guidare l'IA ad agire come un medico che dà priorità alla sicurezza o come un medico che dà priorità al risparmio delle risorse, a seconda di ciò che era necessario. Hanno anche notato che, senza queste istruzioni chiare, ogni modello di IA sembra avere la propria strana e invisibile preferenza che nessuno può vedere o controllare. L'articolo conclude che, affinché questi strumenti siano sicuri e utili negli ospedali, non possiamo solo chiedere loro di "essere intelligenti". Dobbiamo dire loro esplicitamente come pesare i rischi, proprio come un capitano deve dare ordini chiari al proprio computer di navigazione prima di entrare nella nebbia.