Proxy reliance in large language model decisions is uncalibrated to predictive evidence

Nel mondo moderno, agli algoritmi viene chiesto sempre più spesso di prendere decisioni ad alto impatto sulle persone, dal determinare chi ottiene un prestito al decidere quale paziente ospedaliero debba ricevere cure prioritarie. Quando questi sistemi vengono costruiti utilizzando modelli linguistici di grandi dimensioni (Large Language Models) — potenti programmi informatici addestrati su enormi quantità di testo — la questione dell'equità diventa complicata. La legge accetta generalmente che un decisore possa utilizzare informazioni se queste aiutano a prevedere un buon esito, come l'uso della pressione sanguigna di un paziente per prevedere il rischio di un attacco cardiaco. Tuttavia, proibisce l'uso di informazioni che fungono meramente da sostituti di una caratteristica protetta, come la razza o il genere, anche se tali informazioni sono statisticamente utili. Questo è noto come discriminazione per proxy. La difficoltà risiede nel fatto che un singolo dato, come il quartiere di una persona, può essere sia un indicatore medico legittimo sia un segnale nascosto della sua razza. I metodi attuali per testare se un algoritmo sia equo si basano spesso su un semplice controllo: se si cambia la razza di una persona nel prompt del computer e la decisione cambia, il sistema è influenzato da pregiudizi (bias). Ma questo approccio trascura la sfumatura della realtà. Un decisore razionale dovrebbe cambiare idea se la nuova informazione è realmente utile, e un sistema che non cambia mai idea potrebbe ignorare prove importanti invece di essere equo.

I ricercatori dell'Università di Osaka hanno cercato di risolvere questo problema andando oltre i semplici controlli sì-no per arrivare a una misurazione più precisa di quanto un algoritmo debba affidarsi a determinati indizi. Hanno creato un mondo simulato in cui conoscevano esattamente la verità su ogni paziente e ogni esito, permettendo loro di calcolare la quantità perfetta di affidamento su qualsiasi informazione data. In questo ambiente controllato, hanno chiesto a quattro diversi modelli linguistici di agire come specialisti di triage, classificando coppie di pazienti simulati per la priorità di trattamento. I pazienti erano descritti da indicatori numerici, alcuni dei quali erano segnali medici legittimi e altri erano "proxy" che correlando con un attributo protetto nascosto, non avevano alcun valore medico reale. I ricercatori potevano quindi confrontare il comportamento dei modelli con uno standard matematico di ciò che farebbe un decisore perfettamente razionale con le stesse informazioni.

Lo studio ha rivelato un distacco sorprendente tra le prove disponibili per i modelli e il modo in cui esse vengono effettivamente utilizzate. Quando i ricercatori hanno fornito ai modelli indizi che non avevano assolutamente alcun valore predittivo, i modelli si sono comunque affidati ad essi, trattando informazioni inutili come se fossero rilevanti. Ciò è accaduto costantemente in tutti e quattro i modelli testati, indipendentemente dal fornitore. Quando gli indizi erano genuinamente utili, i modelli non hanno regolato il proprio affidamento per corrispondere alla forza delle prove. Invece, operavano a un livello di affidamento positivo costante che sottostimava gravemente le prove man mano che il loro valore predittivo cresceva. In altre parole, i modelli non stavano ascoltando i dati; stavano seguendo uno script interno rigido che ignorava la realtà mutevole della situazione. Ciò significa che un sistema potrebbe apparire equo in un test specifico, ma essere profondamente difettoso in un altro, semplicemente perché il test non corrispondeva alle condizioni reali in cui le prove erano più forti o più deboli.

I ricercatori hanno anche indagato se cambiare i nomi dei campi dei dati potesse fermare questo comportamento. Quando hanno etichettato i segnali proxy con termini socialmente carichi come "quartiere" o "occupazione" invece di termini medici neutri, i modelli hanno ridotto l'affidamento su di essi. Questo sembrava una funzione di sicurezza a prima vista. Tuttavia, lo studio ha scoperto che questa soppressione era fragile e facilmente violabile. Quando i ricercatori hanno aggiunto esempi al prompt per aiutare i modelli a comprendere il compito — una pratica comune nelle applicazioni del mondo reale — i modelli hanno ricominciato immediatamente a fare affidamento sui label sociali, spesso ignorando completamente l'effetto protettivo dei nomi. Tuttavia, lo studio ha notato che il contrasto tra etichette sociali e neutre persisteva in tre dei sei casi in cui sono stati forniti esempi, indicando che la soppressione non era stata completamente cancellata ma significativamente indebolita. Ciò suggerisce che l'apparente sicurezza di questi modelli è una reazione superficiale a una specifica formulazione piuttosto che una comprensione profonda e affidabile dell'equità. I modelli potevano essere ingannati verso comportamenti iniqui semplicemente cambiando il contesto in cui venivano richiesti di lavorare.

Inoltre, lo studio ha dimostrato che l'accuratezza della decisione di un modello non è un indicatore affidabile del fatto che stia utilizzando le informazioni in modo equo. Un modello potrebbe compiere la scelta corretta per le ragioni giuste, o la scelta sbagliata per le ragioni sbagliate, e ottenere comunque lo stesso punteggio. In alcuni casi, rendere il compito più difficile aggiungendo più punti dati ha portato i modelli a fare maggiore affidamento sui proxy iniqui, mentre in altri casi ha fatto sì che ne facessero meno. Questa incoerenza significa che controllare semplicemente se un modello è accurato non dice se sta discriminando. I ricercatori hanno scoperto che la relazione tra quanti punti dati un modello vede e come li utilizza dipende interamente da come tali punti dati sono connessi tra loro, un fattore che varia enormemente nei dati medici del mondo reale.

In definitiva, il lavoro dimostra che i metodi attuali per l'audit dell'intelligenza artificiale sono insufficienti per la complessità dell'impiego nel mondo reale. Lo studio prova che senza uno standard noto di ciò che le prove giustificano, è impossibile dire se un modello sia equo o se stia semplicemente ignorando dati utili. I risultati suggeriscono che le configurazioni che sembrano più sicure — quelle che appaiono più resistenti ai pregiudizi nei test semplici — sono spesso le meno rappresentative di come si comporteranno realmente in un ospedale o in una banca. La ricerca conclude che per comprendere davvero questi sistemi e regolarli, dobbiamo andare oltre i semplici controlli dei pregiudizi e sviluppare modi per misurare se l'affidamento di un algoritmo su specifiche informazioni corrisponda al valore reale di tali informazioni. Finché non saremo in grado di farlo, rischiamo di punire i sistemi per essere razionali o, cosa più pericolosa, di fidarci di sistemi che prendono silenziosamente decisioni inique basate su una comprensione fragile del mondo.