Language Models Reproduce Human Reductionist Bias and Decision Inconsistency in Neurodevelopmental Disorders Assessment

Nel complesso mondo dell'assistenza alla salute mentale, i medici e gli psicologi si trovano spesso ad affrontare un compito difficile: decidere se la condizione di una persona sia abbastanza grave da giustificare l'accesso al sostegno governativo. Non si tratta solo di diagnosticare una malattia; si tratta di giudicare quanto una persona sia in grado di gestire la propria vita. In molti luoghi, questo giudizio determina se una famiglia riceve denaro per le cure, alloggi specializzati o il diritto di avere un genitore in casa per prestare assistenza. La decisione dipende da una domanda specifica: questa persona può vivere in modo indipendente o ha bisogno di assistenza costante per i propri bisogni fondamentali? Per le persone con condizioni neuroevolutive come l'autismo o il disturbo da deficit di attenzione e iperattività, la risposta è raramente semplice. Le loro difficoltà potrebbero essere invisibili in uno studio medico, ma travolgenti nel mondo reale. Poiché queste decisioni comportano un peso tale, cresce la speranza che l'intelligenza artificiale possa aiutare a renderle più eque e coerenti. I grandi modelli linguistici, i potenti programmi informatici in grado di scrivere e ragionare, vengono testati per vedere se possono agire come giudici imparziali. Ma prima di affidar loro scelte così cruciali, dobbiamo capire come vedono il mondo. Interpretano i bisogni umani allo stesso modo degli esseri umani, o trascurano le parti sottili e sociali di una vita che rendono possibile l'indipendenza?

Un team di ricercatori in Polonia ha deciso di testare questo aspetto sottoponendo sia esperti umani che intelligenza artificiale a una serie rigorosa di prove. Hanno raccolto trentacinque professionisti umani, un mix di diciotto medici e diciassette psicologi, che lavorano regolarmente nei comitati di valutazione della disabilità. Questi sono i comitati che decidono chi riceve il sostegno. Per confrontarli equamente, i ricercatori hanno selezionato anche sette diversi modelli linguistici di grandi dimensioni provenienti da importanti aziende tecnologiche. L'obiettivo era vedere se le macchine avrebbero commesso gli stessi errori degli umani, o se avrebbero portato un nuovo tipo di pregiudizio. I ricercatori hanno progettato uno studio che esaminava tre aspetti specifici: se i decisori potessero essere ingannati dall'ordine delle informazioni o da una foto fuorviante, quanto fossero umili riguardo alla propria conoscenza e, cosa più importante, come definissero la frase "bisogni vitali di base".

L'esperimento è iniziato con una serie di casi di studio fittizi. Gli esperti umani e i modelli informatici sono stati chiamati a leggere descrizioni di persone con varie condizioni e poi a rispondere a due domande. Primo, dovevano valutare quanto bene la persona funzionasse. Secondo, dovevano decidere se quella persona avesse bisogno di cure o assistenza costanti per vivere indipendentemente. Per testare se i decisori fossero facilmente influenzati da dettagli irrilevanti, i ricercatori hanno utilizzato alcuni trucchi. In alcuni casi, hanno posto tutte le informazioni negative sulle difficoltà di una persona all'inizio della storia, sperando che il lettore rimanesse bloccato su quelle prime impressioni negative. In altri casi, hanno allegato una foto di una persona dall'aspetto triste o sofferente a una storia che altrimenti era identica a una con una foto neutra. Volevano vedere se vedere un volto triste avrebbe spinto gli esperti a concedere più sostegno, anche se il testo diceva che la persona stava bene.

I risultati di questi trucchi sono stati sorprendentemente coerenti in entrambi i gruppi. Né gli esperti umani né i modelli di intelligenza artificiale hanno mostrato un cambiamento significativo nelle loro decisioni basato sull'ordine del testo o sull'emozione della foto. Entrambi i gruppi sembravano guardare oltre queste distrazioni e concentrarsi sui fatti centrali del caso. Questo è stato un sollievo, suggerendo che i modelli non venissero facilmente ingannati dalle stesse sollecitazioni visive o testuali che potrebbero trarre in inganno un essere umano. Tuttavia, quando i ricercatori hanno scavato più a fondo nelle decisioni effettive, è emerso un problema di un altro tipo. Hanno scoperto che né gli umani né le macchine erano molto coerenti nella loro logica. Una persona poteva essere valutata come avente un livello di funzionamento "significativamente compromesso", eppure quella stessa persona poteva non ricevere il sostegno di cui aveva bisogno. Al contrario, qualcuno valutato con un funzionamento "medio" poteva comunque ricevere l'aiuto. La valutazione di quanto una persona funzionasse non prediceva in modo affidabile se avrebbe ricevuto il sostegno. Questa incoerenza esisteva sia nei medici umani che nei modelli informatici, suggerendo che il passaggio dalla descrizione di un problema alla concessione di una soluzione sia un processo disordinato e tipicamente umano che anche le macchine hanno ereditato.

Forse la parte più rivelatrice dello studio è arrivata quando i ricercatori hanno chiesto ai partecipanti di spiegare il proprio ragionamento. Hanno chiesto agli umani e alle macchine di definire cosa significasse effettivamente "bisogni vitali di base". Qui, è emersa una netta divisione. Gli psicologi umani tendevano ad avere una visione ampia. Includevano il benessere emotivo, la capacità di comunicare e la connessione sociale come parti essenziali di un bisogno di base. Se una persona non riusciva a parlare con gli altri o a comprendere i segnali sociali, gli psicologi vedevano in ciò un fallimento nel soddisfare un bisogno fondamentale. I medici umani, invece, avevano una visione più ristretta. Si concentravano quasi esclusivamente sulla sopravvivenza fisica: la capacità di mangiare, vestirsi, camminare e usare il bagno. I modelli di intelligenza artificiale, sorprendentemente, si sono schierati con i medici. Definivano i bisogni di base quasi esclusivamente in termini di sopravvivenza biologica e cura di sé. Raramente menzionavano la comunicazione o l'interazione sociale, a meno che non fossero direttamente legate alla sicurezza fisica.

Questa differenza di definizione ha avuto un impatto diretto sulle decisioni finali. Poiché gli psicologi includevano le difficoltà sociali e comunicative nella loro definizione di "bisogni di base", erano molto più propensi a concedere sostegno ai pazienti fittizi. I medici e i modelli di intelligenza artificiale, attenendosi a una rigida lista di controllo biologica, concedevano il sostegno con meno frequenza. Anche se i modelli dichiaravano di essere molto umili riguardo alla propria conoscenza — ottenendo punteggi più alti in un test di umiltà intellettuale rispetto ai medici umani — questa umiltità non rendeva le loro decisioni più coerenti o più allineate con gli esperti umani. In effetti, i punteggi elevati dei modelli sull'umiltà sembravano essere un tratto superficiale, un modo di parlare che non si traduceva in una comprensione più profonda della complessità umana. Le macchine erano disposte a dire che potevano sbagliare, ma operavano comunque secondo un quadro medico ristretto che trascurava la realtà sociale delle persone che stavano giudicando.

Lo studio conclude che, sebbene l'intelligenza artificiale possa essere brava a ignorare semplici trucchi come una foto triste o un ordine confuso delle frasi, non è ancora pronta a sostituire il giudizio umano in queste aree sensibili. I modelli stanno riproducendo una visione riduzionista della vita umana, che valorizza l'indipendenza fisica rispetto alla connessione sociale e comunicativa. Concentrandosi solo sulla capacità del corpo di funzionare, le macchine rischiano di negare il sostegno a persone le cui maggiori difficoltà risiedono nell'ambito dell'interazione e della comprensione. I ricercatori suggeriscono che, affinché l'intelligenza artificiale sia davvero utile nella salute mentale e nella valutazione della disabilità, debba essere insegnata a vedere la persona nella sua interezza, non solo la macchina biologica. Finché la tecnologia non sarà in grado di afferrare il pieno peso di ciò che significa vivere una vita umana, affidarsi ad essa per queste decisioni potrebbe semplicemente rafforzare le stesse prospettive ristrette che hanno a lungo complicato il lavoro degli esperti umani.