Reporting of AI and ML Studies in Elderly Care Settings: A Rapid Systematic Scoping Review

Immaginate un mondo in cui la tecnologia veglia silenziosamente sugli anziani, non per sostituire l'assistenza umana, ma per supportarla. Nelle case di cura, nelle strutture di assistenza residenziale e nelle abitazioni private, i computer vengono sempre più chiamati a compiere azioni come individuare una caduta prima che arrivi un assistente, prevedere quando un residente potrebbe aver bisogno di maggiore aiuto o monitorare le routine quotidiane per segni di problemi. Questi sistemi si affidano all'intelligenza artificiale e all'apprendimento automatico, due termini che spesso sembrano provenire dalla fantascienza ma che, nella pratica, sono semplicemente modi per far apprendere ai computer dai dati per fare previsioni o individuare schemi. La speranza è che questi strumenti possano rendere l'assistenza più sicura ed efficiente. Tuttavia, affinché questi strumenti possano essere affidati e utilizzati efficacemente, le persone che li costruiscono devono spiegare esattamente come funzionano, da quali dati hanno imparato e dove potrebbero fallire. Senza spiegazioni chiare, un sistema che appare perfetto sulla carta potrebbe rivelarsi inutile o addirittura pericoloso nel mondo reale.

Un team di ricercatori della Kempten University of Applied Sciences ha deciso recentemente di esaminare da vicino come gli scienziati stiano attualmente riportando questi progetti di intelligenza artificiale per gli anziani. Non hanno costruito un nuovo sistema né testato un dispositivo specifico. Al contrario, hanno agito come auditor della letteratura, raccogliendo ed esaminando 69 studi recenti pubblicati dal 2020 in poi. Il loro obiettivo era vedere se gli autori di questi studi fornissero informazioni sufficienti affinché altri potessero comprendere i sistemi che avevano creato. Volevano sapere se i rapporti includessero dettagli su chi avrebbe utilizzato la tecnologia, che tipo di dati avesse istruito il computer e se il sistema fosse stato testato al di fuori di un ambiente di laboratorio controllato.

Ciò che hanno trovato è un panorama di reporting disomogeneo. Sebbene i ricercatori fossero generalmente bravi a descrivere lo scopo fondamentale dei loro sistemi e la provenienza dei loro dati, spesso omettevano i dettagli cruciali che determinano se un sistema possa effettivamente funzionare in una frenetica casa di cura o in una tranquilla zona giorno. Ad esempio, quasi tutti gli studi descrivevano cosa dovesse fare il computer, ma meno della metà spiegava chiaramente chi sarebbe stato il decisore umano. In molti casi, non era chiaro se il sistema fosse destinato ad avvisare un infermiere, un familiare o il residente stesso, o come tale persona dovesse reagire all'avviso. Questa mancanza di chiarezza rende difficile capire come la tecnologia si inserisca nel complesso flusso umano dell'assistenza quotidiana.

Il divario si è ampliato quando i ricercatori hanno esaminato come venivano testati questi sistemi. La maggior parte degli studi si basava sulla validazione interna, il che significa che il computer veniva testato sugli stessi dati che aveva già visto o su dati molto simili a quelli da cui aveva appreso. Questo è come uno studente che sostiene un test di pratica utilizzando esattamente le stesse domande che ha studiato. Sebbene ciò dimostri che il computer può riconoscere gli schemi, non prova che possa gestire la realtà disordinata e imprevedibile di un nuovo ambiente. Solo una piccola frazione degli studi (il 16 percento) ha riferito di aver testato i propri sistemi su dati completamente nuovi e indipendenti. Ancora meno, circa il 20 percento, ha descritto il test del sistema in un contesto di assistenza reale, dove interagiva con pazienti e personale effettivi. Senza questi test nel mondo reale, rimane incerto se i sistemi manterranno le stesse prestazioni di fronte al rumore, al movimento e alla varietà di una vera casa o struttura.

L'omissione forse più preoccupante è stata la mancanza di discussione riguardo all'incertezza e ai pregiudizi (bias). Quando un computer fa una previsione, raramente è certo al 100 percento, e può talvolta sbagliare in modi che influenzano determinati gruppi di persone più di altri. I ricercatori hanno scoperto che solo il 9 percento degli studi spiegava come il sistema gestisse l'incertezza o quanto fosse fiducioso nelle proprie risposte. Allo stesso modo, solo il 23 percento degli studi ha verificato se il sistema si comportasse diversamente per diversi sottogruppi, come uomini rispetto a donne o persone con diversi tipi di problemi di mobilità. Senza questa informazione, non c'è modo di sapere se un sistema sia equo o affidabile per tutte le persone che potrebbero utilizzarlo. Gli studi raramente discutevano anche cosa accadesse quando i dati sono mancanti, un evento comune nella vita reale, lasciando un significativo punto cieco su come questi sistemi si comporterebbero in caso di guasto dei sensori o di record incompleti.

Gli autori della revisione suggeriscono che il modo attuale in cui questi studi vengono scritti si concentri troppo sulla costruzione tecnica del modello informatico e troppo poco su come il sistema si inserisca nel più ampio ambiente umano. Le linee guida esistenti per la segnalazione della ricerca medica, progettate per strumenti diagnostici come raggi X o analisi del sangue, non sembrano coprire pienamente le sfide uniche dell'assistenza agli anziani, dove il "paziente" è spesso una comunità intera di persone con bisogni variabili, e la "diagnosi" è spesso un flusso continuo di dati comportamentali. La revisione indica che, sebbene la tecnologia stia avanzando rapidamente, il modo in cui i ricercatori comunicano la sua prontezza e i suoi limiti non è riuscito a tenere il passo. Finché i rapporti non includeranno dettagli chiari su chi utilizza il sistema, come è stato testato nel mondo reale e dove potrebbe fallire, sarà difficile per gli assistenti e le istituzioni sapere se questi strumenti siano davvero pronti per essere affidati alla sicurezza e al benessere degli anziani.