Default-filled outcome labels in a deployed cognitive-screening programme: an operator-level audit and the construction of twenty-four language-model arms

Negli angoli silenziosi delle cliniche sanitarie comunitarie in tutta la Cina, una quantità massiccia di dati viene generata ogni giorno. I residenti si recano in clinica per controllare le proprie capacità di memoria e di pensiero, rispondendo a una serie di domande sulla loro vita quotidiana e completando brevi test cognitivi. Queste risposte vengono registrate in un sistema digitale, creando una vasta biblioteca di cartelle cliniche. Per anni, i ricercatori hanno sperato di usare questa biblioteca per insegnare ai computer come individuare i primi segni di declino cognitivo, come una lieve perdita di memoria o la demenza, senza la necessità che un medico specialista esamini ogni singolo file. L'idea è semplice: se un computer può imparare da migliaia di record di routine, potrebbe aiutare a identificare le persone che necessitano di cure molto più velocemente e a costi inferiori rispetto all'attuale sistema. Tuttavia, esiste un problema nascosto nell'uso di questi record di routine. Le persone che inseriscono i dati nel sistema non sono sempre medici; sono spesso personale della clinica o volontari. La qualità delle informazioni che inseriscono può variare enormemente a seconda di chi sta digitando, e a volte i dati vengono inseriti automaticamente senza che qualcuno controlli effettivamente le condizioni del paziente. Ciò crea una situazione in cui il computer sta cercando di imparare da un libro di testo che contiene molti errori, rendendo difficile capire se il computer stia effettmente imparando la verità o stia solo memorizzando gli errori.

Un team di ricercatori ha deciso di affrontare questo problema direttamente, esaminando un programma specifico di screening cognitivo su larga scala che è in corso nella comunità. Invece di costruire immediatamente un nuovo modello informatico, hanno prima agito come auditor, esaminando i dati grezzi per vedere chi stava inserendo i dati e quanto fossero accurati gli inserimenti. Hanno scoperto un modello sorprendente: quasi il quaranta percento dell'intero database era stato inserito da un piccolo gruppo di account che non aveva mai registrato un singolo caso di compromissione cognitiva, indipendentemente da quanti pazienti avessero elaborato. In altre parole, questi account stavano probabilmente solo cliccando su un pulsante predefinito "normale" per tutti, a prescindere dai reali risultati dei test. Questo non era un rumore casuale; era un errore sistematico concentrato in specifici account utente. I ricercatori hanno testato e scartato l'idea che ciò fosse causato da un glitch del computer che compilava i timestamp in blocco, confermando invece che si trattava di un problema di comportamento umano. Una volta identificati questi account problematici, hanno rimosso quei dati per vedere cosa restava, rivelando che il tasso reale di compromissione nel programma era molto più alto di quanto suggerito dai numeri grezzi.

Con questa comprensione pulita dei dati, i ricercatori si sono poi posti l'obiettivo di testare ventiquattro modi diversi per addestrare un computer a predire lo stato cognitivo. Volevano vedere se l'intelligenza artificiale moderna, specificamente i grandi modelli linguistici, potesse superare l'esistente semplice programma informatico utilizzato dal sistema sanitario. Il programma esistente era uno strumento statistico diretto che analizzava ventuno variabili specifiche, come età, istruzione e punteggi dei test, per fare una previsione. I ricercatori hanno costruito una matrice di nuovi modelli, che spaziavano da piccoli computer installati localmente a sistemi di intelligenza artificiale massicci e potenti. Hanno provato ad addestrare questi nuovi modelli usando i dati di routine, usando solo le diagnosi verificate dai medici specialisti e usando persino un mix di entrambi. Hanno anche testato tecniche avanzate come far "pensare ad alta voce" il computer prima di rispondere, o l'apprendimento per rinforzo, che è un metodo in cui il computer impara per tentativi ed errori per massimizzare una ricompensa.

I risultati sono stati sorprendenti e chiari. Nessuno dei complessi modelli di intelligenza artificiale, quando addestrato sui dati di routine o anche sul piccolo set di diagnosi degli specialisti, è riuscito a battere il semplice strumento statistico esistente. Infatti, le tecniche avanzate spesso rendevano i modelli peggiori. Ad esempio, quando i ricercatori hanno chiesto ai modelli di spiegare il proprio ragionamento passo dopo passo, l'accuratezza è diminuita. Quando hanno provato l'apprendimento per rinforzo per perfezionare i modelli su solo poche centinaia di casi specialistici, la prestazione è scesa significativamente al di sotto della linea di base semplice. Lo studio ha dimostrato che avere un computer più potente o un metodo di addestramento più complesso non garantisce risultati migliori se i dati sono difettosi o se l'insieme di addestramento è troppo piccolo per insegnare efficacementamente al sistema complesso. Lo strumento semplice rimaneva il predittore più affidabile perché era ben calibrato e non confuso dal rumore nei dati.

Tuttavia, i ricercatori hanno trovato una strada percorribile che funzionava meglio di tutto il resto. Hanno utilizzato un modello di intelligenza artificiale potente e all'avanguardia, che era troppo costoso e lento per essere eseguito direttamente nelle cliniche, come "insegnante". Questo modello insegnante guardava i record di routine e assegnava loro un'etichetta nuova e di alta qualità. I ricercatori hanno poi preso una versione più piccola e locale del modello di intelligenza artificiale e hanno insegnato a questo ultimo a imitare le risposte dell'insegnante. Questo processo, noto come distillazione della conoscenza, ha permesso al piccolo modello di apprendere l'esperienza dell'insegnante senza bisogno delle etichette degli specialisti per il proprio addestramento. Il risultato è stato un modello piccolo e veloce che poteva essere eseguito su un computer standard in clinica, il quale ha superato sia lo strumento statistico semplice che l'insegnante stesso di un piccolo ma statisticamente significativo margine. Questo successo è avvenuto perché il piccolo modello è stato in grado di mediare i piccoli errori che l'insegnante poteva aver commesso, creando un predittore più stabile e accurato.

Lo studio conclude che prima di cercare di costruire sistemi complessi di intelligenza artificiale per l'assistenza sanitaria, è essenziale sottoporre i dati a un audit preventivo. I ricercatori hanno scoperto che il quaranta percento delle etichette di routine erano effettivamente inutili perché inserite come valori predefiniti da account specifici, e l'addestramento su questi dati non forniva alcun beneficio. Hanno dimostrato che metodi complessi come l'apprendimento per rinforzo o il far ragionare il computer attraverso i problemi non aiutavano quando i dati erano rumorosi o quando gli esempi specialistici erano troppo pochi. Invece, la strategia più efficace era utilizzare un potente modello di intelligenza artificiale pronto all'uso come strumento di etichettatura per ripulire i dati di routine, e poi distillare tale conoscenza in un modello più piccolo e distribuibile. Questo approccio ha prodotto il sistema più accurato e affidabile per identificare l'compromissione cognitiva, provando che a volte il modo migliore per usare la tecnologia avanzata non è lasciarle prendere la decisione finale, ma usarla per insegnare a uno strumento più semplice e pratico come svolgere il lavoro correttamente.