Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
Questo studio valuta lo strumento di IA Elicit per la sintesi delle evidenze politiche, riscontrando che, sebbene esso acceleri efficacemente la delimitazione preliminare dell'argomento, attualmente manca della precisione e dell'affidabilità necessarie per revisioni rapide complesse senza un significativo intervento umano.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della sanità pubblica e delle politiche governative, le decisioni su quali trattamenti o programmi finanziare si basano su una base di prove. Prima che venga scritta una nuova norma, gli esperti devono raccogliere tutta la ricerca esistente su un argomento, leggerla attentamente e riassumere ciò che dice cosa funziona e cosa no. Questo processo, noto come sintesi delle evidenze, è essenziale per fare scelte eque ed efficaci, ma è anche incredibilmente dispendioso in termini di tempo. Tradizionalmente, i team di ricercatori trascorrono mesi a cercare tra migliaia di articoli scientifici, controllando se ognuno di essi si adatta alla domanda specifica e poi estraendo i dati per costruire un quadro chiaro. Poiché le necessità dei decisori politici diventano più urgenti e complesse, c'è un crescente desiderio di velocizzare questo lavoro senza perdere accuratezza. È qui che l'intelligenza artificiale entra in scena, promettendo di agire come un potente assistente capace di leggere e smistare informazioni a una velocità che nessun essere umano potrebbe eguagliare.
Un team di ricercatori di università del Regno Unito ha deciso di mettere alla prova uno di questi nuovi strumenti di IA. Volevano vedere se un programma software chiamato Elicit potesse davvero aiutare i ricercatori politici a svolgere il proprio lavoro in modo più veloce e migliore. I ricercatori hanno scelto di valutare lo strumento in due modi diversi. In primo luogo, hanno chiesto se l'IA potesse agire come una guida utile per ottenere una rapida panoramica di un argomento ampio, una fase spesso chiamata "scoping" che avviene prima che inizi una revisione completa. In secondo luogo, hanno testato se l'IA potesse prendere il posto dei ricercatori umani nel condurre una revisione completa e rapida delle evidenze su un soggetto complesso. L'argomento scelto era uno difficile: scoprire quali programmi incoraggiano con successo l'attività fisica tra gli anziani che affrontano svantaggi sociali ed economici. Questo tema è stato scelto perché coinvolge molti elementi in movimento, tra cui diversi tipi di persone, varie tipologie di attività e misure specifiche di successo, rendendolo un test rigoroso per qualsiasi sistema automatizzato.
I ricercatori hanno iniziato chiedendo all'IA di eseguire una scansione rapida della letteratura per aiutarli a comprendere il panorama degli strumenti di attività fisica utilizzati nell'assistenza primaria. In questo ruolo, il software si è dimostrato piuttosto utile. Ha generato un riassunto delle prove disponibili in soli sei minuti, offrendo una visione ampia dell'argomento che gli esperti hanno trovato utile per orientare il loro pensiero. L'output non era perfetto e mancava di una spiegazione dettagliata di come le informazioni fossero state trovate, ma serviva bene come punto di partenza. Ha dato al team un senso di ciò che era disponibile e di dove potessero esserci delle lacune, agendo efficacemente come una mappa preliminare veloce prima che iniziassero il lavoro più difficile di tracciare l'intero territorio.
Tuttavia, quando i ricercatori hanno chiesto all'IA di svolgere il compito completo e rigoroso di una revisione rapida, i risultati sono stati molto meno incoraggianti. Hanno inserito la stessa domanda complessa sulla l'attività fisica nelle popolazioni anziane svantaggiate nel sistema e hanno osservato come gestiva il lavoro. Il processo ha richiesto oltre tre ore, durante le quali i ricercatori umani hanno dovuto trascorrere un tempo significativo a perfezionare le domande e a correggere le assunzioni dell'IA. Quando il rapporto finale è stato prodotto, conteneva un elenco di quaranta studi che l'IA sosteneva fossero rilevanti. Eppure, quando gli esperti umani hanno controllato questi studi rispetto alle rigide regole della revisione, hanno scoperto che trentasei di essi non appartenevano affatto alla categoria. L'IA aveva incluso studi che riguardavano gli esiti sbagliati, si concentrava sui gruppi di persone errati o esaminava interventi che non rientravano nei criteri. Di fatto, il software aveva tralasciato trentantaquattro studi che il team umano aveva invece trovato con successo e incluso nella propria revisione.
Il problema principale sembrava essere che l'IA faticasse con la sfumatura del linguaggio utilizzato negli articoli scientifici. Poteva identificare facilmente parole come "anziano" o "attività fisica", ma non riusciva a comprendere il significato più profondo di sapere se uno studio stesse effettivamente testando la cosa giusta per il gruppo giusto di persone. Ad esempio, non riusciva a distinguere tra un programma progettato per migliorare la salute generale e uno specificamente progettato per aumentare l'attività fisica, anche se la terminologia era simile. A causa di questi errori, il riassunto finale prodotto dall'IA era pieno di informazioni che non rispondevano alla domanda originale. Discuteva esiti non rilevanti e traeva conclusioni basate su prove che non erano idonee per la revisione. La revisione guidata dagli umani, al contrario, è stata in grado di filtrare il rumore e concentrarsi solo sugli studi che contavano davvero, portando a una conclusione molto più accurata e affidabile.
I ricercatori hanno anche osservato come il software gestiva i dati che riusciva a trovare. Sebbene l'IA fosse in grado di estrarre dettagli di base come il paese in cui si svolgeva uno studio o il numero di partecipanti, era incoerente per quanto riguarda l'estrazione di risultati specifici, come quanto un intervento migliorasse la salute di una persona. In alcuni casi, mancava completamente i dati; in altri, non era chiaro cosa avesse trovato. Inoltre, il software non aveva la capacità di giudicare la qualità degli studi, il che significa che trattava un esperimento debole e mal progettato allo stesso modo di uno forte e ben condotto. Questa mancanza di controllo della qualità è un rischio significativo, poiché potrebbe portare i decisori politici a fare affidamento su prove fallaci.
In definitiva, lo studio suggerisce che, sebbene l'intelligenza artificiale possa essere uno strumento prezioso per ottenere una rapida panoramica di alto livello di un argomento, non è ancora pronta a sostituire i ricercatori umani nel compito critico di condurre una revisione completa delle evidenze, specialmente quando le domande sono complesse. L'IA può accelerare le fasi iniziali della ricerca, ma commette ancora troppi errori nelle fasi successive per poter essere affidata da sola. I ricercatori hanno concluso che, per ora, il miglior approccio è utilizzare il software come un aiutante che lavora fianco a fianco con un esperto umano, il quale deve controllare ogni decisione presa dalla macchina. Il tempo risparmiato utilizzando l'IA è attualmente incerto, poiché lo sforzo umano necessario per correggere i suoi errori potrebbe annullare i guadagni iniziali di velocità. Man mano che questi strumenti continuano a evolversi, la speranza è che diventino più bravi a comprendere i dettagli sottili del linguaggio umano e della ricerca, ma per il momento, la mente umana rimane essenziale per garantire che le prove che guidano la politica pubblica siano accurate e affidabili.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.