Mapping social determinants of health in NIH research funding with large language models

Ogni giorno, la salute di una persona è plasmata da molto più di quanto non siano i medicinali che riceve o i medici che visita. È influenzata dall'aria che respira, dalla sicurezza del suo quartiere, dalla sua capacità di permettersi il cibo e dal fatto che possa accedere a un'istruzione di qualità. Gli scienziati chiamano questi fattori i determinanti sociali della salute. Sono le forze invisibili che guidano il motivo per cui alcune comunità prosperano mentre altre lottano, dando conto della stragrande maggioranza degli esiti sanitari. Per risolvere questi problemi radicati, i governi devono sapere dove sta andando il denaro destinato alla ricerca. Negli Stati Uniti, gli National Institutes of Health agiscono come il più grande finanziatore pubblico al mondo per la ricerca sanitaria, indirizzando miliardi di dollari verso progetti specifici. Se questo finanziamento ignora costantemente certi problemi sociali, l'evidenza scientifica necessaria per risolverli non viene mai costruita.

Per anni, i ricercatori che cercavano di tracciare quanto il governo spendesse per questi problemi sociali hanno affrontato un ostacolo difficile. Hanno dovuto leggere migliaia di domande di sovvenzione, che sono documenti lunghi e complessi scritti da scienziati. Per trovare i progetti rilevanti, in precedenza si affidavano a semplici ricerche informatiche che cercavano parole chiave specifiche. Se una proposta di sovvenzione utilizzava le parole esatte, veniva conteggiata. Se descriveva lo stesso problema usando un linguaggio diverso o intrecciava l'idea in una storia più ampia, il modello la perdeva. Questo metodo era troppo rigido, come cercare un ago in un pagliaio guardando solo aghi che siano esattamente dello stesso colore. Di conseguenza, il vero quadro di dove fluissero i soldi della ricerca rimaneva sfocato, e i vuoti di finanziamento per critiche questioni sociali passavano inosservati.

Un team di ricercatori ha recentemente deciso di provare un approccio diverso, utilizzando una nuova generazione di intelligenza artificiale nota come modelli linguistici di grandi dimensioni (large language models). Questi sono sistemi informatici addestrati su enormi quantità di testo che possono comprendere il contesto e le sfumature, proprio come un lettore umano. Inveve di limitarsi a caccia alle parole chiave, questi modelli possono leggere una proposta di sovvenzione e comprenderne l'intento sottostante, anche quando l'autore non utilizza una terminologia standard. I ricercatori hanno testato undici diverse versioni di questi modelli per vedere quale potesse identificare meglio i riferimenti ai determinanti sociali nelle domande di sovvenzione. Volevano sapere se questi modelli intelligenti potessero fare un lavoro migliore rispetto ai vecchi metodi basati sulle parole chiave e se potessero gestire la realtà disordinata di come gli scienziati scrivono effettivamente dei problemi sociali.

Lo studio si è concentrato sulle sezioni "Public Health Relevance" di un dataset di oltre 2.000 domande di sovvenzione dell'anno fiscale 2023. I ricercatori hanno prima insegnato a un modello a riconoscere cinque categorie specifiche di determinanti sociali: stabilità economica, accesso all'istruzione, accesso all'assistenza sanitaria, condizioni del quartiere e contesto sociale e comunitario. Lo hanno fatto facendo in modo che esperti umani etichettassero attentamente una parte del testo, creando un insieme di risposte corrette da cui il modello potesse imparare. Hanno poi testato i modelli per vedere quanto bene riuscissero a trovare queste categorie nel resto del testo. La sfida era significativa perché la maggior parte delle sovvenzioni non menziona affatto questi fattori sociali e, quando lo fanno, i riferimenti sono spesso rari e sepolti in profondità nel testo.

I risultati hanno rivelato una verità sorprendente su come funzionano questi sistemi di intelligenza artificiale. I ricercatori hanno scoperto che modelli più piccoli, perfezionati specificamente sul compito a valle, hanno superato i modelli massicci e generalisti. In particolare, ModernBERT-base ha raggiunto la massima performance quando addestrato direttamente sul compito di classificazione target dello studio. Ha identificato correttamente i fattori sociali nel testo più spesso dei modelli più grandi, che erano migliaia di volte più grandi e si affidavano alla loro conoscenza generale per indovinare le risposte. Anche i modelli più piccoli erano più stabili e coerenti, mentre i modelli più grandi a volte faticavano a imparare le regole specifiche del compito.

Tuttavia, lo studio ha anche messo in luce una lezione critica su come utilizzare questi strumenti. I ricercatori hanno scoperto che non bastava addestrare il modello; dovevano regolare il modo in cui il modello prendeva le sue decisioni finali. Poiché i fattori sociali apparivano così raramente nel testo, il modello tendeva a ignorarli, assumendo che non fossero presenti. Regolando la sensibilità del modello per ogni categoria specifica, i ricercatori sono stati in grado di recuperare una quantità enorme di informazioni perse. Questa regolazione ha trasformato un sistema che funzionava a malapena in uno che operava con alta performance. Senza questo passaggio, i modelli più avanzati avrebbero fallito nel catturare proprio i dati che erano stati progettati per trovare.

Quando i ricercatori hanno esaminato da vicino i diversi tipi di fattori sociali, hanno scoperto che i modelli si comportavano diversamente a seconda della categoria. Per argomenti chiari e ben definiti come la stabilità economica o le condizioni del quartiere, i modelli più piccoli e specializzati erano eccellenti. Potevano individuare questi fattori con alta precisione. Ma per argomenti più vaghi e complessi, come il contesto sociale e comunitario, i modelli più grandi e generali mostravano un vantaggio. Questi temi sono spesso descritti in modi sottili che richiedono una comprensione ampia delle relazioni umane e della società, un punto di forza che i modelli massicci possedevano. Ciò suggerisce che, sebbene i modelli più piccoli siano generalmente migliori ed efficienti, i modelli più grandi possiedono ancora una capacità unica di comprendere i concetti sociali più astratti.

Le implicazioni di questo lavoro sono significative per il modo in cui la scienza viene finanziata e compresa. I ricercatori hanno dimostato che è possibile costruire un sistema in grado di scansionare decenni di dati sulle sovvenzioni per vedere esattamente quali problemi sociali vengono studiati e quali vengono ignorati. Hanno dimostato che questo può essere fatto con modelli relativamente piccoli ed efficienti che non richiedono hardware costosi e massicci o software proprietari segreti. Ciò rende possibile per i funzionari di sanità pubblica e i ricercatori monitorare le tendenze di finanziamento in tempo reale, assicurando che il denaro sia indirizzato verso le aree in cui è più necessario. Utilizzando questi strumenti, le agenzie possono finalmente vedere l'intero panorama dei loro investimenti nella ricerca, identificando i punti ciechi dove i determinanti sociali sono sottofinanziati e guidando le decisioni future per creare un sistema sanitario più equo.

Lo studio ha anche evidenziato una lacuna persistente nell'attuale panorama della ricerca. Anche con i migliori strumenti disponibili, l'analisi ha mostrato che alcune aree, in particolare l'accesso e la qualità dell'istruzione, rimangono significativamente sottorappresentate nelle sovvenzioni che ricevono finanziamenti. Questo non è solo un errore di dati; è un riflesso di dove la comunità scientifica ha scelto di concentrare la propria attenzione. Quando un fattore sociale viene sistematicamente trascurato nelle proposte di ricerca, la base di evidenze necessaria per risolvere quel problema rimane esigua. La capacità di mappare accuratamente queste tendenze significa che i decisori politici possono ora vedere chiaramente questi vuoti e fare scelte informate per bilanciare il portafoglio di ricerca, garantendo che i motori delle disparità sanitarie siano affrontati con lo stesso rigore delle malattie che causano.

In definitiva, questa ricerca fornisce una nuova lente attraverso cui guardare il meccanismo della scoperta scientifica. Si sposta oltre il semplice conteggio delle parole per comprendere il vero intento della ricerca che viene proposta. Combinando la precisione dei modelli specializzati con la vasta comprensione di quelli grandi, e regolando attentamente il modo in cui questi sistemi prendono decisioni, gli scienziati hanno creato uno strumento potente per la trasparenza. Questo strumento non si limita a contare le sovvenzioni; rivela le priorità della ricerca sanitaria di una nazione, offrendo una via chiara verso un futuro in cui le decisioni di finanziamento siano guidate da una comprensione completa e accurata delle forze sociali che determinano la nostra salute.