Comparing the outputs of intramural and extramural grants funded by National Institutes of Health

Lo studio confronta le uscite scientifiche dei finanziamenti intramurali ed extramurali degli NIH, rivelando che mentre i secondi sono più efficienti in termini di costi per pubblicazioni e citazioni, i primi generano ricerche con un impatto clinico superiore, allineandosi meglio agli obiettivi sanitari dell'agenzia.

L'essenziale

Immagina che il National Institutes of Health (NIH), il gigante americano che finanzia la ricerca medica, sia come un grande chef che vuole preparare il miglior piatto possibile per la salute di tutti. Questo chef ha due modi per cucinare:

1. La "Cucina Interna" (Intramural): Lo chef assume i suoi migliori cuochi, li paga direttamente, fornisce loro tutti gli ingredienti e un laboratorio tutto loro. Non devono preoccuparsi di cercare soldi o scrivere richieste di budget; possono solo concentrarsi su come cucinare.
2. La "Cucina Esterna" (Extramural): Lo chef dà dei buoni spesa a migliaia di ristoranti (università e ospedali) in giro per il paese. Questi ristoranti devono scrivere delle proposte per convincere lo chef a dar loro i soldi, e spesso devono anche mettere un po' dei loro soldi (o di quelli degli studenti) per completare il pasto.

Gli autori di questo studio hanno guardato i dati di 10 anni (dal 2009 al 2019) per capire: quale dei due metodi produce più risultati per ogni dollaro speso?

Ecco cosa hanno scoperto, spiegato con parole semplici:

1. Il numero di piatti vs. L'impatto sulla salute

• La Cucina Esterna (Università): È molto efficiente nel produrre tanti piatti. Se guardiamo il numero di articoli scientifici pubblicati e le citazioni (quanto gli altri scienziati ne parlano), i ristoranti esterni vincono a mani basse. Per ogni dollaro speso, producono più "pubblicazioni". È come se avessero una catena di ristoranti molto veloce che serve tantissima gente.
• La Cucina Interna (Laboratori NIH): Produce meno "piatti" in totale, ma i suoi piatti sono più vicini alla salute reale. Quando si guarda quanto la ricerca finisce per aiutare i medici nei reparti ospedalieri (le "citazioni cliniche"), la cucina interna è molto più efficiente. I loro cuochi, non dovendo perdere tempo a scrivere richieste di fondi, possono concentrarsi su ricerche che risolvono problemi medici concreti.

2. Il costo nascosto

C'è un trucco nel conto.

• Quando lo chef paga un ristorante esterno, paga solo una parte del conto. Il ristorante (l'università) spesso deve pagare di tasca propria per gli stipendi degli studenti, l'elettricità e l'usura delle attrezzature. Questo è un costo "nascosto" che lo chef non vede nel suo bilancio.
• Quando lo chef paga la cucina interna, paga tutto. Non c'è nessuno che metta soldi extra.
• Anche tenendo conto di questo (ipotizzando che i ristoranti esterni spendano un 30% in più di quanto lo chef crede), il risultato non cambia: le università sono più bravi a fare "scienza accademica" (articoli), mentre i laboratori interni sono più bravi a fare "scienza che cura i pazienti".

3. Perché succede? (Il segreto della motivazione)

È una questione di motivazione, proprio come in un'azienda:

• I cuochi esterni (Università): Sono spinti a scrivere molti articoli e a farsi citare per ottenere promozioni, tenure (stabilità lavorativa) e altri fondi. Il loro sistema premia la quantità e la fama accademica.
• I cuochi interni (NIH): Sono assunti direttamente dallo chef. Non devono scrivere richieste di fondi. Il loro capo li valuta in base a quanto la loro ricerca aiuta la missione specifica dell'agenzia (salvare vite, curare malattie). Quindi, si concentrano su ciò che serve davvero alla salute pubblica, anche se è più difficile o lento da pubblicare.

In sintesi: Chi vince?

Non c'è un vincitore assoluto, ma due campioni in discipline diverse:

• Se vuoi molta ricerca, tante pubblicazioni e idee nuove che si diffondono velocemente nel mondo accademico, la Cucina Esterna (Università) è la scelta migliore per il tuo budget.
• Se vuoi ricerca che si traduce direttamente in cure, farmaci e miglioramenti clinici per i pazienti, la Cucina Interna (Laboratori NIH) è più efficiente e mirata.

La lezione finale:
Il sistema funziona meglio quando si capisce che questi due metodi servono scopi diversi. Non bisogna cercare di trasformare un ristorante esterno in un laboratorio interno o viceversa. Bisogna invece capire che l'uno è perfetto per generare conoscenza pura e l'altro per trasformare quella conoscenza in cure concrete. È come avere sia un'azienda che produce molti prototipi veloci, sia un laboratorio di ingegneria che perfeziona il prodotto finale per l'uso reale: servono entrambi!

Sommario tecnico

Titolo dello Studio

Confronto degli output dei finanziamenti intramurali ed extramurali finanziati dai National Institutes of Health (NIH)

1. Il Problema di Ricerca

Le agenzie di finanziamento nazionali, come i NIH negli Stati Uniti, utilizzano due meccanismi distinti per sostenere la ricerca:

• Ricerca Intramurale: Scienziati assunti direttamente dall'agenzia lavorano nei laboratori governativi. I ricercatori non devono scrivere proposte di grant, ma sono valutati periodicamente da consigli scientifici esterni.
• Ricerca Extramurale: Grant assegnati a istituzioni esterne (università, ospedali, istituti di ricerca). Questi richiedono un processo di peer review competitivo e i ricercatori devono dedicare tempo alla scrittura delle proposte.

Nonostante l'importanza strategica di entrambi i modelli, esiste una scarsa letteratura scientifica che confronti i loro meriti relativi in termini di efficienza dei costi e allineamento con la missione dell'agenzia. La domanda centrale è: quale meccanismo è più efficace nel produrre output accademici (pubblicazioni, citazioni) e quale è più efficace nel generare ricerca che influenza direttamente il lavoro clinico e la salute pubblica?

2. Metodologia

Lo studio ha analizzato un dataset massiccio coprente il periodo 2009-2019.

• Dati:
  • Campione: 1.594 grant intramurali e 97.054 grant extramurali.
  • Output: 621.138 pubblicazioni scientifiche associate a questi progetti.
  • Fonte: Dati estratti da NIH RePORTER e PubMed.
• Preprocessing e Pulizia dei Dati:
  • Esclusione di progetti di rinnovo e progetti non orientati alla ricerca (utilizzando un modello Random Forest basato su titoli e abstract).
  • Normalizzazione dei codici di attività per gestire i cambiamenti nei numeri di progetto intramurali.
  • Esclusione di pubblicazioni con finanziamenti misti (sia intramurali che extramurali) per evitare confusione nell'attribuzione.
• Metriche di Output:
  Sono stati utilizzati cinque indicatori chiave:
  1. Numero di pubblicazioni.
  2. Relative Citation Ratio (RCR): una misura normalizzata per campo e tempo dell'influenza scientifica.
  3. Approximate Potential to Translate (APT): una previsione basata sul machine learning della probabilità che un articolo sia citato da articoli clinici.
  4. Numero totale di citazioni cliniche.
  5. Numero di articoli che ricevono almeno una citazione clinica (misura binaria).
• Analisi Statistica:
  • Analisi dei Costi: Calcolo del costo medio per output (costo per articolo, costo per RCR, ecc.), utilizzando i costi totali (diretti + indiretti) aggiustati per l'inflazione (indice 2015).
  • Regressione Lineare: Modelli controllati per variabili del Principal Investigator (PI), durata del progetto, argomento e collaborazioni per isolare l'effetto del tipo di finanziamento.
  • Propensity Score Matching (PSM): Abbinamento 1:1 e 1:4 tra grant intramurali ed extramurali per ridurre i bias di confondimento, creando campioni bilanciati basati su storia pubblicativa, collaborazione e argomento.
  • Analisi Tematica: Clustering basato su Word2Vec per categorizzare gli argomenti di ricerca e assegnare punteggi a ricerche umane, animali e molecolari/cellulari.

3. Risultati Chiave

A. Differenze Tematiche e di Finanziamento

• Argomenti: I progetti intramurali mostrano una sovrarappresentazione in aree come infezioni virali, cancro e genetica (spesso legate al Vaccine Research Center e al National Cancer Institute). I progetti extramurali coprono più ampiamente temi come salute adolescenziale, studi sul cervello e salute materna.
• Finanziamento: I grant intramurali hanno un costo medio annuo più elevato e tendono ad essere più grandi e di durata più lunga. I grant extramurali sono mediamente inferiori a 500k$ annui, costringendo spesso i ricercatori a mantenere più grant simultanei.

B. Efficienza dei Costi (Cost-Effectiveness)

Questa è la scoperta principale dello studio:

• Ricerca Extramurale: È significativamente più efficiente in termini di costi per produrre output accademici tradizionali: numero di pubblicazioni e Relative Citation Ratio (RCR). Per ogni dollaro speso, le università producono più carta e citazioni accademiche rispetto ai laboratori NIH.
• Ricerca Intramurale: È più efficiente (o paragonabile) nel generare ricerca che ha un impatto clinico diretto. I grant intramurali mostrano un vantaggio di efficienza nei metrici legati alle citazioni cliniche e al potenziale di traduzione (Approximate Potential to Translate).
• Dinamica Temporale: Il divario di produttività iniziale a favore dell'intramurale (dovuto all'assenza di doveri di insegnamento e scrittura di grant) si è ridotto nel tempo, ma il vantaggio intramurale nelle metriche cliniche è rimasto stabile.

C. Robustezza e Analisi di Sensibilità

• L'analisi è stata robusta anche quando i costi indiretti delle università sono stati aumentati del 30% (per stimare i costi non recuperati), confermando che il vantaggio extramurale nelle pubblicazioni e il vantaggio intramurale nelle citazioni cliniche persistono.
• L'analisi dei punteggi di "ricerca umana" ha mostrato che i progetti intramurali a lungo termine non sono necessariamente più focalizzati sull'uomo rispetto a quelli extramurali, suggerendo che il vantaggio clinico non deriva semplicemente dalla natura "umana" della ricerca, ma da altri fattori strutturali.

4. Contributi e Significatività

• Evidenza Empirica per la Gestione del Portafoglio: Lo studio fornisce dati quantitativi che supportano l'idea che i due meccanismi di finanziamento abbiano vantaggi comparativi distinti dettati dagli incentivi istituzionali.
  • Le istituzioni accademiche (extramurali) sono ottimizzate per la generazione e la diffusione rapida della conoscenza (pubblicazioni).
  • L'agenzia NIH (intramurale) è ottimizzata per la ricerca che informa direttamente la pratica clinica e la salute pubblica, allineandosi alla sua missione istituzionale.
• Implicazioni Politiche: I risultati suggeriscono che tentare di rendere i due programmi "funzionalmente equivalenti" (come proposto da alcune recenti riforme del Senato USA) potrebbe essere controproducente. Invece, la strategia ottimale dovrebbe essere:
  • Sfruttare il programma extramurale per la ricerca di base ad alto volume e la formazione della forza lavoro accademica.
  • Sfruttare il programma intramurale per progetti a lungo termine, ad alto rischio o specifici che mirano a colmare il divario tra banco e letto (bench-to-bedside), specialmente in aree interdisciplinari (es. ricerca che combina aspetti umani, animali e molecolari).
• Limiti e Prospettive Future: Lo studio riconosce che non cattura tutti i costi nascosti (es. tempo per scrivere i grant) e che i cambiamenti futuri nella struttura del NIH potrebbero alterare questi dinamiche. Tuttavia, il modello di allineamento tra incentivi istituzionali e output sembra essere un principio solido applicabile anche ad altre agenzie (es. Dipartimento della Difesa, NSF).

Conclusione

Il documento conclude che non esiste un "migliore" in assoluto, ma piuttosto una complementarità strategica. L'efficienza dei costi dipende dall'obiettivo: se l'obiettivo è la produzione accademica, l'extramurale vince; se l'obiettivo è l'impatto clinico e la missione sanitaria diretta, l'intramurale offre un migliore ritorno sull'investimento. La gestione ottimale del portafoglio NIH dovrebbe quindi mantenere e potenziare queste distinzioni strutturali piuttosto che cercare di omogeneizzarle.