Comparing the outputs of intramural and extramural grants funded by National Institutes of Health

Een analyse van NIH-financiering tussen 2009 en 2019 toont aan dat extramurale subsidies kosteneffectiever zijn voor academische outputs zoals publicaties, terwijl intramurale subsidies meer impact hebben op toekomstig klinisch werk.

De kern

Stel je voor dat de National Institutes of Health (NIH), de grootste geldschieter voor medisch onderzoek in de VS, twee verschillende manieren heeft om wetenschappers te betalen. Het is alsof ze twee verschillende soorten boeren hebben die voedsel voor het land moeten kweken.

Deze studie vergelijkt deze twee manieren om te kijken welke "boer" het beste werk levert voor het geld.

De Twee Boeren

1. De "Binnenlandse" Boer (Intramural):
   Dit zijn de wetenschappers die rechtstreeks in dienst zijn van de NIH. Ze werken in de eigen laboratoria van de overheid.

   • Hun situatie: Ze hoeven geen tijd te verspillen aan het schrijven van sollicitaties of grant-aanvragen. Ze hebben een vast salaris en kunnen zich volledig focussen op hun onderzoek. Het is alsof ze een eigen boerderij hebben die direct door de overheid wordt betaald.

2. De "Buitenlandse" Boer (Extramural):
   Dit zijn de wetenschappers die werken aan universiteiten en ziekenhuizen. Ze moeten zelf geld aanvragen bij de NIH.

   • Hun situatie: Ze moeten veel tijd steken in het schrijven van aanvragen en het overtuigen van commissies. Maar ze hebben ook hulp van de universiteit (die ook wat geld bijdraagt) en vaak studenten die meehelpen. Het is alsof ze een boerderij runnen die deels door de overheid en deels door de lokale gemeenschap wordt gesubsidieerd.

Wat hebben ze onderzocht?

De onderzoekers keken naar bijna 100.000 projecten tussen 2009 en 2019. Ze zagen hoeveel geld er werd uitgegeven en wat het resultaat was: hoeveel artikelen werden er geschreven? Hoe vaak werden ze gelezen? En vooral: leidde het onderzoek tot betere medische behandelingen voor mensen?

De Resultaten: Twee Verschillende Specialiteiten

Het verhaal dat uit de data komt, is verrassend en helder:

1. De "Buitenlandse" Boer wint op snelheid en aantal (Academische successen)
Als je kijkt naar het aantal artikelen en hoe vaak die worden geciteerd (het "populaire" succes in de wetenschap), dan is de universiteit (extramural) goedkoper en efficiënter.

• De analogie: Omdat universiteiten studenten hebben die goedkope arbeid leveren en omdat ze veel artikelen schrijven om hun reputatie te bouwen, krijgen ze voor elke dollar die de NIH uitgeeft, meer "papieren" resultaten. Het is alsof ze veel vaker oogst hebben, zelfs als de kosten per oogst iets hoger lijken.

2. De "Binnenlandse" Boer wint op kwaliteit en impact op de patiënt (Klinisch succes)
Als je kijkt naar onderzoek dat direct leidt tot nieuwe medicijnen of behandelingen voor zieken (klinische citaties), dan is de NIH-eigen boer (intramural) beter.

• De analogie: Omdat deze wetenschappers geen tijd verliezen aan sollicitaties en zich kunnen richten op de lange termijn, leveren ze onderzoek dat sneller de "bedside" (het ziekenhuisbed) bereikt. Ze zijn beter in het vertalen van laboratoriumtheorie naar echte mensen. Het is alsof ze minder vaker oogsten, maar de vruchten die ze wel oogsten, zijn degenen die echt hongerige mensen redden.

Waarom is dit zo?

Het komt neer op wat er wordt beloond:

• Universiteiten moeten presteren op het gebied van publicaties en citaties om hun reputatie en geld binnen te halen. Dus ze focussen daarop.
• De NIH heeft als missie om de gezondheid van Amerikanen te verbeteren. Omdat hun eigen wetenschappers niet hoeven te solliciteren, kunnen ze zich richten op die specifieke missie: het oplossen van echte gezondheidsproblemen.

De Les voor de Toekomst

De studie concludeert niet dat de ene manier beter is dan de andere. In plaats daarvan zeggen ze: "Gebruik de juiste boer voor het juiste gewas."

• Wil je veel nieuwe kennis en snelle publicaties? Geef dan geld aan de universiteiten.
• Wil je onderzoek dat direct leidt tot nieuwe behandelingen voor ziektes? Geef dan geld aan de eigen NIH-laboratoria.

Als je probeert de universiteiten te dwingen om zich te richten op klinische behandelingen, of de NIH-laboratoria om meer artikelen te schrijven, dan verliezen ze hun kracht. De beste strategie is om beide systemen te laten doen waar ze goed in zijn, zodat we zowel veel kennis als betere gezondheidszorg krijgen.

Technische samenvatting

Probleemstelling

Nationale financieringsinstanties, zoals de National Institutes of Health (NIH) in de VS, gebruiken twee hoofdmechanismen om onderzoek te financieren:

1. Intramuraal onderzoek: Wetenschappers worden in dienst genomen om onderzoek te verrichten in eigen laboratoria van de instantie.
2. Extramuraal onderzoek: Subsidiën worden toegekend aan externe instellingen (zoals universiteiten) om onderzoek uit te voeren.

Hoewel er veel onderzoek is gedaan naar aspecten zoals publicatie-invloed en financieringsdispariteiten, is er weinig aandacht besteed aan de relatieve verdiensten van deze twee financieringsmodellen. De centrale vraag is welke methode kosteneffectiever is voor het genereren van specifieke onderzoeksoutput (zoals publicaties, citaties en klinische impact) en of de institutionele prikkels (bijv. het ontbreken van grant-schrijftijd bij intramurale onderzoekers versus kostenverdeling bij universiteiten) leiden tot verschillende sterke punten.

Methodologie

De auteurs hebben een grootschalige data-analyse uitgevoerd met de volgende kenmerken:

• Dataselectie: Er zijn gegevens gebruikt van het NIH RePORTER-systeem voor projecten die tussen 2009 en 2019 zijn gefinancierd.
  • Steekproef: 1.594 intramurale projecten en 97.054 extramurale projecten.
  • Output: Deze projecten genereerden samen 621.138 gepubliceerde papers. Papers met zowel intramurale als extramurale financiering werden uitgesloten om overlap te voorkomen.
• Financieringsdata: Kosten werden geïndexeerd op het prijspeil van 2015 (via de Biomedical Research and Development Price Index) en omvatten directe en indirecte kosten. Voor extramurale grants werden indirecte kosten (overhead) meegenomen.
• Output-metrics: Vijf specifieke metrics werden gebruikt om de onderzoeksoutput te kwantificeren:
  1. Aantal publicaties.
  2. Relative Citation Ratio (RCR): Een veld- en tijdgenormaliseerde maatstaf voor wetenschappelijke invloed.
  3. Geschatte vertaalbaarheid (Approximate Potential to Translate - APT): Een machine-learning voorspelling of een paper wordt geciteerd in klinische artikelen.
  4. Totale aantal klinische citaties.
  5. Aantal papers met minstens één klinische citatie.
• Statistische Analyse:
  • Topic Clustering: Gebruik van Word2Vec en spectrale clustering op titels en abstracts om onderzoeksonderwerpen te categoriseren.
  • Regressieanalyse: Een lineair regressiemodel werd gebruikt om de kosteneffectiviteit te vergelijken, gecontroleerd voor variabelen zoals PI-ervaring, samenwerking, projectduur en onderwerp.
  • Propensity Score Matching (PSM): Om selectiebias te verminderen, werden intramurale projecten 1-op-1 en 1-op-4 gematcht met extramurale projecten op basis van onderwerp, eerdere publicaties en collaboratiegeschiedenis.
  • Sensitiviteitsanalyse: De indirecte kosten voor extramurale grants werden met 30% verhoogd om de niet-terugverdiende kosten van universiteiten beter te reflecteren.

Belangrijkste Bijdragen

1. Vergelijking van Mechanismen: Het is de eerste studie die systematisch de kosteneffectiviteit van intramurale versus extramurale NIH-financiering vergelijkt over een decennium, gebruikmakend van zowel academische als klinische impactmetrics.
2. Nuancering van Kosteneffectiviteit: De studie toont aan dat "kosteneffectief" afhangt van het doel: extramurale financiering is efficiënter voor academische output, terwijl intramurale financiering efficiënter is voor klinische impact.
3. Rol van Institutionele Prikkels: De resultaten ondersteunen het idee dat de structuur van de financiering (bijv. het ontbreken van grant-schrijftijd bij intramurale onderzoekers versus kostenverdeling bij universiteiten) de onderzoeksoutput stuurt.

Resultaten

• Onderzoeksonderwerpen: Intramurale projecten vertonen een oververtegenwoordiging van virale infecties, kanker en genetica (waarschijnlijk door specifieke centra zoals het Vaccine Research Center en NCI). Extramurale projecten hebben meer focus op adolescenten, hersenstudies en maternale gezondheid.
• Financiering: Intramurale projecten krijgen gemiddeld meer geld per project (stijgend van ~$0,42M naar ~$0,45M), terwijl extramurale projecten onder de $0,5M blijven. Intramurale onderzoekers hebben vaak één grote award nodig, terwijl extramurale onderzoekers vaak meerdere concurrente grants nodig hebben om hun lab te runnen.
• Output (Ruw): Intramurale projecten produceerden aanvankelijk meer papers en citaties per project, maar dit gat sloot tegen 2020.
• Kosteneffectiviteit (De Kernbevinding):
  • Extramuraal: Blijft kosteneffectiever voor het genereren van publicaties en Relative Citation Ratio (RCR) per dollar. Dit komt overeen met de academische prikkels van universiteiten.
  • Intramuraal: Blijft kosteneffectiever (of even effectief) voor metrics die klinische impact meten (APT, klinische citaties). Intramurale research is dus beter in het genereren van kennis die direct leidt tot klinische toepassing, in lijn met de missie van de NIH.
• Robuustheid: Deze patronen bleven bestaan na het toepassen van propensity score matching en na het inflateren van de indirecte kosten van universiteiten met 30%.
• Menselijk vs. Dierlijk onderzoek: Langdurige intramurale projecten bleken minder mensgericht te zijn dan langdurige extramurale projecten, wat suggereert dat de klinische superioriteit van intramurale grants niet puur komt door meer mensgericht onderzoek, maar door de structuur van het programma zelf.

Betekenis en Conclusie

De studie concludeert dat er geen "beter" financieringsmodel is; beide hebben een comparatief voordeel dat afhangt van hun institutionele doelstellingen:

1. Extramurale financiering is de motor voor het genereren van ruwe kennis, het opleiden van studenten en het maximaliseren van academische output (publicaties/citaties) tegen lagere kosten voor de instantie.
2. Intramurale financiering is uniek effectief in het sturen van onderzoek naar de missie van de instantie: het genereren van kennis die direct de klinische praktijk beïnvloedt (bench-to-bedside).

Implicaties voor beleid:
De auteurs suggereren dat beleidsmakers (zoals de Amerikaanse Senaat en het NIH) deze verschillen moeten erkennen bij het herstructureren van hun portefeuilles. In plaats van de twee systemen als functioneel equivalent te zien, zou de NIH kunnen profiteren van een strategie waarbij:

• Extramurale fondsen worden ingezet voor fundamenteel, risicovol onderzoek en het uitbreiden van de wetenschappelijke workforce.
• Intramurale fondsen worden gefocust op het overbruggen van de kloof naar klinische trials en het oplossen van langdurige, onopgeloste gezondheidsproblemen.

Dit onderzoek biedt een empirische basis voor het optimaliseren van de mix van onderzoeksfondsen binnen overheidsinstanties, niet alleen voor de NIH maar ook voor andere agentschappen zoals het Ministerie van Defensie of het NSF.