Comparing the outputs of intramural and extramural grants funded by National Institutes of Health

Die Studie vergleicht die wissenschaftlichen Ergebnisse von intramuralen und extramuralen NIH-Förderungen und zeigt, dass extramurale Mittel pro Dollar effizienter Publikationen und Zitationen erzeugen, während intramurale Mittel kosteneffektiver sind, um klinisch relevante Forschung zu generieren, die den Gesundheitszielen der Agentur näher kommt.

Das Wesentliche

Stellen Sie sich die Forschungsförderung der USA wie einen riesigen Garten vor, der vom National Institutes of Health (NIH) – nennen wir ihn den „Gartenmeister" – gepflegt wird. Dieser Gartenmeister hat zwei verschiedene Methoden, um Pflanzen (also wissenschaftliche Forschung) wachsen zu lassen:

1. Der eigene Garten (Intramural): Hier stellt der Gartenmeister seine eigenen Gärtner ein. Sie arbeiten direkt in den NIH-Laboren, haben feste Arbeitsplätze und müssen sich nicht um die Bewilligung von Wasser oder Dünger kümmern. Sie können sich voll auf das Gärtnern konzentrieren.
2. Die Nachbarschaftsgärten (Extramural): Hier gibt der Gartenmeister Geld an viele verschiedene Gärtner in Universitäten und privaten Instituten. Diese Gärtner müssen erst beantragen, ob sie Geld bekommen, und sie müssen oft auch noch einen Teil des Düngers selbst bezahlen (die Universitäten investieren mit).

Die Forscher in diesem Papier haben sich gefragt: Welche Methode bringt mehr Ertrag für das investierte Geld?

Hier ist die einfache Zusammenfassung der Ergebnisse, übersetzt in eine Geschichte:

1. Der Vergleich der Ernte (Die Ergebnisse)

Stellen Sie sich vor, beide Gruppen ernten Äpfel (wissenschaftliche Veröffentlichungen) und haben auch einen Einfluss auf die Gesundheit der Menschen (klinische Anwendungen).

• Die Nachbarschaftsgärtner (Extramural):
  Diese Gruppe ist extrem effizient, wenn es darum geht, viele Äpfel zu produzieren und diese in den Supermarkt zu bringen, wo sie von allen gesehen werden (hohe Zitationszahlen).

  • Die Metapher: Da die Universitäten oft Studenten als „Lehrlinge" einsetzen, die günstiger arbeiten als fest angestellte Experten, und da sie einen Teil der Kosten selbst tragen, kommt für jeden Dollar, den der NIH ausgibt, hier eine riesige Menge an wissenschaftlichen Papieren heraus. Sie sind die Meister der „Massenproduktion" und des akademischen Ruhms.

• Die eigenen Gärtner (Intramural):
  Diese Gruppe produziert vielleicht nicht ganz so viele Äpfel pro Dollar, aber ihre Äpfel sind besonders wertvoll für die Medizin. Ihre Forschung fließt viel direkter in klinische Studien und hilft Ärzten, Patienten zu behandeln.

  • Die Metapher: Da diese Forscher keine Zeit mit dem Schreiben von Anträgen verlieren und direkt von der Mission des NIH geleitet werden (Gesundheit verbessern), arbeiten sie wie spezialisierte Handwerker. Sie bauen nicht nur viele Werkzeuge, sondern bauen genau die Werkzeuge, die im Krankenhaus gebraucht werden. Ihr Ertrag ist weniger „quantitativ" (Anzahl), aber „qualitativ" (Einfluss auf die menschliche Gesundheit) sehr hoch.

2. Die Kostenfrage (Warum ist das so?)

Warum ist das so unterschiedlich?

• Der Bürokratie-Faktor: Die externen Forscher (Universitäten) müssen viel Zeit und Energie darauf verwenden, Anträge zu schreiben, um ihr Geld zu bekommen. Das kostet Zeit, die sie nicht in die Forschung stecken können. Die internen Forscher (NIH) müssen das nicht; sie haben einen festen Job und arbeiten direkt an den Zielen.
• Der „Lehrlings"-Faktor: Universitäten nutzen oft Doktoranden und Studenten, die sehr motiviert, aber kostengünstig sind. Das senkt die Kosten pro veröffentlichtem Papier enorm. Die NIH-Labore haben fest angestellte Wissenschaftler, die teurer sind, aber oft erfahrener und stabiler arbeiten.

3. Das Fazit der Geschichte

Die Studie kommt zu einem klaren Schluss, das man sich wie eine Arbeitsteilung vorstellen kann:

• Wenn Sie viele neue Ideen, viele Publikationen und akademischen Ruhm wollen, ist das Extramural-System (die Universitäten) die bessere Wahl. Es ist wie ein riesiges, effizientes Fabrikband für Wissen.
• Wenn Sie Forschung brauchen, die direkt Patienten hilft und klinische Studien vorantreibt, ist das Intramural-System (die eigenen NIH-Labore) überlegen. Es ist wie eine spezialisierte Werkstatt, die genau die Probleme löst, die der Gartenmeister (die Regierung) als wichtigste Priorität definiert hat.

Die große Erkenntnis:
Es gibt nicht „die eine" bessere Methode. Beide haben ihre Stärken. Die Universitäten sind super darin, Wissen zu generieren und zu verbreiten. Die NIH-eigenen Labore sind super darin, dieses Wissen in konkrete medizinische Fortschritte für die Menschen umzuwandeln.

Die Autoren sagen im Grunde: „Hören Sie auf, zu versuchen, beide Systeme gleich zu machen. Nutzen Sie die Universitäten für die breite Wissensbasis und die eigenen Labore, um die Brücke zum Krankenhaus zu schlagen." Das ist der Schlüssel zu einer gesunden Forschungslandschaft.

Technische Zusammenfassung

Titel: Vergleich der Outputs von intramuralen und extramuralen Fördermitteln der National Institutes of Health (NIH)

Autoren: Xiang Zheng, Qiyao Yang, Jai Potnuri, Chaoqun Ni und B. Ian Hutchins (University of Wisconsin-Madison).

---

1. Problemstellung und Motivation

Forschungsförderungsagenturen wie die US-amerikanischen National Institutes of Health (NIH) nutzen zwei Hauptmechanismen zur Finanzierung von Forschung:

1. Intramurale Forschung: Wissenschaftler werden direkt vom NIH angestellt und forschen in eigenen Laboren.
2. Extramurale Forschung: Der NIH vergibt Stipendien an externe Institutionen (Universitäten, medizinische Fakultäten).

Obwohl das NIH über 5 Milliarden USD für intramurale und 39 Milliarden USD für extramurale Forschung ausgibt, gibt es wenig empirische Evidenz darüber, welcher Ansatz effizienter ist oder welche spezifischen Stärken sie haben. Die Studie zielt darauf ab, die relative Leistungsfähigkeit dieser beiden Modelle zu quantifizieren, insbesondere im Hinblick auf Kostenwirksamkeit, wissenschaftliche Outputs und den Einfluss auf die klinische Praxis.

2. Methodik

Datengrundlage:

• Zeitraum: 2009 bis 2019.
• Stichprobe: 1.594 intramurale Projekte und 97.054 extramurale Projekte (insgesamt ca. 98.648 Projekte).
• Publikationen: 621.138 wissenschaftliche Arbeiten, die mindestens eines dieser Projekte anerkennen.
• Datenquelle: NIH RePORTER und PubMed (PMID-Indexierung).

Datenbereinigung und Auswahl:

• Projekte mit Erneuerungsdaten wurden entfernt, um Doppelzählungen zu vermeiden.
• Nicht-forschungsorientierte Projekte wurden durch ein Random-Forest-Modell (basierend auf Titeln und Abstracts) identifiziert und ausgeschlossen.
• Gemeinsame Publikationen mit sowohl intramuraler als auch extramuraler Finanzierung wurden ausgeschlossen, um Verzerrungen zu minimieren.

Metriken zur Leistungsmessung:
Die Studie verglich fünf zentrale Output-Metriken:

1. Anzahl der Publikationen.
2. Relative Citation Ratio (RCR): Eine feld- und zeitnormalisierte Metrik für den wissenschaftlichen Einfluss.
3. Approximate Potential to Translate (APT): Eine maschinelle Lernvorhersage, ob eine Arbeit in klinischen Artikeln zitiert wird.
4. Gesamtzahl der klinischen Zitationen.
5. Binäres Maß: Anzahl der Papers mit mindestens einer klinischen Zitation.

Analyseansätze:

• Kostenwirksamkeit: Berechnung der durchschnittlichen Kosten pro Output-Einheit (z. B. Kosten pro Publikation). Dabei wurden direkte und indirekte Kosten (für extramurale Projekte) einbezogen und auf das Preisniveau 2015 inflationsbereinigt.
• Regression: Lineare Regressionen wurden durchgeführt, um die Unterschiede zwischen den Förderarten zu isolieren, unter Kontrolle von Variablen wie Projektdauer, Thema, Principal Investigator (PI) und Kollaborationsgeschichte.
• Propensity Score Matching (PSM): Um Verzerrungen durch unbeobachtete Kovariaten zu reduzieren, wurden intramurale Projekte 1:1 und 1:4 mit extramuralen Projekten gepaart, die in Bezug auf Thema, Publikationshistorie und Kollaborationen ähnlich waren.
• Klassifizierung: Word2Vec-Modelle und K-Means-Clustering wurden genutzt, um Forschungsthemen (z. B. Viren, Krebs, menschliche vs. tierische Forschung) zu kategorisieren.

3. Wichtige Beiträge und Ergebnisse

A. Themenverteilung und Finanzierung:

• Themen: Intramurale Projekte sind überrepräsentiert in den Bereichen virale Infektionen, Krebs und Genetik (teilweise aufgrund des Vaccine Research Center und des National Cancer Institute). Extramurale Projekte decken breiter Themen wie Adoleszenz, Gehirnforschung und Müttergesundheit ab.
• Finanzierung: Intramurale Projekte erhalten im Durchschnitt deutlich höhere Einzelbeträge (steigend von ~0,42 Mio. auf ~0,45 Mio. USD), während extramurale Projekte bei unter 0,5 Mio. USD pro Jahr bleiben. Dies spiegelt wider, dass intramurale Forscher oft einzelne große Labore finanzieren, während extramurale Forscher oft mehrere parallele Grants benötigen.

B. Roh-Outputs (ohne Kostenbetrachtung):

• Intramurale Projekte erzielten vor 2010 höhere Werte in fast allen Metriken (mehr Papers, höhere RCR).
• Bis 2020 schloss sich diese Lücke jedoch an, wobei extramurale Projekte in der Produktivität aufholten. Dies wird auf die fehlende Zeitbelastung durch Grant-Anträge und Lehre bei intramuralen Forschern zurückgeführt.

C. Kostenwirksamkeit (Der Kernbefund):

• Extramurale Forschung ist kosteneffektiver für Outputs, die traditionell in der akademischen Bewertung genutzt werden: Anzahl der Publikationen, RCR und das "Approximate Potential to Translate".
• Intramurale Forschung ist kosteneffektiver für Outputs, die direkt mit der Mission des NIH (Gesundheit der Bevölkerung) übereinstimmen: Forschung, die klinische Arbeiten beeinflusst (gemessen an klinischen Zitationen und der Wahrscheinlichkeit der Translation).
• Robustheitsprüfung: Selbst wenn die indirekten Kosten der Universitäten um 30% erhöht wurden (um nicht erfasste Subventionen zu berücksichtigen), bleibt das Muster bestehen: Extramurale Forschung ist effizienter für akademische Kennzahlen, intramurale für klinische Relevanz.

D. Einfluss der Forschungsart:

• Lange intramurale Projekte tendieren zu niedrigeren "Human-Fokus"-Scores und höheren Scores für Tier- und Molekularforschung, während extramurale Projekte langfristig einen höheren Human-Fokus aufweisen. Dies widerlegt die Hypothese, dass der Vorteil der intramuralen klinischen Zitationen einfach durch einen höheren Anteil an menschlicher Forschung erklärt werden könnte.

4. Bedeutung und Implikationen

Strukturelle Unterschiede als Treiber:
Die Studie schlussfolgert, dass die unterschiedlichen Stärken nicht auf zufällige Faktoren, sondern auf institutionelle Anreize zurückzuführen sind:

• Extramurale Institutionen (Universitäten): Sind durch Publikationszahlen und Zitationen belohnt (Tenure-System), was zu einer hohen Effizienz in der Generierung von "rohem Wissen" führt.
• Intramurale Institutionen (NIH): Haben die direkte Möglichkeit, Wissenschaftler einzustellen, deren Agenda exakt auf die Gesundheitsziele der Agentur abgestimmt ist. Da sie keine Zeit für Grant-Anträge verlieren, können sie sich auf langfristige, risikoreichere oder klinisch relevantere Projekte konzentrieren.

Politische und strategische Implikationen:

• Die Ergebnisse deuten darauf hin, dass eine reine Umverteilung von Mitteln oder eine Vereinheitlichung der Programme ineffizient wäre. Stattdessen sollten die Programme ihre jeweiligen komparativen Vorteile nutzen.
• Für andere Agenturen (z. B. Department of Defense, NSF) könnte dies bedeuten, dass extramurale Portfolios für Grundlagenforschung und intramurale Portfolios für angewandte, mission-orientierte Forschung optimiert werden sollten.
• Die Studie liefert Evidenz für die Notwendigkeit, die Portfolio-Strategie des NIH so zu gestalten, dass die intramurale Forschung stärker auf klinische Translation ausgerichtet wird, während die extramurale Forschung die breite Basis der wissenschaftlichen Publikationen liefert.

Limitationen:

• Daten für intramurale Projekte sind nur ab 2009 verfügbar.
• Die Analyse basiert auf einer Agentur-Perspektive (NIH-Ausgaben) und erfasst nicht alle versteckten Kosten der Universitäten (z. B. Start-up-Kosten, Zeit für Grant-Anträge), obwohl Sensitivitätsanalysen dies teilweise kompensieren.
• Kollaborationen zwischen intra- und extramuralen Forschern wurden teilweise ausgeschlossen, was die Komplexität der realen Forschungslandschaft vereinfacht.

Fazit:
Die Studie liefert einen datengestützten Nachweis dafür, dass beide Fördermechanismen notwendig und komplementär sind. Extramurale Förderung maximiert die wissenschaftliche Sichtbarkeit und Publikationsrate pro Dollar, während intramurale Förderung eine höhere Kostenwirksamkeit bei der Generierung von klinisch relevantem Wissen aufweist, das direkt die öffentliche Gesundheit beeinflusst.