Mapping social determinants of health in NIH research funding with large language models

Jeden Tag wird die Gesundheit eines Menschen durch weit mehr als nur die Medizin, die er erhält, oder die Ärzte, die er besucht, geformt. Sie wird beeinflusst durch die Luft, die er atmet, die Sicherheit seiner Nachbarschaft, seine Fähigkeit, Lebensmittel zu bezahlen, und ob er Zugang zu qualitativ hochwertiger Bildung hat. Wissenschaftler nennen diese Faktoren die sozialen Determinanten der Gesundheit. Es sind die unsichtbaren Kräfte, die bestimmen, warum manche Gemeinschaften florieren, während andere kämpfen, und sie machen den weitaus größten Teil der gesundheitlichen Ergebnisse aus. Um diese tief verwurzelten Probleme zu lösen, müssen Regierungen wissen, wohin ihr Forschungsgeld fließt. In den Vereinigten Staaten fungiert die National Institutes of Health als der weltweit größte öffentliche Geldgeber für Gesundheitsforschung und lenkt Milliarden von Dollar in spezifische Projekte. Wenn diese Finanzierung bestimmte soziale Probleme konsequent ignoriert, wird die wissenschaftliche Evidenz, die zur Lösung dieser Probleme benötigt wird, niemals aufgebaut.

Seit Jahren stehen Forscher, die versuchen zu verfolgen, wie viel Geld die Regierung für diese sozialen Themen ausgibt, vor einer schwierigen Hürde. Sie mussten tausende von Förderanträgen lesen, die lange, komplexe Dokumente sind, die von Wissenschaftlern verfasst wurden. Um die relevanten Projekte zu finden, verließen sie sich früher auf einfache Computersuchen, die nach spezifischen Schlüsselwörtern suchten. Wenn ein Förderantrag genau die richtigen Wörter verwendete, wurde er gezählt. Wenn er dasselbe Problem mit anderer Sprache beschrieb oder die Idee in eine breitere Erzählung einwebte, übersah das Modell sie. Diese Methode war zu starr, wie der Versuch, eine Nadel im Heuhaufen zu finden, indem man nur nach Nadeln sucht, die exakt dieselbe Farbe haben. Infolgedessen blieb das wahre Bild davon, wohin der Forschungsgeldfluss fließt, verschwommen, und Lücken in der Finanzierung kritischer sozialer Themen blieben unbemerkt.

Ein Team von Forschern entschied sich kürzlich für einen anderen Ansatz und nutzte eine neue Generation künstlicher Intelligenz, die als Large Language Models bekannt ist. Dies sind Modelle, die auf massiven Mengen von Text trainiert wurden und Kontext sowie Nuancen verstehen können, ganz ähnlich wie ein menschlicher Leser. Anstatt nur nach Schlüsselworten zu jagen, können diese Modelle einen Förderantrag lesen und die zugrunde liegende Absicht verstehen, selbst wenn der Autor keine Standardterminologie verwendet. Die Forscher testeten elf verschiedene Versionen dieser Modelle, um zu sehen, welches am besten in der Lage ist, Erwähnungen von sozialen Determinanten in den Förderanträgen zu identifizieren. Sie wollten wissen, ob diese intelligenten Modelle einen besseren Job als die alten Schlüsselwort-Methoden machen könnten und ob sie mit der chaotischen Realität damit umgehen können, wie Wissenschaftler tatsächlich über soziale Probleme schreiben.

Die Studie konzentrierte sich auf die Abschnitte „Public Health Relevance“ (Relevanz für die öffentliche Gesundheit) in einem Datensatz von über zweitausend Förderanträgen aus dem Geschäftsjahr 2023. Die Forscher brachten einem Modell zunächst bei, fünf spezifische Kategorien sozialer Determinanten zu erkennen: wirtschaftliche Stabilität, Zugang zu Bildung, Zugang zur Gesundheitsversorgung, Lebensbedingungen in der Nachbarschaft und den sozialen Gemeinschaftskontext. Dies taten sie, indem sie einen Teil des Textes von menschlichen Experten sorgfältig kennzeichnen ließen, wodurch ein Satz korrekter Antworten erstellt wurde, von denen das Modell lernen konnte. Dann testeten sie die Modelle daraufhin, wie gut sie diese Kategorien im restlichen Text finden konnten. Die Herausforderung war erheblich, da die meisten Anträge diese sozialen Faktoren überhaupt nicht erwähnen, und wenn sie es tun, sind die Erwähnungen oft selten und tief im Text vergraben.

Die Ergebnisse offenbarten eine überraschende Wahrheit darüber, wie diese Systeme der künstlichen Intelligenz arbeiten. Die Forscher fanden heraus, dass kleinere Modelle, die speziell auf die nachgelagerte Aufgabe feinabgestimmt wurden, die massiven, allgemeinen Modelle, die die Schlagzeilen dominieren, tatsächlich übertrafen. Insbesondere ModernBERT-base erreichte die höchste Performance, wenn es direkt auf die Zielklassifikationsaufgabe der Studie trainiert wurde. Es identifizierte die sozialen Faktoren im Text häufiger als die größten Modelle, die tausendfach größer waren und sich auf ihr allgemeines Wissen verlassen mussten, um die Antworten zu erraten. Die kleineren Modelle waren auch stabiler und konsistenter, während die größeren Modelle manchmal Schwierigkeiten hatten, die spezifischen Regeln der Aufgabe zu erlernen.

Die Studie deckte jedoch auch eine kritische Lektion darüber auf, wie man diese Werkzeuge einsetzt. Die Forscher entdeckten, dass es nicht ausreichte, das Modell einfach nur zu trainieren; sie mussten anpassen, wie das Modell seine endgültigen Entscheidungen trifft. Da die sozialen Faktoren im Text so selten vorkamen, neigte das Modell dazu, sie zu ignorieren und anzunehmen, dass sie nicht vorhanden seien. Durch das Anpassen der Sensitivität des Modells für jede spezifische Kategorie konnten die Forscher eine massive Menge an übersehenen Informationen zurückgewinnen. Diese Anpassung verwandelte ein System, das kaum funktionierte, in eines, das mit hoher Performance arbeitete. Ohret diesen Schritt wäre selbst die fortschrittlichste Modelle daran gescheitert, die Daten zu erfassen, für die sie eigentlich entwickelt wurden.

Als die Forscher die verschiedenen Arten von sozialen Faktoren genauer untersuchten, stellten sie fest, dass die Modelle je nach Kategorie unterschiedlich reagierten. Für klare, gut definierte Themen wie wirtschaftliche Stabilität oder Lebensbedingungen in der Nachbarschaft waren die kleineren, spezialisierten Modelle exzellent. Sie konnten diese Faktoren mit hoher Präzision aufspüren. Aber für vagerer und komplexere Themen, wie etwa den sozialen und gemeinschaftlichen Kontext, zeigten die größeren, allgemeinen Modelle einen Vorteil. Diese Themen werden oft auf subtile Weise beschrieben, die ein breites Verständnis menschlicher Beziehungen und der Gesellschaft erfordern: eine Stärke, die die massiven Modelle besaßen. Dies deutet darauf hin, dass kleinere Modelle zwar generell besser und effizienter sind, die größten Modelle jedoch immer noch eine einzigartige Fähigkeit besitzen, die abstraktesten sozialen Konzepte zu verstehen.

Die Auswirkungen dieser Arbeit sind bedeutend für die Art und Weise, wie Wissenschaft finanziert und verstanden wird. Die Forscher demonstrierten, dass es möglich ist, ein System zu bauen, das Jahrzehnte an Förderdaten scannen kann, um genau zu sehen, welche sozialen Probleme untersucht werden und welche ignoriert werden. Sie zeigten, dass dies mit relativ kleinen, effizienten Modellen geschehen kann, die keine teure, massive Hardware oder geheime, proprietäre Software erfordern. Dies macht es für Beamte des öffentlichen Gesundheitswesens und Forscher möglich, Finanzierungstrends in Echtzeit zu verfolgen und sicherzustellen, dass Geld dorthin gelenkt wird, wo es am dringendsten benötigt wird. Durch den Einsatz dieser Werkzeuge können Behörden endlich das gesamte Spektrum ihrer Forschungsinvestitionen sehen und so Blindstellen identifizieren, in denen soziale Determinanten unterfinanziert sind, um zukünftige Entscheidungen zu treffen, die zu einem gerechteren Gesundheitssystem führen.

Die Studie hob auch eine hartnäckige Lücke in der aktuellen Forschungslandschaft hervor. Selbst mit den besten verfügbaren Werkzeugen zeigte die Analyse, dass bestimmte Bereiche, insbesondere der Zugang zu Bildung und deren Qualität, in den Anträgen, die Finanzierung erhalten, signifikant unterrepräsentiert bleiben. Dies ist nicht nur ein Datenfehler; es ist ein Spiegelbild dessen, worauf die wissenschaftliche Gemeinschaft ihren Fokus legt. Wenn ein sozialer Faktor in Forschungsanträgen konsequent übersehen wird, bleibt die notwendige Evidenzbasis zur Lösung dieses Problems dünn. Die Fähigkeit, diese Trends präzise abzubilden, bedeutet, dass politische Entscheidungsträger diese Lücken nun klar sehen und informierte Entscheidungen treffen können, um das Portfolio der Forschung auszubalancieren und sicherzustellen, dass die Treiber der gesundheitlichen Ungleichheit mit derselben Gründlichkeit behandelt werden wie die Krankheiten selbst.

Letztendlich bietet diese Forschung eine neue Linse, durch die man die Maschinerie der wissenschaftlichen Entdeckung betrachten kann. Sie geht über einfache Wortzählungen hinaus, um die wahre Absicht hinter der vorgeschlagenen Forschung zu verstehen. Durch die Kombination der Präzision spezialisierter Modelle mit dem breiten Verständnis großer Modelle und durch die sorgfältige Anpassung der Art und Weise, wie diese Systeme Entscheidungen treffen, haben Wissenschaftler ein mächtiges Werkzeug für Transparenz geschaffen. Dieses Werkzeug zählt nicht nur Förderanträge; es offenbart die Prioritäten der Gesundheitsforschung eines Landes und bietet einen klaren Weg zu einer Zukunft, in der Finanzierungsentscheidungen durch ein vollständiges und akkurates Verständnis der sozialen Kräfte getrieben werden, die unsere Gesundheit prägen.