Mapping social determinants of health in NIH research funding with large language models

Chaque jour, la santé d'une personne est façonnée par bien plus que les médicaments qu'elle reçoit ou les médecins qu'elle consulte. Elle est influencée par l'air qu'elle respire, la sécurité de son quartier, sa capacité à se nourrir et son accès à une éducation de qualité. Les scientifiques appellent ces facteurs les déterminants sociaux de la santé. Ce sont les forces invisibles qui expliquent pourquoi certaines communautés prospèrent tandis que d'autres luttent, et qui expliquent la grande majorité des résultats de santé. Pour résoudre ces problèmes profondément enracinés, les gouvernements doivent savoir où va l'argent de leur recherche. Aux États-Unis, les Instituts nationaux de la santé (NIH) agissent comme le plus grand financeur public de la recherche en santé au monde, dirigeant des milliards de dollars vers des projets spécifiques. Si ce financement ignore systématiquement certains problèmes sociaux, les preuves scientifiques nécessaires pour résoudre ces problèmes ne seront jamais construites.

Pendant des années, les chercheurs tentant de suivre la part de l'argent public consacrée à ces questions sociales ont été confrontés à un obstacle difficile. Ils devaient lire des milliers de demandes de subventions, qui sont des documents longs et complexes rédigés par des scientifiques. Pour identifier les projets pertinents, ils s'appuyaient auparavant sur de simples recherches informatiques basées sur des mots-clés spécifiques. Si une proposition de subvention utilisait exactement les bons mots, elle était comptabilisée. Si elle décrivait le même problème en utilisant un langage différent ou en intégrant l'idée dans un récit plus large, l'ordinateur la manquait. Cette méthode était trop rigide, comme essayer de trouver une aiguille dans une botte de foin en ne cherchant que des aiguilles de la même couleur exacte. En conséquence, l'image réelle du flux de l'argent de la recherche est restée floue, et les lacunes de financement pour les questions sociales critiques sont passées inaperçues.

Une équipe de chercheurs a récemment décidé d'essayer une approche différente, en utilisant une nouvelle génération d'intelligence artificielle connue sous le nom de grands modèles de langage. Ce sont des systèmes informatiques entraînés sur de vastes quantités de texte qui peuvent comprendre le contexte et la nuance, tout comme un lecteur humain. Au lieu de simplement traquer des mots-clés, ces modèles peuvent lire une proposition de subvention et comprendre l'intention sous-jacente, même lorsque l'auteur n'utilise pas la terminologie standard. Les chercheurs ont testé onze versions différentes de ces modèles pour voir laquelle identifiait le mieux les mentions de déterminants sociaux dans les demandes de subventions. Ils voulaient savoir si ces modèles intelligents pouvaient faire un meilleur travail que les anciennes méthodes par mots-clés, et s'ils pouvaient gérer la réalité désordonnée de la façon dont les scientifiques écrivent réellement sur les problèmes sociaux.

L'étude s'est concentrée sur les sections « Pertinence pour la santé publique » des demandes de subventions de l'exercice fiscal 2023, un ensemble de données de plus de 2 000 demandes de subventions. Les chercheurs ont d'abord appris à un modèle à reconnaître cinq catégories spécifiques de déterminants sociaux : la stabilité économique, l'accès à l'éducation, l'accès aux soins de santé, les conditions de voisinage et le contexte social et communautaire. Ils ont fait cela en demandant à des experts humains de marquer soigneusement une partie du texte, créant ainsi un ensemble de réponses correctes pour que le modèle puisse apprendre. Ils ont ensuite testé les modèles pour voir comment ils pouvaient trouver ces catégories dans le reste du texte. Le défi était de taille car la plupart des subventions ne mentionnent pas du tout ces facteurs sociaux, et lorsqu'elles le font, les mentions sont souvent rares et enfouies profondément dans le texte.

Les résultats ont révélé une vérité surprenante sur le fonctionnement de ces systèmes d'intelligence artificielle. Les chercheurs ont découvert que des modèles plus petits, affinés spécifiquement sur la tâche en aval, surpassaient les modèles massifs généralistes qui font la une des journaux. En particulier, ModernBERT-base a obtenu la plus haute performance lorsqu'il a été entraîné directement sur la tâche de classification cible de l'étude. Il a correctement identifié les facteurs sociaux dans le texte plus souvent que les plus grands modèles, qui étaient des milliers de fois plus gros et qui s'appuyaient sur leurs connaissances générales pour deviner les réponses. Les modèles plus petits étaient également plus stables et cohérents, alors que les modèles plus grands peinaient parfois à apprendre les règles spécifiques de la tâche.

Cependant, l'étude a également mis en lumière une leçon cruciale sur l'utilisation de ces outils. Les chercheurs ont découvert que le simple entraînement du modèle ne suffisait pas ; ils devaient ajuster la manière dont le modèle prenait ses décisions finales. Comme les facteurs sociaux apparaissaient très rarement dans le texte, le modèle avait tendance à les ignorer, supposant qu'ils n'étaient pas présents. En ajustant la sensibilité du modèle pour chaque catégorie spécifique, les chercheurs ont pu récupérer une quantité massive d'informations manquées. Cet ajustement a transformé un système qui fonctionnait à peine en un système performant avec une grande performance. Sans cette étape, les modèles les plus avancés auraient échoué à capturer les données mêmes qu'ils étaient conçus pour trouver.

Lorsque les chercheurs ont examiné de près les différents types de facteurs sociaux, ils ont constaté que les modèles se comportaient différemment selon la catégorie. Pour des sujets clairs et bien définis comme la stabilité économique ou les conditions de voisinage, les petits modèles spécialisés étaient excellents. Ils pouvaient repérer ces facteurs avec une grande précision. Mais pour des sujets plus vagues et complexes, tels que le contexte social et communautaire, les grands modèles généraux montraient un avantage. Ces sujets sont souvent décrits de manière subtile, ce qui nécessite une compréhension large des relations humaines et de la société, une force que possédaient les modèles massifs. Cela suggère que, bien que les modèles plus petits soient généralement meilleurs et plus efficaces, les plus grands possèdent toujours une capacité unique à comprendre les concepts sociaux les plus abstraits.

Les implications de ce travail sont significatives pour la manière dont la science est financée et comprise. Les chercheurs ont démontré qu'il est possible de construire un système capable de scanner des décennies de données de subventions pour voir exactement quels problèmes sociaux sont étudiés et lesquels sont ignorés. Ils ont montré que cela peut être fait avec des modèles relativement petits et efficaces qui ne nécessitent pas de matériel coûteux et massif ou de logiciels propriétaires secrets. Cela permet aux responsables de la santé publique et aux chercheurs de suivre les tendances de financement en temps réel, garantissant que l'argent est dirigé vers les domaines où il est le plus nécessaire. En utilisant ces outils, les agences peuvent enfin voir le paysage complet de leurs investissements de recherche, identifiant les angles morts où les déterminants sociaux sont sous-financés et guidant les décisions futures pour créer un système de santé plus équitable.

L'étude a également mis en évidence une lacune persistante dans le paysage actuel de la recherche. Même avec les meilleurs outils disponibles, l'analyse a montré que certains domaines, particulièrement l'accès et la qualité de l'éducation, restent nettement sous-représentés dans les subventions qui reçoivent des financements. Il ne s'agit pas d'une erreur de données ; c'est le reflet de l'attention que la communauté scientifique a choisi de porter. Lorsqu'un facteur social est systématiquement négligé dans les propositions de recherche, la base de preuves nécessaire pour résoudre ce problème reste ténue. La capacité de cartographier précisément ces tendances signifie que les décideurs politiques peuvent désormais voir ces lacunes clairement et faire des choix éclairés pour équilibrer le portefeuille de recherche, garantissant que les moteurs des disparités de santé sont abordés avec la même rigueur que les maladies qu'ils provoquent.

En fin de compte, cette recherche offre un nouveau prisme pour observer la mécanique de la découverte scientifique. Elle va au-delà du simple comptage de mots pour comprendre la véritable intention de la recherche proposée. En combinant la précision des modèles spécialisés avec la compréhension large des modèles de grande taille, et en ajustant soigneusement la manière dont ces systèmes prennent leurs décisions, les scientifiques ont créé un outil puissant pour la transparence. Cet outil ne se contente pas de compter les subventions ; il révèle les priorités de la recherche sanitaire d'une nation, offrant une voie claire vers un avenir où les décisions de financement sont guidées par une compréhension complète et exacte des forces sociales qui façonnent notre santé.