Mapping social determinants of health in NIH research funding with large language models

日々、人の健康は、受ける薬や訪れる医師だけでなく、はるかに多くの要素によって形作られています。それは、その人が吸う空気、近隣の安全性、食料を確保できる能力、そして質の高い教育を受けられるかどうかにも影響されます。科学者たちは、これらの要因を「健康の社会的決定要因」と呼んでいます。これらは、なぜあるコミュニティが繁栄し、他のコミュニティが苦境に立たされるのかを左右する、目に見えない力であり、健康状態の大部分を決定づけています。これらの根深い問題を解決するためには、政府は自分たちの研究資金がどこに向かっているのかを知る必要があります。米国では、国立衛生研究所（NIH）が世界最大の公的な健康研究資金提供機関として機能しており、数十億ドルもの資金を特定のプロジェクトへと振り分けています。もしこの資金提供が、こうした社会的な問題を一貫して無視し続けているならば、それらの問題を解決するために必要な科学的エビデンスは決して構築されないことになります。

長年、政府がこれらの社会問題にどれほどの資金を費やしているかを追跡しようとする研究者たちは、困難な壁に直面してきました。彼らは、科学者によって書かれた、長く複雑な文書である何千もの助成金申請書を読み通さなければなりませんでした。関連するプロジェクトを見つけ出すために、彼らは以前、特定のキーワードを探す単純なコンピュータ検索に頼っていました。もし助成金の提案書が正確な言葉を使っていれば、それはカウントされました。しかし、もし同じ問題を異なる言葉で表現したり、より広い物語の中にその概念を織り交ぜていた場合、コンピュータは見落としてしまいました。この手法はあまりに硬直的であり、まるで「針が正確に同じ色であること」だけを探して、干し草の山から針を見つけようとするようなものでした。その結果、研究資金が実際にどこに流れているのかという真の姿は不透明なままであり、重要な社会問題に対する資金提供のギャップも見過ごされてきました。

ある研究チームが最近、大規模言語モデルとして知られる次世代の人工知能を用いて、異なるアプローチを試みることにしました。これらは膨大な量のテキストで学習されたモデルであり、人間が読むのと同様に、文脈やニュアンスを理解することができます。単にキーワードを狩るのではなく、これらのモデルは、著者が標準的な用語を使用していない場合でも、助成金提案書の背後にある意図を理解することができます。研究者たちは、どのモデルが助成金申請書における社会的決定要因への言及を最もよく特定できるかを確かめるため、11種類の異なるバージョンのモデルをテストしました。彼らは、これらのスマートなモデルが、従来のキーワード手法よりも優れた仕事ができるのか、そして、科学者が社会問題について実際に書く際の「乱雑な現実」に対処できるのかを知りたかったのです。

研究は、2023会計年度の2,000件以上の助成金申請書のデータセットにおける「公衆衛生上の関連性（Public Health Relevance）」セクションに焦点を当てました。研究者たちはまず、経済的安定、教育へのアクセス、ヘルスケアへのアクセス、近隣環境、および社会的・コミュニティ的文脈という5つの特定の社会的決定要因を認識するようにモデルを教え込みました。彼らは、人間の専門家がテキストの一部を注意深くラベル付けし、モデルが学習するための「正解」のセットを作成することで、これを行いました。次に、残りのテキストの中でこれらのカテゴリをどれだけ見つけられるかを、モデルをテストして検証しました。ほとんどの助成金ではこれらの社会的要因には一切触れられておらず、触れていたとしても、その言及は稀であり、テキストの奥深くに埋もれていることが多いため、この課題は非常に困難なものでした。

結果は、これらの人工知能システムがどのように機能するかについての驚くべき事実を明らかにしました。研究者たちは、下流タスクに特化して微調整（ファインチューニング）された、より小さなモデルが、巨大で汎用的なモデルよりも優れた性能を発揮することを発見しました。特にModernBERT-baseは、研究のターゲット分類タスクに直接訓練された場合に、最も高い性能を達成しました。そのモデルは、数千倍も大きく、一般的な知識に基づいて答えを推測する最大規模のモデルよりも、テキスト内の社会的要因をより頻繁に正しく特定できました。また、小さなモデルはより安定しており一貫性がありましたが、一方で大きなモデルは、時として特定のルールを学習することに苦戦しました。

しかし、この研究は、これらのツールをどのように使うべきかについての重要な教訓も明らかにしました。研究者たちは、単にモデルを訓練するだけでは不十分であり、モデルが最終的な判断を下す方法を調整する必要があることを発見しました。社会的要因がテキスト内に極めて稀にしか現れないため、モデルはそれらが存在しないと仮定して無視してしまう傾向がありました。各特定のカテゴリに対するモデルの感度を微調整することで、研究者たちは、見逃されていた膨大な量の情報を回収することができました。この調整によって、辛うじて機能していたシステムが、高い性能で動作するシステムへと生まれ変わったのです。このステップがなければ、最も高度なモデルであっても、設計された目的のデータを捉えることに失敗していたでしょう。

研究者たちが異なる種類の社会的要因を詳しく調査したところ、モデルの挙動はカテゴリによって異なることが分かりました。経済的安定や近隣環境のような、明確で定義の定まったトピックについては、小型で専門的なモデルが非常に優れていました。それらは高い精度でこれらの要因を特定することができました。しかし、社会的・コミュニティ的文脈のような、より曖昧で複雑なトピックについては、大規模で汎用的なモデルに強みが見られました。これらのトピックは、人間関係や社会に関する幅広い理解を必要とする、より微妙な方法で記述されることが多く、それが大規模モデルの持つ強みでした。このことは、小型モデルが一般的に効率的で優れている一方で、最大規模のモデルは依然として、最も抽象的な社会的概念を理解するための独自の能力を持っていることを示唆しています。

この研究の意義は、科学がどのように資金提供され、理解されるかという点において極めて重要です。研究者たちは、数十年分の助成金データをスキャンして、どの社会問題が研究されており、どの問題が無視されているのかを正確に把握することが可能であることを実証しました。また、それは高価で巨大なハードウェアや、秘密の独占的なソフトウェアを必要とせず、比較的小さく効率的なコンピュータによって実現できることも示しました。これにより、公衆衛生の担当者や研究者は、リアルタイムで資金提供の傾向を追跡できるようになり、資金が最も必要とされる領域へと確実に向けられるようになります。これらのツールを使用することで、機関はついに、自らの研究投資の全容を把握し、社会的決定要因が過小評価されている「盲点」を特定し、将来の決定を導き、より公平なヘルスケアシステムを構築することができるようになるのです。

また、本研究は現在の研究環境における根強いギャップを浮き彫りにしました。最高のツールが利用可能であっても、分析の結果、特に教育へのアクセスと質に関する領域が、資金提供を受ける助成金において著しく過小代表されていることが示されました。これは単なるデータの誤りではなく、科学コミュニティがどこに注意を向けてきたかという選択を反映しています。ある社会的要因が研究提案において一貫して見過ごされているとき、その問題を解決するために必要なエビデンスの基盤は希薄なままとなります。これらの傾向を正確にマッピングできる能力を持つことで、政策立案者はこれらのギャップを明確に把握し、研究のポートフォリオをバランスさせるための情報に基づいた選択を行い、健康格差の要因が、それらが引き起こす疾患と同じ厳格さをもって対処されるようにすることができるのです。

結局のところ、この研究は、科学的発見のメカニズムを捉えるための新しいレンズを提供しています。それは、単なる単語のカウントを超えて、提案されている研究の真の意図を理解するものです。専門的なモデルの精密さと、大規模なモデルの広範な理解力を組み合わせ、さらにこれらのシステムがどのように意思決定を行うかを慎重に調整することで、科学者たちは透明性のための強力なツールを作り上げました。このツールは単に助成金の数を数えるだけではありません。それは国家の健康研究の優先順位を明らかにし、私たちの健康を形作る社会的勢力に対する完全かつ正確な理解に基づいた、より良い未来への明確な道筋を示すものなのです。