Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

医学研究の世界において、問いに対する答えを得るための最も信頼できる方法は、そのトピックに関してこれまでに書かれたあらゆる研究を集め、それらすべてを読み、その知見を一つの明確な図に統合することである。このプロセスはシステマティック・レビューと呼ばれる。これは、どの治療法が有効で、どれが無効かを決定するためのゴールドスタンダードであり、現代の臨床ガイドラインの根幹を成している。しかし、これらのレビューを作成することは、途方もない作業である。研究チームが、何百万もの論文を検索し、どの論文が重要かを判断するために抄録を読み、全文から特定の数値を抽出し、研究が信頼に足るものであることを確認するためにその質を検証するという作業に、数ヶ月、あるいは数年を費やす必要がある。このプロセスは非常に手間がかかるため、数十万ドルのコストがかかり、医師や患者に命を救う情報が届くのを遅らせてしまうことがある。

近年、大規模言語モデルとして知られる新しい種類のコンピュータプログラムが登場した。これらは膨大な量の人間によるテキストで学習されたシステムであり、人間の知能を模倣するような方法で言語を読み、理解し、生成することができる。研究者たちは、これらのツールがシステマティック・レビュー作成の重労働を引き継ぎ、数ヶ月に及ぶ苦行をわずか数時間に変えられるのではないかと考え始めている。期待されているのは、これらの機械が反復的でデータ集約的な作業を処理し、人間の専門家が深い判断を必要とする複雑な決定に集中できるようにすることである。しかし、これが実現するためには、機械が患者の命を預けるに足りるほど正確でなければならない。

モントリオール大学とマギル大学の研究チームは、非常に実践的なアプローチを用いてこのアイデアをテストすることに乗り出した。彼らは、レビューのプロセス全体を最初から最後まで完全に自動化して動かす複雑なロボットを作ろうとしたのではない。代わりに、以前出版された5つの医学的レビューのデータのみを使用し、単純な指示を用いて、高度なバージョンの大規模言語モデルにシステマティック・レビューの主要な各ステップを一つずつ実行させた。目標は、人工知能の特別な訓練を受けていない標準的なユーザーが、コンピュータに人間と同等の仕事をさせることができるかどうかを確認することであった。研究者たちは、論文を見つけるための検索語の作成、関連する研究を選ぶためのタイトルと抄録のスクリーニング、全文からの特定のデータポイントの抽出、研究の質と潜在的なバイアスの評価、そして最後にデータを統合して最終的な結果を導き出すという、5つの異なる段階に焦点を当てた。

結果は、驚くべき強みと明確な限界の物語を明らかにした。医学論文のテキストから特定の数値や事実を抜き出すという点においては、コンピュータモデルは極めて優秀であった。実際、モデルはレビューを執筆した元の著者たちよりも優れた成績を収めた。研究者が、専門家によるレビューヤーが作成した新しい厳格な基準とコンピュータが抽出したデータを比較したところ、機械の正答率は93パーセントであった。また、機械はより高速であり、人間が数時間かかる作業をわずか数分で完了させた。同様に、研究の質を判断し、潜在的な欠陥やバイアスを特定するように求められた際も、コンピュータは再び人間よりも優れたパフォーマンスを示し、83パーセントの精度を記録した。研究者たちは、コンピュータが品質判定でミスをした場合、過度に慎重になり、リスクがあるかもしれないものを安全だと判断するのではなく、安全であるはずのものをリスクがあるとフラグ立てする傾向があることを指摘した。これは、真の問題を見逃すよりも、安全なエラーと言えるものである。

しかし、不完全な情報に基づいて判断を下さなければならないプロセスの初期段階において、機械は著しく苦戦した。コンピュータが、医学データベース内の論文を見つけるための特定の単語リストである検索文字列を生成するよう求められた際、人間が見つけた関連論文の約85パーセントを見つけ出した。これはまずまずの結果ではあったが、これは文献の相当部分を見逃したことを意味していた。状況は、コンピュータが論文の全文をスクリーニングして、最終的なレビューに含めるべきかどうかを決定しようとした際にさらに悪化した。このステップにおいて、モデルは人間によるレビューヤーが正しく特定した重要な論文の半分以上を見落とした。コンピュータは「含めるべきではないもの」を知ることは非常に得意であったが、「保持すべき正しいもの」を見つけることは不得手であった。このことは、機械がデータを読み取り整理する強力なツールにはなり得るものの、どの研究が関連しているかを決定するという初期の重要な局面において、まだ人間を代替できる段階にはないことを示唆している。

最後のステップでは、レビューの全体的な結果を算出するためにデータを統合することが行われた。ここで、コンピュータは人間の結果に非常に近い数値を出力したが、常に完全に一致したわけではなかった。差異は小さく、機械が曖昧なデータの解釈や、細かな計算の詳細をどのように扱ったかに起因するものと思われる。研究者は、コンピュータがこれらの結果を数秒で生成できることを見出したが、これは人間がはるかに長い時間を要する作業である。しかし、この研究は、コンピュータにこれを完璧に行わせるためには、欠損データの扱い方や使用すべき統計的手法についての非常に具体的で詳細な指示が必要であることを強調した。適切なガイダンスがなければ、結果は真実からわずかに逸脱する可能性がある。

本研究は、医学研究の自動化への道は、一度の飛躍ではなく、異なる仕事に対して異なるツールが必要とされる一連のステップであると結論づけている。表からデータを抽出したり、研究の質を判断したりといった、情報の読み取りや抽出を伴うタスクについては、これらのコンピュータモデルはすでに人間よりも優れており、作業をスピードアップさせるために即座に使用できる。しかし、検索すべき論文を決定したり、保持すべき全文を選別したりといった、より主観的なタスクについては、機械はまだ単独で作業できるほど信頼できるレベルには達していない。研究者たちは、最も効果的なアプローチはハイブリッドモデルであると提案している。つまり、コンピュータにはデータの抽出や品質チェックといった重労働を担当させ、人間は検索をガイドし、最終的なスクリーニングの決定を下すためにプロセスに関与し続けるという形である。このパートナーシップは、患者が依存する正確性を損なうことなく、医学的エビデンスを作成する時間とコストを劇的に削減できる可能性がある。