High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

研究チームが医学的治療を理解しようと試みるたびに、彼らはまず、数十、時には数百もの個別の研究から事実を集めなければなりません。このプロセスは「システマティック・レビュー」として知られ、現代の医学的根拠の基盤となっています。これには、科学者が難解な報告書を読み込み、患者数は何人だったか、投与量はいくらだったか、そして結果はどうであったかといった特定の数値を抽出する作業が必要です。もし一つの数字でも誤ってコピーされれば、レビュー全体の結論が変わり、医師が誤った治療法を推奨してしまう可能性さえあります。数十年にわたり、この作業は人間の手によって行われてきました。それは、ミスを防ぐために二人が同じ文書を独立して読むことも多い、非常に低速で細心の注意を要する作業です。これは正確性のためのゴールドスタンダード（黄金律）ですが、同時に非常に時間がかかり、コストもかかる作業でもあります。

近年、この領域に新しいツールが登場しました。それが「大規模言語モデル」です。これらは膨大な量のテキストで学習された強力なコンピュータプログラムであり、科学論文を読み、人間が行うのと同じように数値を抽出することを試みます。人工知能システムが重労働を引き受け、プロセスを加速させ、人間の専門家をより複雑な思考へと解放できることが期待されてきました。しかし、これらのツールが一般的になるにつれ、ある決定的な疑問が生じています。果たして私たちは、それらが人間と同じくらい正確であると信頼できるのか、そして、どのような種類の情報を求められたとしても、その性能は一貫性を保てるのか、という疑問です。

カルロス・ダルシー・アルベス・ベルソットとその同僚たちによる新しい研究は、この問いに対して深い統計的な視点からアプローチしています。彼らは単に「機械が機能するかどうか」を問うたのではありません。彼らは、これらのモデルを人間が作成した基準と比較してテストした利用可能なすべての報告を集め、その結果を統合することで、全体像を把握しようとしました。彼らが明らかにしたのは、二つの全く異なる現実が共存しているという物語でした。一方で、これらの人工知能システムの平均的なパフォーマンスは驚くほど高いものです。しかし他方で、その平均値は、取り組む具体的なタスクによって性能が激しく変動するという混沌とした現実を隠しているのです。

研究者たちは、45の独立した調査を表す46の異なる報告からデータを収集しました。彼らは特に、人間が機械の仕事を確認する前の瞬間に焦点を当てました。彼らが知りたかったのは、「もし大規模言語モデルに情報の抽出を依頼した場合、初回で正解を得られる確率はどのくらいか」ということです。厳格な基準を満たした8つの主要な研究から結果を集計したところ、答えは心強いものでした。モデルは約86.4パーセントの確率で正解を出していたのです。この数字は、一般的な意味において、これらのツールが極めて有能であることを示唆しています。

しかし、物語はあの平均値で終わりではありません。研究者たちがさらに深く掘り下げたところ、この高い平均値は、極端な不一致という土台の上に築かれていることが判明しました。彼らが算出した範囲は、未知の状況においてどのようなパフォーマンスが予想されるかを示しています。その範囲は、低ければ19.2パーセントから、高ければ99.4パーセントにまで広がっていました。これを理解するために、テストを受ける生徒を想像してみてください。その生徒の平均点が86パーセントだとしても、個々のテストのスコアが「落第」から「満点」まで激しく変動する場合、その生徒を採点業務に送り出すことに自信は持てないはずです。これと同じ論理がここにも当てはまります。平均が高いからといって、機械が特定の、現実世界のシナリオにおいて優れたパフォーマンスを発揮することを保証するわけではないのです。

この研究は、抽出される情報の種類によって、結果が劇的に変わることを明らかにしています。タスクが単純で明確に述べられた事実を扱う場合、モデルは非常に優れたパフォーマンスを発揮します。しかし、複雑な表の中に埋もれた数字を見つけたり、曖昧なテキストを解釈したり、あるいは欠落している、または報告が不十分なデータを抽出したりする必要がある場合、精度は著しく低下します。ある特定のケースでは、単にコピーするのではなく、記憶から詳細を呼び起こす必要がある「自由記述形式の情報」を抽出させる必要があり、その際の精度はわずか17パーセントにまで急落しました。この単一の研究が、非常に異なるタスクであったために、全体の平均値を押し下げ、結果の範囲を広げたのです。この外れ値を除外し、より類似した構造化されたタスクに絞って調査したところ、平均精度は91.2パーセントに上昇しましたが、それでもなお、設定によってパフォーマンスは大きく変動し得ることが分かりました。

研究者たちはまた、医学的レビューにおいて最も重要な部分である「数値データ」をこれらのツールがどのように扱うかも調査しました。ここでの結果は混在していました。高度に構造化されたテストでは、モデルはほぼ完璧な精度を達成し、99パーセントの数字を正しく抽出しました。しかし、異なるタイプのデータを扱う他の研究では、精度は約63パーセントまで落ち込みました。この不一致は、あるモデルがあることに長けているからといって、あらゆることに長けているとは限らないということを意味します。薬の名前を見つけることに長けたモデルが、副作用を経験した正確な患者数の特定においては、無残にも失敗する可能性があるのです。

もう一つの重要な発見は、「ワークフロー」に関するものです。多くの研究では、人間が機械の仕事を確認したり、機械が「セカンド・リーダー（二読者）」として機能したりするなど、人間がプロセスに関与する場合のパフォーマンスを調査しています。こうした人間による支援が行われるワークフローでは、多くの場合、より良い結果が得られ、時間の節約にもつながっています。しかし、本研究は明確な区別を設けています。人間が機械と共に作業する際のスピードと精度は、機械が単独で作業する際のそれとは異なるということです。一部の研究で報告されている時間の節約は、多くの場合、機械が初稿を作成することによるものですが、人間は依然として、その内容を検証し、修正するために時間を費やさなければなりません。機械は人間の監視の必要性を排除するのではなく、単に仕事の性質を変えるだけなのです。

研究者たちは、レビューした研究の質についても調査し、多くの研究に方法論的な欠陥があることを見出しました。モデルのテスト方法を明確に説明していない研究や、モデルの学習に使用したデータと同じデータをテストにも使用している研究があり、これらは結果を実際よりも良く見せてしまう可能性があります。これらの限界と、真に独立した研究の数が少ないことから、研究者たちは、これらのツールが将来のあらゆる状況において完璧に機能するかどうかを、絶対的な確信を持って断言することはできないとしています。証拠が示唆しているのは、これらのツールは強力ではあるものの、まだ人間によるレビューを完全に代替できるほど信頼できる段階にはないということです。

本研究の結論は、人工知能が失敗であるということではなく、それは「慎重な扱いを要するツールである」ということです。高い平均精度は事実ですが、文脈を無視して捉えると誤解を招くベンチマークとなります。それは、テクノロジーがポテンシャルを持っていることを示す一方で、そのパフォーマンスがいかに脆弱であるかという警告でもあります。ある種類のデータ抽出には適していても、別の種類には全く通用しない可能性があるのです。研究者たちは、進むべき道は機械を盲信することではなく、リスクに応じた戦略の一部として活用することであると主張しています。単純で明確なタスクについては自信を持って使用できますが、複雑、数値的、あるいは曖昧なデータについては、人間の検証が不可欠です。

結局のところ、この研究は議論の焦点を「機械はそれができるか？」から、「どのような条件下であれば、機械はそれができるのか？」へとシフトさせています。答えは、「条件が整っていれば、機械はうまくこなせる」というものです。高い平均スコアは「能力の約束」ですが、その大きな変動幅は「予測不能性の警告」です。医学的実践を導くためのエビデンス合成に依拠する科学者にとって、教訓は明白です。機械は有用な助手ではありますが、人間の専門家による注意深く批判的な眼差しを代替する存在には、まだなり得ないのです。エビデンス合成の未来は、おそらく、機械がボリューム（量）を処理し、人間が妥当性を確保するという、パートナーシップの形をとることになるでしょう。そこでは、機械のパフォーマンスは決して保証されたものではなく、常にチェックされ続けなければならない「変数」であるという理解に基づいています。