Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
本研究は、政策エビデンスの合成におけるAIツール「Elicit」を評価しており、同ツールは予備的なトピック・スコーピングを効果的に迅速化する一方で、現在は、大幅な人間による監視なしには、複雑なラピッドレビューに求められる精度と信頼性に欠けていることを見出している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
公衆衛生や政府の政策の世界において、どのような治療法やプログラムに資金を投入するかという決定は、エビデンス（証拠）の基盤に基づいています。新しい規則が策定される前に、専門家はトピックに関する既存の研究をすべて収集し、それを注意深く読み、何が機能し、何が機能しないのかを要約しなければなりません。エビデンス・シンセシス（証拠統合）として知られるこのプロセスは、公平かつ効果的な選択を行うために不可欠ですが、非常に時間がかかる作業でもあります。伝統的に、研究チームは数千もの学術論文を検索し、それぞれが目の前の特定の問いに適合するかどうかを確認し、明確な全体像を構築するためにデータを抽出することに数ヶ月を費やしてきました。政策立案者のニーズがより緊急かつ複雑になるにつれ、精度を損なうことなく、この作業をスピードアップさせたいという願いが高まっています。ここで人工知能が登場し、人間には到底及ばない速度で情報を読み、分類することができる強力な助手となることを約束しています。
英国の大学の研究者チームは、これら新しいAIツールのひとつをテストすることに決めました。彼らは、ソフトウェアプログラムである「Elicit」が、政策研究者の仕事を真に迅速かつ高度に支援できるかどうかを検証したいと考えたのです。研究者たちは、このツールを2つの異なる方法で評価することを選択しました。第一に、AIが、本格的なレビューを開始する前に行われる「スコーピング」と呼ばれるステップにおいて、幅広いトピックの概要を素早く把握するための有用なガイドとして機能できるかどうかです。第二に、複雑な主題に関する完全かつ迅速なエビデンス・レビューを行う際に、AIが人間の研究者に取って代わることができるかどうかをテストしました。彼らが選んだ主題は、非常に困難なものでした。それは、「社会的・経済的な不利益を抱える高齢者の身体活動を促進するプログラムのうち、どれが成功しているか」を見つけ出すことです。このトピックは、多様な人々、様々な種類の活動、そして特定の成功指標など、多くの動くパーツを含んでいるため、自動化されたシステムにとって厳格なテストとなります。
研究者たちはまず、プライマリ・ケアにおける身体活動ツールの状況を理解するために、文献のクイックスキャンを行うようAIに依頼しました。この役割において、ソフトウェアは極めて有用であることを証明しました。AIはわずか6分間で利用可能なエビデンスの要約を生成し、専門家が思考を形成するのに役立つ広範な視点を提供しました。出力は完璧ではなく、情報がどのように見つけられたかについての詳細な説明に欠けてはいましたが、出発点としては十分に機能しました。それは、チームに対して、何が存在し、どこに空白があるのかという感覚を与え、本格的な領域の全貌を描き出すための困難な作業に入る前の、迅速な予備的マップとして効果的に機能しました。
しかし、研究者たちがAIに、迅速なレビューという完全かつ厳格なタスクを実行させたところ、結果ははるかに芳しくないものでした。彼らは、高齢者の身体活動に関する同じ複雑な問いをシステムに投入し、AIがその仕事をどのように処理するかを見守りました。プロセスには3時間以上を要し、その間、人間の研究者は質問を精査し、AIの仮定を修正するために多大な時間を費やさなければなりませんでした。最終的なレポートが作成されたとき、そこにはAIが関連性があると主張する40の研究リストが含まれていました。しかし、人間の専門家がこれらの研究をレビューの厳格なルールに照らし合わせて確認したところ、そのうち36の研究は実際には含まれるべきではないものでした。AIは、対象となるアウトカム（結果）が間違っているもの、対象となるグループが異なるもの、あるいは基準に合致しない介入を扱っている研究を含めてしまっていたのです。実際、ソフトウェアは、人間のチームがレビューの中で成功裏に見つけ出し、含めていた34の研究を見落としていました。
核心的な問題は、AIが科学論文で使用される言語のニュアンスに苦戦していることにあるようでした。AIは「高齢者」や「身体活動」といった単語を容易に識別できましたが、その研究が本当に正しい対象に対して正しいことをテストしているのかという、より深い意味を理解することには失敗しました。例えば、AIは、一般的な健康状態を改善するためのプログラムと、身体活動を増やすことに特化したプログラムとの違いを、たとえ表現が似ていたとしても区別することができませんでした。こうしたエラーのために、AIによって作成された最終的な要約は、元の問いに答えていない情報で満たされていました。それは無関係なアウトカムについて論じ、レビューの対象外であるエビデンスに基づいて結論を導き出していました。対照的に、人間主導のレビューは、ノイズを排除して真に重要な研究のみに焦点を当てることができ、その結果、より正確で信頼できる結論を導き出すことができました。
研究者たちはまた、ソフトウェアが見つけたデータの扱いについても調査しました。AIは、研究が行われた国や参加者数といった基本的な詳細は抽出できたものの、介入によって個人の健康がどの程度改善されたかといった具体的な結果の抽出に関しては、一貫性を欠いていました。場合によってはデータを完全に見落としていたり、あるいは、見つけた内容が不明瞭であったりしました。さらに、ソフトウェアには研究の質を判断する能力がなく、設計の不十分な弱い実験と、強固で適切に実施された実験を同様に扱っていました。この品質管理の欠如は重大なリスクであり、政策立案者が欠陥のあるエビデンスに依存してしまう可能性があることを意味します。
結局のところ、この研究は、人工知能がトピックの迅速かつハイレベルな概要を得るための貴重なツールにはなり得るものの、複雑な問いを扱う際の、完全なエビデンス・レビューという極めて重要なタスクにおいて、人間の研究者に取って代わる準備はまだできていないことを示唆しています。AIは研究の初期段階を加速させることはできますが、後半の段階では依然としてミスが多く、単独で信頼を置くには至りません。研究者たちは、現時点での最善のアプローチは、ソフトウェアを人間の専門家と共に働く「助手」として使用し、人間が機械によるすべての決定をチェックすることであると結論付けました。AIの誤りを修正するために必要な人間の労力が、当初のスピード向上によるメリットを相殺してしまう可能性があるため、AIを使用することで節約できる時間は現時点では不明確です。これらのツールが進化し続けるにつれ、人間の言語や研究の微妙な詳細をより良く理解できるようになることが期待されますが、当面の間は、公衆衛生政策を導くエビデンスが正確で信頼できるものであることを保証するために、人間の精神が不可欠であり続けます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。