Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

ラテンアメリカの活気あるクリニックにおいて、医師はしばしば静かな不確実性に直面することがある。患者が複雑な症状を呈しており、正しい治療経路がすぐには明らかではない場合である。数十年にわたり、その解決策は立ち止まって答えを探すことであり、教科書をめくったり、デジタルデータベースにクエリを入力したりすることであった。このプロセスは、膨大な量の医学情報を迅速に見つけ、読み、解釈する医師の能力に依存している。今日、この風景の中に新しいツールが登場した。対話型人工知能である。人類の知識の膨大な集合に基づき構築されたこれらのシステムは、対話を行い、質問に答え、複雑なトピックを数秒で要約することができる。その約束されている役割は、このようなツールがベッドサイドでのパートナーとして機能し、医師がより速く、より正確にエビデンスを検索するのを助けることである。しかし、これらのシステムのテストのほとんどは、低・中所得国の忙しい病院の現実からはかけ離れた、制御された静的な環境で行われてきた。重要な問いは、これらのデジタルアシスタントが、実際の現場にいる本物の医師によって使用された際に、実際にケアの質を向上させるのか、それとも単に自信たっぷりに聞こえるものの実用的な助けはほとんど提供しない洗練されたチャットボットに過ぎないのか、ということである。

その答えを見出すために、ラテンアメリカの研究者たちは、202名の医師を含む直接比較を設計した。彼らは、それぞれ4つのオープンエンドな質問への回答を必要とする、4つの模擬患者ケースを解決するように医師に求めるシナリオを作成した。医師たちはランダムに2つのグループに分けられた。一方のグループは、通常通り標準的なリソースを検索するという、従来の方法を用いて情報を探した。もう一方のグループは、医学的エビデンスに遡ることができる回答を提供するよう設計された、特定の対話型システムを使用した。公平性を期すため、どの医師がどの手法を用いたかを知らない2名の独立した専門家が、すべての回答を採点した。彼らは6つの異なる次元に基づいて回答を評価し、提供された医学的助言の全体的な妥当性を反映する複合スコアを作成した。

結果は、2つのアプローチの間に明確な差があることを示した。対話型システムを使用した医師は、通常の検索慣行に頼った医師よりも、平均してより妥当な回答を生み出した。サポートを受けたグループのスコアは、通常の実践グループの2.46に対し、中央値2.83と高かった。研究者が医師の学位などの要因を調整した際、システムを使用している医師は、高い妥当性の基準を満たす回答を生み出す可能性が有意に高いことがデータによって示唆された。この優位性は、専門家による判定において一致が最も強かった特定の基準において、概ね維持されていた。しかし、この研究は一つの微妙な差異も明らかにしている。純粋に事実の正確性のみに着目した場合、2つのグループ間の差は統計的な有意性に達しなかった。このことから、研究者らは、より広範な複合的な妥当性の指標を主要な知見として指定することとなったが、この決定は、外部の評価者が正確性のみの分析を繰り返し、同様に差が見られないことを確認したことによって補強された。

回答の質を超えて、研究では医師たちがそのプロセスをどのように感じたか、そしてそれにどの程度の時間がかかったかも調査された。システムを使用した医師は高い満足度を報告し、そのツールは受け入れ可能であり、使いやすいと感じていた。興味深いことに、タスクを完了するのにかかった時間や、医師が報告した検索回数は、両グループ間で明確な差を示さなかったが、研究者らは、欠損データのためにこの特定の比較を確実に解釈することは困難であると指摘した。研究は、その範囲に関する重要な注意喚起で締めくくられている。参加者はこの演習を完了することを選択したボランティアであり、したがって、この知見は、あらゆる状況におけるあらゆる医師に対してこのツールがどのように機能するかを示す決定的な証明ではなく、探索的なものである。このシステムは、あらゆる問題を即座に解決する魔法の杖としては機能しなかったものの、この地域の現役の医師によって使用された場合、患者に提供する医学情報の質を高めることができるという証拠を示唆している。