ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

獣医学の世界では、動物のケアを行う日々の業務によって、膨大な情報の海が生み出されています。犬が診察を受けるたびに、獣医師は症状、血液検査の結果、超音波検査の所見についてのメモを書き留めます。これらの記録はデジタルシステムに保存されますが、その中の情報は、物語や日記の記述のように、自由な形式の文章として書かれていることがよくあります。このような物語形式のスタイルは、医師が書く分には自然なことですが、コンピュータが読み取ったり、研究者が分析したりするには困難です。これらの物語を、疾患パターンの追跡や治療法の理解といった科学的研究のための有用なデータに変えるには、誰かがまずすべてのメモを読み、体温の数値や診断名といった特定の事実を抽出して、整然とした整理された表に配置しなければなりません。データ抽出として知られるこのプロセスは、現代科学にとって不可欠ですが、手作業で行うと時間がかかり、退屈で、ヒューマンエラーが発生しやすくなります。

人工知能は、このボトルネックに対する潜在的な解決策として登場しました。具体的には、大規模言語モデルは、大量のテキストを用いて学習されたコンピュータプログラムであり、人間の言語を理解し生成することができます。これらのツールは、医療記録を読み取り、必要な事実を数秒で抽出することを約束しており、専門家がより複雑なタスクに集中できるようにする可能性を秘めています。しかし、決定的な疑問が残っています。これらのデジタルツールは、果たして訓練を受けた人間と同じくらい上手く仕事をこなせるのか、それとも研究を台無しにするような間違いを犯すのだろうか、という点です。さらに、将来の獣医師となるであろう、これらのツールを最終的に使用する人々は、この仕事を機械に委ねることについてどのように感じているのでしょうか。これらの問いに答えるため、テキサスA&M大学の研究者たちは、人間の学生と人工知能システムの直接比較を行い、作業の速度と正確性だけでなく、関与した学生たちの考えや感情についても測定を行いました。

研究は、人工知能に関するコースに在籍している、2年生の獣医学生10名に焦点を当てました。研究者たちは、これらの学生に対し、膵炎（膵臓の痛みを伴う炎症）が疑われる3頭の犬の医療記録から情報を抽出するよう求めました。学生たちはこのタスクを2回行いました。まず、彼らは手動で記録を読み、年齢や体重から特定の検査値や超音波の記述に至るまで、63種類の異なるデータポイントをスプレッドシートに記入しました。答えを単に覚えてしまわないように、1ヶ月間の休憩を挟んだ後、同じ学生たちが全く同じタスクを、今度はチャットボット（人工知能の一種）を使用して行いました。彼らは医療記録をチャットボットに貼り付け、データを抽出するように指示を受け、それぞれの方法でどれくらいの時間がかかったかを記録しました。

結果は、速度において劇的な違いを明らかにしました。単独で作業する場合、学生が1症例の抽出を完了するのにかかる平均時間は8分半でした。チャットボットを使用したとき、そのプロセスは1症例あたりわずか15秒でした。これは、人工知能が人間の学生よりも34倍速いことを意味します。この大幅な速度差にもかかわらず、作業の正確性はどちらの方法でも驚くほど高い水準を維持していました。学生の正確度は90％を超え、人工知能もこのパフォーマンスに匹敵し、90％以上の正確性を達成しました。この発見は、機械の速度が品質を犠牲にしなかったことを示唆しています。つまり、このツールは訓練を受けた学生と同様に信頼性の高い方法で情報を処理することができたのです。

しかし、人間と機械が行う間違いの性質は、大きく異なっていました。学生は、数字の打ち間違いやデータの行のずれといった、疲労や反復に関連するエラーを起こす傾向がありました。また、医療記録内の曖昧な記述にも苦戦し、明示的に書かれていない情報を推測してしまうこともありました。例えば、記録に「少量の液体」とあり、「異常」とは明記されていない場合、学生は重症度を推測することがありましたが、人工知能はより保守的であり、書かれている内容に厳密に従う傾向がありました。興味深いことに、人工知能は異なる種類のエラーを起こしました。単純なコードが要求されているにもかかわらず、完全な文章を返してしまうなど、厳格なフォーマット指示に従えないことがあったのです。このツールは医学的内容は理解していましたが、タスクの特定のルールを見落とすことがあり、これは人間の学生には起こりませんでした。

数値を超えて、研究者たちは学生たちがこのテクノロジーをどのように感じているかを理解したいと考えました。調査とインタビューを通じて、学生たちは人工知能の使用に対して明確な好意を示しました。彼らは、手作業によるプロセスを精神的に消耗し、反復的なものだと表現し、ツールが長い、乱れた物語を精査するという認知的負担を回避する助けになると述べました。学生たちは、人工知能が退屈で反復的な仕事を担当することで、より複雑な臨床的推論の側面に集中できると考えていました。しかし、この信頼は盲目的なものではありませんでした。学生たちは、機械が行った作業を依然としてチェックする必要があると強調しました。彼らは、ツールが効率的ではあるものの、データおよびそれに基づく医学的判断に対する最終的な責任は依然として人間の獣医師にあることを認識していました。

本研究は、人工知能が獣医記録からデータを抽出するための強力かつ効率的なパートナーであり、人間には到底及ばない速度で作業しながら、高い正確性を維持できると結論付けています。この技術は、反復的な作業の単調さを軽減することに長けていますが、人間の監視の必要性を置き換えるものではありません。研究に参加した学生たちは、人間による判断を代替するためではなく、それを支援するためにこれらのツールを自身の将来のキャリアに統合することの価値を認めていました。獣医学が進展するにつれ、人間の専門知識と人工知能の速度の組み合わせは、増え続ける医療データを扱うための有望な道を提供し、記録の中にある物語が、世界中の動物を助けるための知識へと変わることを保証してくれるでしょう。