Evaluating Clinical Symptom Extraction and Reasoning in Local Large Language Models: A Proof-of-Concept Study of Symptom-Specific Performance in Cardiology

病院では、患者の痛みの最初の記述から回復に関する最終的な記録に至るまで、日々膨大な量の書面による記録が生成されています。この情報の多くは自由形式の文章の中に閉じ込められており、迅速に分類、検索、または分析することを困難にしています。何十年もの間、医師や研究者はこれらのノートを読み、特定の詳細を抽出するために手作業に頼ってきましたが、これは遅く、退屈で、ヒューマンエラーが起こりやすいプロセスです。近年、大規模言語モデルとして知られる新しいタイプのコンピュータプログラムが登場し、潜在的な解決策となっています。これらのシステムは膨大なテキストライブラリで学習されており、医学的なノートを読み、患者が息切れを感じているか、あるいは胸の痛みを感じているかといった特定の事実を特定できるほど、人間の言語をよく理解することができます。これらのツールは、プライベートなデータを外部に送信することなく、病院独自の安全なコンピュータ内ですべて完結して動作できるため、乱雑な手書きまたはタイピングされたノートを、患者ケアの向上に利用できる清潔で整理されたデータへと変換する有望な方法を提供します。

東京大学の研究チームは、これら2つのローカルコンピュータプログラムが、心不全という特定の、かつ極めて重要な分野において、このタスクをどの程度うまく遂行できるかをテストすることに乗り出しました。彼らは、心臓移植の評価を受けている進行した心不全の患者に焦点を当てました。このグループの症状は複雑で多様です。研究者は、自院の患者記録から、2017年から2023年までの期間をカバーする10件の実例を選びました。これらの記録は日本語で書かれており、患者の訴え、医師による診察での所見、そして病状の変化を含む、各患者の入院生活の全容が含まれていました。チームはコンピュータプログラムに対し、これらの10個の物語をスキャンし、動悸や極度の疲労感、失神など、移植リストへの登録に必要な8つの特定の症状の有無を特定するよう指示しました。コンピュータの回答が正確であることを確実にするため、5人の専門的な心臓専門医が同じ10個の物語を独立してレビューし、各症状について「正解（グラウンド・トゥルース）」に合意し、機械を測定するための信頼できる基準を作成しました。

研究者たちは、依頼の言葉遣いがどのように結果を変えるかを見るために、異なる一連の指示の下でコンピュータプログラムをテストしました。一つのシナリオでは、プログラムは症状に関するあらゆる言及を探すために医療履歴全体をスキャンするように指示されました。別のシナリオでは、過去の既往歴に言及されている可能性のある症状は無視し、今回の特定の入院中に起きていることだけに集中するように明示的に指示されました。また、「思考を言語化」し、答えを出す前にその理由を説明させることで、精度が向上するかどうかについてもテストしました。研究の結果、両方のコンピュータプログラムは概してこのタスクにおいて非常に優秀であり、ほとんどの場合において症状の有無を正しく特定していることがわかりました。しかし、性能は完璧ではなく、エラーはランダムではありませんでした。プログラムは、動悸（心臓が速く打ったり、ドクドクしたりする感覚）と、倦怠感（圧倒的な疲れを感じること）という2つの特定の症状において最も苦戦しました。

研究者がコンピュータの犯した間違いを調査したところ、機械がどのように考えているかについて明確なパターンを発見しました。動悸の症状については、患者が実際に心臓が速いと感じたと書いたり言ったりしていなくても、医療記録に異常な心拍リズムや速い心拍数が示されているだけで、プログラムは患者が動悸を経験していると判断してしまうことがよくありました。コンピュータは、直接的な患者の訴えからではなく、客観的な医学的データから症状を推論したのです。同様に、倦怠感についても、プログラムは患者が心不全（倦怠感を引き起こすことが知られている疾患）であるという理由だけで、患者が疲れていると結論付けることが頻繁にあり、たとえ特定のノートに疲労について全く言及されていなくても、そのような判断を下していました。コンピュータは、テキストに厳密に従うのではなく、医学的な論理を用いて空白を埋めていたのです。この傾向は非常に強く、あるケースでは、コンピュータは不規則な心拍があることを正しく特定しながらも、患者が動悸を感じていると誤って主張したり、一方で同じ医学的所見を持つ別のケースでは、患者はそれを感じていないと正しく答えたりするなど、その推論に一貫性が欠けていました。

研究はまた、指示のフレーディング（言い回し）が極めて重要であることも明らかにしました。研究者がプログラムの一つに対し、過去の病歴を無視して現在の入院にのみ集中するように指示したとき、そのプログラムは症状を見つけることに対してより慎重になりましたが、実際に存在するはずの多くの症状も見逃してしまいました。現在の文脈に明示的に書かれていないものはすべて無視するというルールに厳格になりすぎたため、患者の現在の状態の一部であるはずの症状を捉えることができなくなったのです。これは、これらのコンピュータプログラムは強力なツールではあるものの、単に人間のように言葉を読むのではなく、学習した医学的な関連性やパターンに基づいてテキストを解釈していることを示唆しています。彼らは、他の事実に基づいて症状が存在すると推論することができますが、その推論が間違っている場合にはエラーにつながります。研究者たちは、これらの知見は少数の事例に基づいていること、およびプログラムは与えられた特定の指示に応じて異なる挙動を示したことから、技術はまだ進化過程にあると指摘しました。

結局のところ、この研究は、ローカルコンピュータプログラムが医療情報の抽出を自動化できる一方で、人間の読者の注意深い判断をまだ代替するものではないことを示しています。機械は医療ノートの文脈を理解することはできますが、時として、疾患がどのように機能するかという知識が、実際にページに書かれている内容を上書きさせてしまうことがあります。これらのツールが病院環境で真に有用であるためには、開発者がプログラムがどのように診断に至る論理を展開しているのかを正確に理解し、医学的な仮定ではなく、明示的な患者の訴えに依拠するようにプログラムを導く必要があります。本研究は、これらのシステムが病院の安全なネットワーク内で動作し、複雑な医学的テキストを扱えることを示す概念実証（プルーフ・オブ・コンセプト）として機能していますが、同時に、症状の自動抽出が正確かつ信頼できるものであることを保証するために、慎重な監視が必要であることも浮き彫りにしています。