Automated Identification of Complex Percutaneous Coronary Intervention from Cardiac Catheterization Reports Using Large Language Models

病院は毎日、膨大な量の非構造化テキストを生み出しています。これらの文書の中で最も重要なものの一つが、心臓カテーテル検査の後に作成される記述報告書です。これは、医師が細い管を動脈に通して心臓の血管を調べる処置です。これらの報告書には、患者の心臓の解剖学的詳細や、閉塞を修復するために用いられた具体的な技術に関する詳細な情報が豊富に含まれていますが、それらは整然としたチェックボックス形式ではなく、自由な形式のパラグラフ（段落）で書かれています。研究者や品質改善チームにとって、これは大きなボトルネックとなっています。処置がいかに効果的であったかを研究したり、医療システム全体における症例の複雑さを追跡したりするためには、人間の専門家が何千もの報告書を手作業で読み、特定のデータポイントを抽出しなければなりません。このプロセスは遅く、コストがかかり、スケールさせるのが難しいため、重要な医学研究の規模や速度を制限してしまうことがよくあります。

大規模言語モデル（人間のようなテキストを理解し生成できる人工知能の一種）の台頭は、この問題に対する潜在的な解決策を提供します。これらのシステムは、複雑な文書を読み取り、特定の事実を抽出するように訓練することができ、非常に高速で疲れを知らない研究助手のようになります。しかし、これらのツールが、複数の閉塞や困難な技術を伴う「複雑な」症例を特定することを求められた際、心臓の手順に関する記述に見られるような、ニュアンスを含んだ専門的な言語を扱うことができるかどうかは、依然として不明でした。ある研究チームは、この問いを検証するために、実世界の心臓カテーテル報告書の膨大なコレクションを用いてテストを行いました。

研究者たちは、イェール・ニューヘブン・ヘルス・システム内の3つの異なる病院から、1,412件の匿名化された処置ノートを集めました。これらの文書は2011年から2017年の間に行われた処置を対象としており、診断検査と、医師がステントを留置したりバルーンを使用して閉塞した動脈を開通させたりする実際の介入の両方が含まれていました。比較のための信頼できる基準を作成するために、専門の心臓スペシャリストのグループがすべてのノートを手作業で読みました。彼らはまず、報告書が実際に冠動脈の治療のためにステントやバルッションが使用された処置について記述しているかどうかを判断しました。治療が行われた場合、彼らは「複雑な」処置を定義する6つの特定の詳細を抽出しました。それは、治療された血管の数、治療された個別の閉塞の数、留置されたステントの総数、分岐血管に対して特定の2本ステント技術が使用されたかどうか、全ステントの合計長、および慢性完全閉塞（CTO：長期にわたる完全な閉塞）が治療されたかどうかです。

この人間によって検証された「ゴールドスタンダード（黄金律）」を用意した上で、チームは3つの異なる人工知能モデルをテストし、それらが専門家の仕事を再現できるかどうかを確認しました。彼らは、コードと重みが公開されているオープンソースのモデルを選択しました。これにより、患者のプライバシーを保護するために、安全なローカルコンピュータ上でモデルを実行することが可能になりました。一つのモデルは、そのサイズと推論能力の尺度である700億のパラメータを持つ、大規模で汎用的なシステムでした。他の2つは、臨床用語を理解するように設計された、それぞれ70億のパラメータを持つ、医学文献で事前学習されたより小さなモデルでした。研究者たちは、同じテキストプロンプトと報告書をすべてのモデルに投入し、処置が行われたかどうかを特定し、6つの特定の変数を抽出するように指示しました。

結果は、能力における明確な違いを示しました。大規模な汎用モデルは、2つのより小さな医学特化型モデルを大幅に上回りました。単に報告書が心臓の手順について記述しているかどうかを尋ねた際、大規模モデルは完璧な感度（sensitivity）を達成しました。つまり、実際の手順を一つも見逃さず、非手順のノートも高い精度で正しく識別しました。対照的に、小さなモデルは苦戦し、一方は非手順のノートを頻繁に手順と誤認し、もう一方は実際の手順をほとんど認識できませんでした。

タスクが6つの複雑な詳細の抽出を必要とすると、その差はさらに広がりました。大規模モデルは、ステントの数とステントの合計長を非常に高い精度で特定し、しばしば90パーセントを超えました。また、治療された血管の数の特定についても良好なパフォーマンスを示しました。しかし、より多くの解釈を必要とする変数、例えば、個別の閉塞の正確な数を数えたり、分岐血管に対して特定の2本ステント技術が使用されたかどうかを判断したりする場合には、パフォーマンスが低下しました。これらのケースでは、モデルは詳細を見逃したり、文脈を誤解したりすることがありましたが、それでも依然として小さなモデルよりはるかに正確でした。小さな医学モデルは、専門的なトレーニングを受けているにもかかわらず、これらの詳細を一貫して抽出することに失敗し、研究に使用するにはあまりにも信頼性の低い結果を出すことがよくありました。

研究では、モデルが3つの病院サイト間で異なるパフォーマンスを示すかどうかについても調査されました。大規模モデルは3つの場所すべてで高い精度を維持しましたが、各サイトでのパフォーマンスには顕著な差異が見られました。これはおそらく、各病院の医師による記述方法の違いによるものです。小さなモデルは、さらに大きな不一致を示し、場所によってパフォーマンスが激しく変動しました。これは、大規模モデルは堅牢である一方で、情報の記録方法が結果に影響を与え得ることを示唆しています。

研究者たちは、最も優れたパフォーマンスを示したモデルがどこで苦戦したのかを理解するために、エラーの分析を行いました。間違いは、記述が曖昧であったり断片的であったりする場合に発生することが多いことが分かりました。例えば、モデルは時として診断テストと治療を混同したり、設置に成功したステントと、試みたものの展開されなかったステントを区別することに苦労したりしました。また、治療されていない閉塞について言及されている場合や、慢性完全閉塞（CTO）の記述が明示的ではなく暗示的である場合に、困難が生じることがありました。これらのエラーは、テクノロジーが強力である一方で、人間による医学的記述の乱雑で一貫性のない現実をナビゲートするには、まだ完璧ではないことを浮き彫りにしています。

最終的に、この研究は、大規模なオープンソースの人工知能モデルが、伝統的に数時間の作業を要してきた非構造化心臓処置報告書から複雑なデータを正確に抽出できることを証明しています。研究結果は、多くの変数、特にステントの数のように明示的に記載されているものについては、これらのツールが研究に適したレベルの精度を達成できることを示唆しています。しかし、深い文脈的解釈を必要とする変数については、テクノロジーは依然として課題に直面しています。この研究は、今後のスケーラブルな循環器研究の未来は、より小さな特化型モデルや手作業によるレビューだけに頼るのではなく、これらの強力なモデルを使用してデータの抽出の大部分を処理し、最も困難なケースについては人間の監視を組み合わせるという形にあることを示しています。