HemOncAgent: an artificial intelligence system for retrieving structured and narrative oncology knowledge

複雑ながん治療の世界において、医師は極めて異なる2種類の情報を使い分けなければなりません。一つは、特定の組み合わせにどの薬剤が含まれるか、あるいは特定の疾患を記述する医学コードがどれであるかを正確に列挙する、成分表のような硬直的で精密な情報です。もう一つは、専門医による記述に見られる、流動的で叙述的な情報であり、いつ新しい療法を開始すべきか、あるいは再発後にどのように患者を管理すべきかといった、時間の経過に伴う治療の順序を説明するものです。数十年にわたり、医師を支援するために設計されたコンピュータシステムは、これらを同時に扱うことに苦慮してきました。あるシステムは正確な事実を見つけることには長けていますが治療計画のストーリーを理解できず、また別のシステムはテキストを読むことは得意ですが、特定の薬剤間の重要なつながりを見落としてしまいます。このギャップは重要です。なぜなら、がんケアについて質問する医師は、ある瞬間には精密な薬剤リストを必要とし、次の瞬間には治療経路に関する物語的な説明を必要とするかもしれないからです。

研究チームは、この隔たりを埋めるために「HemOncAgent」と呼ばれる新しいデジタルアシスタントを構築しました。このシステムは、単一の手法ですべての仕事をこなそうとするのではなく、いつ構造化されたデータベースを確認し、いつ詳細なハンドブックを読むべきかを知っている、思慮深い司書のように振る舞います。研究者らは、数百の腫瘍学知識に関する質問を用いて、このツールを標準的なコンピュータシステムと比較検証しました。その結果、コンピュータが各質問に対して適切な情報源を選択できるようにすることで、この新システムは事実に関する問いと複雑な治療シナリオの両方に高い精度で回答できることがわかりました。この結果は、医学知識が「硬いデータ」と「人間の経験」の両方の側面を持つ場合、ハイブリッドなアプローチの方が単一の検索手法に頼るよりもはるかに信頼性が高いことを示唆しています。

腫瘍学における課題は、知識が2つの明確な形態で存在することにあります。一方で、特定のレジメンを構成する薬剤や、特定の状態に適用される標準的な医学コードなど、構造化された事実を格納した精選されたデータベースがあります。これらは、すべての要素に定義された場所があるゲームの厳格なルールのようなものです。他方には、臨床医によって書かれたリソースがあり、そこには疾患のさまざまなステージに応じて治療が実際にどのように行われるか、その順序の詳細が記されています。これらの物語は、硬直したデータベースが見落としがちな、意思決定のニュアンスを捉えています。大規模言語モデル（膨大な量のテキストで学習されたコンピュータプログラム）は質問に答えることができますが、これらの特定の外部ソースへのアクセスが欠けている場合、幻覚（ハルシネーション）を起こしたり推測したりすることがよくあります。これを解決するために、研究者たちは、ユーザーの要求に基づいて最も適切なソースを選択し、両方のタイプのリソースにアクセスできるシステムを開発しました。

研究者らは、2つの特定の知識ソースに接続する中央ハブとして機能するようにHemOncAgentを作成しました。第一のソースは、薬剤、レジメン、および疾患を結びつける126,000以上の概念と424,000の関係を持つ大規模なネットワークである「構造化ナレッジグラフ」です。このソースは、正確な組成や規制上の承認に関する質問に答えるのに適しています。第二のソースは、専門家によって書かれた数千ページのテキストを含む「叙述的なウェブサイト」であり、治療経路やケアのシーケンスを記述しています。質問が投げかけられると、エージェントはその要求を分析し、構造化グラフを照会すべきか、叙述的なテキストを検索すべきか、あるいはその両方を使用すべきかを判断します。その後、関連情報を取得し、最終的な回答を合成します。このアプローチが機能するかどうかを確認するため、チームはHemOncAgentを、外部知識を持たない標準的な言語モデル、叙述的テキストのみを検索するシステム、および構造化グラフのみを照会するシステムの3つの他のシステムと比較しました。

テストでは、600の質問を2つのグループに分けて実施しました。第一のグループは、レジメンに含まれる薬剤の特定や特定の医学コードの検索といった、構造化された事実に焦点を当てました。第二のグループは、特定の疾患設定における治療の順序の決定といった、叙述的な詳細に焦点を当てました。結果は明確なパターンを示しました。叙述的テキストのみを検索するシステムは、治療シーケンスについては良好なパフォーマンスを示しましたが、正確なコードや薬剤リストを見つけることには惨敗しました。逆に、構造化グラフのみを使用したシステムは、事実については非常に優れていましたが、テキストの中に記述されている適切な治療経路を見つけることに苦戦しました。外部からの助けがない標準的な言語モデルは、両方において低いパフォーマンスを示しました。しかし、HemOncAgentは、最も高い総合スコアを獲得しました。それは、事実に関する質問においては専門的なグラフシステムと同等の性能を発揮し、叙述的な質問においてはテキストのみのシステムを上回り、両方のアプローチの強みをうまく融合させました。

研究者がより詳細に分析すると、ハイブリッドシステムの利点はさらに明確になりました。薬剤の分類や治験番号の特定といった、正確な一致を必要とする質問に対して、エージェントはほぼ完全に構造化データベースに依存し、完璧に近い精度を達成しました。第一選択療法の失敗後に何が行われるかといった、治療設定に関する質問については、エージェントは主に叙述的なページを検索しました。これらのケースにおいて、エージェントは、散文の中に隠された答えを見つけることができなかったグラフのみのシステムを大幅に上回りました。また、エージェントは必要に応じてソースを賢明に混合できることも示し、完全な回答を確保するために、叙述的な質問の約4分の1においてグラフとテキストの両方を使用しました。この柔軟性により、腫瘍学知識の全範囲にわたって高い精度を維持することができました。

この研究では、回答を生成する基礎となるコンピュータモデルを変更することによって、これらの知見の堅牢性もテストされました。研究者が回答を生成する主要なエンジンを異なるタイプの人工知能に差し替えた場合でも、ハイブリッドシステムは単一ソースの代替システムを上回り続けました。絶対的なスコアはわずかに変化しましたが、パターンは変わりませんでした。つまり、構造化ソースと叙述的ソースの両方にアクセスできることが、一貫した優位性をもたらすということです。研究者らは、回答を評価するために使用された自動採点システムが、独立した第二の採点システムと回答の約94パーセントで一致したことを指摘しており、これは結果が特定の評価方法による偶然ではないという自信を与えています。

これらの成功にもかかわらず、著者らは自らの知見の境界についても注意深く述べています。テストに使用された質問は、システムが検索対象としているリソースから直接生成されたものであるため、このテストは、システムがいかに新しい未知の臨床シナリオについて推論できるかではなく、それら特定のソースからいかに情報を検索できるかを測定したものです。この研究は、このシステムが医師に取って代わる準備ができていることや、あらゆるがんケアに関する質問に答えられることを主張しているわけではありません。特に、医学的ガイドラインは急速に変化し、知識ベースは特定の時点の記録であるためです。しかし、結果は、ハードデータと人間の物語の両方にまたがる臨床知識リソースにとって、単一の検索戦略では不十分であることを強く示唆しています。人工知能エージェントに適切な道具を選択させることで、研究者たちは、医学情報をよりアクセスしやすく、信頼性の高いものにするための実用的な方法を実証したのです。