PaReGTA: An LLM-based EHR Data Encoding Approach to Capture Temporal Information

本論文は、時系列情報を失いやすい構造化された電子健康記録（EHR）データを、LLM を活用して訪問レベルのテンプレート化テキストに変換し、軽量な対照学習とハイブリッド時系列プーリングによって患者の固定次元表現を生成する「PaReGTA」を提案し、限られたデータ量でも従来の疎な表現や深層時系列モデルを上回る性能を発揮するとともに、PaReGTA-RSS による解釈可能性の向上も実現したことを報告しています。

要約

🏥 物語の舞台：医療記録という「巨大な図書館」

まず、病院の電子カルテ（EHR）を想像してください。そこには、患者さんが過去何年にもわたって受診した記録が山積みになっています。

• 「2021 年 6 月、片頭痛で受診」
• 「2021 年 9 月、うつ病の薬を処方」
• 「2022 年 1 月、また頭痛がした」

この記録は、**「時系列（時間の流れ）」**が非常に重要な情報です。「まずうつ病になり、その後片頭痛が悪化した」という順序と、「片頭痛が先で、その後うつ病になった」という順序では、病気のリスクが全く異なります。

🚧 従来の問題点：情報の「カオス」と「忘れ去り」

これまでの AI 分析では、この複雑な記録を扱うのに 2 つの大きな問題がありました。

1. 「単純なリスト化」の限界（One-hot 表現）
   従来の方法は、記録を「頭痛があったか？」「薬を飲んだか？」という単純なチェックリスト（○×）に変えていました。

   • 例え話： これは、**「料理の材料リスト」**だけを見て、その料理が「どんな味（時間的な変化）」だったかを推測しようとするようなものです。「卵とトマトが入っている」だけでは、それが「オムレツ」なのか「サラダ」なのか、あるいは「炒め物」なのかは分かりません。時間の流れ（調理順序）が失われてしまうのです。

2. 「複雑な機械」の難しさ（深層学習モデル）
   時間の流れを考慮しようとして、高度な AI（RNN や Transformer など）を使おうとすると、**「データが少なければ動かない」「計算に莫大なコストがかかる」「病院のシステムに導入するのが難しい」**という壁にぶつかりました。

✨ 解決策：PaReGTA（パレグタ）という「翻訳者と編集者」

この論文が提案する**「PaReGTA」は、そんな問題を解決する「3 段階の魔法のレシピ」**です。

1. 翻訳：記録を「物語」に変える

まず、機械的な医療コード（「頭痛：ICD-10 コード XXX」）を、**「AI が読める物語（文章）」**に変換します。

• 例え話： 単なる材料リストを、**「料理のレシピ本」に変える作業です。「3 日前に卵を買い、その 2 日後にトマトを買い、最後に炒めた」というように、「いつ」「何を」**したかが文章に明記されます。
• ポイント： 薬の名前も、難しい分類コードではなく、そのまま「タイレノール」や「ラミダタン」という商品名で文章にします。AI はすでに大量の本を読んでいるので、これらの名前が持つ意味（どんな薬か）を最初から知っています。

2. 学習：専門家の「耳」を鍛える

次に、この「物語」を AI に読ませ、**「医療の文脈」**に特化させます。

• 例え話： 一般的な辞書（汎用的な AI）は「頭痛」と聞いても「頭が痛い」としか思いません。しかし、PaReGTA は**「医療専門の辞書」**として微調整（ファインチューニング）を行います。「うつ病の薬を飲んだ後の頭痛」と「単なる頭痛」の違いを、AI が自ら学習できるようにします。
• 特徴： 最初からゼロから作るのではなく、すでに賢い AI（LLM）を「医療用」に少しだけ調整するだけなので、データが少なくても高性能です。

3. 編集：重要な瞬間を「ハイライト」する

最後に、長い物語（患者の全記録）を、**「患者全体の評価（1 つのベクトル）」**にまとめます。

• 例え話： 本 1 冊分（過去の全記録）を要約する際、**「最近の出来事」と「全体を通して重要な出来事」**の両方に注目します。
  • 時間的減衰： 昨日の出来事は、10 年前の出来事より重要です（最近の症状は今の状態を反映しやすい）。
  • 注目度： 特定の重要な出来事（例：重度の発作）は、時間が経っても忘れずに強調します。
    これらを組み合わせて、**「今、この患者さんはどんな状態か？」**を 1 つの数字（ベクトル）で表現します。

🔍 新発明：PaReGTA-RSS（「なぜそう判断したか？」を可視化する）

AI が「この患者は慢性片頭痛のリスクが高い」と判断したとき、**「なぜ？」**と聞かれると、従来の AI は答えられませんでした（ブラックボックス）。

そこで、**「PaReGTA-RSS」**という新しいツールを開発しました。

• 例え話： **「料理の味見」**です。
  • 「このスープが美味しいのは、塩のおかげか？胡椒のおかげか？」
  • AI は、**「もし塩（特定の薬や病気）をレシピから取り除いたら、味（予測結果）がどう変わるか？」**をシミュレーションします。
  • 「塩を取ると味が薄まった」→「塩は重要だった」と判断できます。
    これにより、**「どの薬や病気が、この患者のリスクにどれだけ影響しているか」**を、医師が理解できる形で説明できるようになりました。

📊 結果：片頭痛の研究で実証

この方法を実際の医療データ（アメリカの「All of Us」プロジェクトの 3 万 9 千人以上のデータ）で試しました。

• 結果： 従来の「チェックリスト方式」や、複雑な「深層学習モデル」よりも、PaReGTA の方が片頭痛のタイプ（慢性か急性か）を正確に予測できました。
• 特に： 薬の名前をそのまま使っても、分類コードに変換しなくてもうまくいったため、病院のシステム変更なしで導入しやすいという利点があります。

🌟 まとめ

この論文が伝えているのは、**「AI に医療記録を教えるとき、単なる数字の羅列ではなく、『時間の流れ』を含んだ『物語』として与えれば、AI はもっと賢く、人間に分かりやすく判断できる」**ということです。

• 従来の方法： 材料リスト（時間の流れが不明）
• PaReGTA： 料理のレシピ本（いつ、何を、どうしたかが明確）＋ 味見テスト（なぜそう判断したかの説明）

これにより、AI は医療現場でより信頼され、医師の判断を助ける強力なパートナーになれると期待されています。

技術概要

PaReGTA: 時系列情報を捉えるための LLM 基盤型 EHR データエンコーディング手法

本論文は、構造化された電子健康記録（EHR）データから時間的（時系列）情報を効果的に抽出し、患者レベルの表現を生成するための新しいフレームワーク「PaReGTA（Patient Representation Generation with Temporal Aggregation）」を提案しています。また、LLM ベースのエンコーダに対する解釈可能性を高めるための因子重要度評価手法「PaReGTA-RSS」も導入しています。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

1. 問題定義と背景

EHR データは、診断、処方、検査結果、併存疾患などを含む長期的な時系列データですが、従来の機械学習パイプラインでは以下の課題がありました。

• 時間的情報の喪失: 従来の One-hot エンコーディングやカウントベース（Bag-of-Codes）の表現では、訪問ごとの順序や時間的間隔が失われ、単なる集計情報として扱われてしまいます。これにより、疾患の進行や治療反応性といった重要な臨床的ダイナミクスが反映されません。
• シーケンスモデルの限界: RNN や Transformer などの深層学習シーケンスモデルは時間情報を捉えられますが、計算コストが高く、データ不足や EHR の不均一性（欠損、不規則なサンプリング、用語の不一致）に対して頑健ではないという課題があります。
• 解釈性の欠如: LLM を用いたエンコーディングでは、入力変数（特定の薬や疾患）と最終的な予測結果の関係を直接解釈するのが困難です。従来の SHAP や LIME などの手法は、LLM パイプライン全体を再計算する必要があるため計算量が膨大になり、実用的ではありません。
• 薬物情報の標準化の難しさ: EHR には製品名レベルで記録された多様な薬物名が含まれており、標準的な概念マッピング（RxNorm など）が不完全な場合、スパースな One-hot エンコーディングは性能が低下します。

2. 提案手法：PaReGTA

PaReGTA は、事前学習済み LLM を活用しつつ、軽量な微調整とハイブリッドなプーリングを行う 3 段階のフレームワークです。

2.1 訪問レベルのテキスト化（Visit-level Textualization）

• 構造化された EHR レコード（薬、併存疾患など）を、臨床的に意味のある短いテンプレート文に変換します。
• 時間的トークンの注入: 訪問間の時間的関係を表すトークンを文に追加します。実験では「絶対日付」「訪問間隔（Gap）」「月単位の間隔」「最終訪問からの経過時間」などを比較しました。
• 薬物名の直接利用: 薬物名を上位概念（クラス）にマッピングするのではなく、EHR に記録されたままの製品名（例：「acetaminophen 325 MG」）をそのままテキストとして入力し、LLM の事前知識を活用します。

2.2 ドメイン適応（Domain Adaptation via SimCSE）

• ベースモデルとして Alibaba の「GTE-base-v1.5」などの文埋め込みモデルを使用します。
• 教師なしコントラスト学習（SimCSE）: 特定の患者コホートの訪問テキストを用いて、Dropout を適用した同じ入力文を正のペア、バッチ内の他の文を負のペアとして微調整を行います。これにより、医療ドメイン特有の語彙や文脈に適応した埋め込み空間を、ラベル付きデータなしで構築します。

2.3 ハイブリッド時系列プーリング（Hybrid Temporal Pooling）

• 各患者の複数の訪問埋め込みを、1 つの固定次元の患者ベクトルに集約します。
• 時間減衰重み（Time-decay）: 直近の訪問ほど重要度が高いという仮説に基づき、時間経過とともに重みを減衰させます。
• アテンション重み（Attention）: 全体的に予測に重要な訪問（例：特定の疾患の発症時）を特定し、その寄与を強調します。
• これら 2 つの重みを組み合わせ（Convex Combination）、最終的な患者表現を生成します。

2.4 解釈可能性手法：PaReGTA-RSS

• Representation Shift Score (RSS): 特定の臨床因子（例：特定の薬物クラス）を訪問テキストから除去し、再エンコードして得られる患者表現の変化（シフト）を測定します。
• 下流モデル（ロジスティック回帰など）のスコア（Logit）の変化量を算出することで、各因子が予測にどの程度寄与しているかを定量化します。
• この手法は、LLM パイプライン全体を再計算するのではなく、表現のシフトに焦点を当てることで、計算効率よく因子重要度を評価できます。

3. 主要な貢献

1. 時系列意識型 LLM エンコーディングパイプライン: EHR を訪問レベルのテンプレート文に変換し、コントラスト学習とハイブリッドプーリングを通じて、時間的情報を保持した患者表現を生成するエンドツーエンドのフレームワークを提案。
2. 時系列トークン化の系統的評価: 絶対日付、訪問間隔、月単位間隔など、異なる時間的表現が予測性能に与える影響を評価し、「訪問間隔（Gap）」が最も効果的であることを実証。
3. 異質な薬物文字列への実用的対応: 薬物概念マッピングに依存せず、製品名レベルの生データ（Raw strings）を直接エンコード可能にし、標準化が不十分な実世界の EHR 環境でのロバスト性を示した。
4. PaReGTA-RSS の導入: LLM ベースのエンコーダ向けに設計された因子重要度評価手法を提案し、患者レベルおよびコホートレベルでの解釈を可能にした。
5. 大規模コホートでの実証: 「All of Us」研究プログラム（39,088 人の片頭痛患者）を用いた検証により、従来のスパースな手法や深層シーケンスモデル（不安定だった）を上回る性能を実証。

4. 実験結果

• データセット: All of Us (AoU) データセットから、片頭痛（慢性 vs 発作性）の分類タスクに焦点を当てた 39,088 人の患者コホートを構築。
• 性能比較:
  • PaReGTA（特に「Gap」トークンを使用）は、One-hot エンコーディングやカウントベースの BoC（Bag-of-Codes）を大幅に上回る性能を示しました。
  • 例：LightGBM における AUC は、One-hot (0.7634) から PaReGTA-Gap (0.9524) へと劇的に向上しました。
  • 従来の深層シーケンスモデル（RETAIN, T-LSTM）は、本コホートのデータ特性（不規則性、スパース性）により収束せず、不安定でした。
• 時間的情報の重要性: 時間トークンを含まない場合（Without）や「Last visit」からの距離のみを使用する場合は性能が低下し、訪問間の相対的な間隔（Gap）を明示することが重要であることが示されました。
• 埋め込み空間の品質: SimCSE による微調整と訪問レベルでのエンコーディングにより、埋め込み空間の均一性（Uniformity）と等方性（Isotropy）が向上し、より良い表現学習が行われていることが確認されました。
• 因子重要度の分析:
  • 薬物: 慢性片頭痛の予防薬であるボツリヌス毒素（onabotulinumtoxinA）や CGRP 阻害薬、トリプタン類が重要な因子として検出されました。
  • 併存疾患: 高血圧、不安、不眠症、線維筋痛症などが重要でした。
  • 性差: 性別による重要度パターンの違い（例：女性は線維筋痛症の影響が大きい、男性は PTSD の影響が大きいなど）を捉え、臨床的な異質性を反映していました。
  • 時間的窓: 過去 365 日までの履歴を考慮することで、慢性片頭痛の予測においてより多くの情報が利用されていることが示されました。

5. 意義と結論

PaReGTA は、大規模な深層学習モデルのトレーニングを必要とせず、事前学習済み LLM を活用することで、データが限られた臨床環境でも高性能な表現学習を可能にします。

• 実用性: 薬物マッピングなどの前処理コストを削減しつつ、EHR の不均一性や欠損に対して頑健です。
• 解釈性: 従来のブラックボックス化しがちな LLM ベース手法に対し、PaReGTA-RSS を通じて臨床的に意味のある因子重要度を提供し、医療現場での導入障壁を下げます。
• 将来展望: このフレームワークはモジュール化されており、より高性能な文埋め込みモデルが登場すれば、そのまま組み替えて利用可能です。また、将来的には時系列情報をさらに深く統合したニューラルアーキテクチャとの連携が期待されます。

総じて、本論文は EHR データの時間的構造を効果的に活用し、予測精度と解釈性の両立を実現する、実用的な AI 医療応用のための重要な基盤技術を提供しています。