Falsification Testing of Sepsis Prediction Models: Evaluating Independent Biological Signal After Controlling for Care-Process Intensity

本論文は、MIMIC-IV などのデータセットを用いた検証により、敗血症予測モデルが主にケアの強度ではなく生物学的シグナルを検出していることを示しつつも、臨床的定義と行政的定義（CMS SEP-1）の間には系統的な乖離が存在し、これが規制報告や AI ベンチマークの妥当性に重大な影響を与えることを明らかにしたものである。

要約

この論文は、**「人工知能（AI）が『本当の病』を見つけているのか、それとも『医者の忙しさ』をただ真似しているだけなのか？」**という、医療 AI 界で長年議論されてきた重要な問いに答えようとした研究です。

著者のアーダム・ディケンズ氏は、2026 年に公開されたこの研究で、**「嘘をつかないためのテスト（偽装テスト）」**を事前に行い、その結果を報告しています。

以下に、難しい専門用語を使わず、日常の例え話を交えて解説します。

---

🍎 核心となる問題：AI は「リンゴ」を見ていますか？それとも「箱」を見ていますか？

セプシス（敗血症）という命に関わる病気を予測する AI は、これまで非常に高い精度で「病気を発見できる」と言われてきました。しかし、研究者たちはある疑念を抱いていました。

「AI は本当に患者さんの体内で起きている『危険な変化（生物学的情報）』を見て判断しているのでしょうか？それとも、『医者がすでに疑って、検査や薬を大量に注文している様子（ケアの強度）』を見て、『あ、これは危ないんだな』と推測しているだけではないでしょうか？」

これを**「リンゴと箱」**の例えで考えてみましょう。

• リンゴ（本当の病気）： 患者さんの体内で実際に起きている炎症や異常。
• 箱（医者の対応）： 医者が「もしかしたら危ないかも」と思って、大量の検査や薬を注文する行為。

もし AI が「リンゴ（病気）」を見て判断しているなら、それは素晴らしい早期警告システムです。
しかし、もし AI が「箱（医者の注文）」を見て判断しているだけなら、「医者がすでに疑っている患者さん」を「AI が発見した」と勘違いしていることになります。これでは「早期警告」にはなりません。

🔍 研究の仕組み：4 つの「嘘発見テスト」

著者さんは、この疑念を晴らすために、事前に登録した**「4 つのテスト」**を行いました。これは、AI が嘘をついていないかを確認する「嘘発見器」のようなものです。

1. テスト①：定義のズレチェック

   • 「セプシス」という病気の定義が、臨床医の判断（Sepsis-2, 3）と、病院の請求書にあるコード（CMS SEP-1）で一致しているか確認しました。
   • 結果： 臨床医の判断と請求書のコードは、まるで「リンゴ」と「オレンジ」のように全く違うものでした。一致率は約 2 割しかありませんでした。
   • 意味： 病院の「成績表（請求データ）」と、実際の「患者さんの状態」は、実は大きくズレていることがわかりました。

2. テスト②：「箱」を取り除くテスト

   • AI から「医者の注文回数」などの情報をすべて取り除き、「リンゴ（生体データ）」だけを見て判断させました。
   • 結果： 精度はほとんど落ちませんでした（90% から 89.8% へ）。
   • 意味： 有名大学病院（MIMIC-IV データ）では、AI は「医者の注文」に頼らず、「本当の病気のサイン」だけで見事に判断できていることが証明されました。

3. テスト③：「箱」だけで判断できるか？

   • 逆に、「リンゴ（生体データ）」をすべて消し、「医者の注文回数」だけで病気を予測させました。
   • 結果： 精度は中程度でしたが、決定的な「病気発見」とは言えないレベルでした。
   • 意味： 医者の忙しさだけで病気を正確に予測するのは、実は難しいようです。

4. テスト④：作り物のデータでテスト

   • 「医者の注文パターン」だけ真似した「作り物の患者データ」を作り、AI が本物と見分けられるかテストしました。
   • 結果： AI は本物と作り物を区別できました。
   • 意味： AI は単なる「注文のパターン」を覚えているだけでなく、もっと深い部分で本物の病気を理解しています。

🌟 結論：何がわかったのか？

この研究から、2 つの大きな発見がありました。

1. 有名大学病院では、AI は「本物」を見ている！

トップクラスの大学病院（MIMIC-IV データ）で使われている AI は、「医者の注文」に依存せず、患者さんの「本当の病気のサイン」を検知していることがわかりました。これは、AI が「嘘をついている」という疑念を晴らす、良いニュースです。

2. しかし、「病気の定義」には大きなズレがある！

最も重要で、かつ少し驚くべき発見は、「臨床医が診断するセプシス」と「病院の請求書（行政データ）で記録されるセプシス」は、ほぼ別物の患者群であるという事実です。

• 臨床医の診断と請求コードの一致率は、**約 20%（5 人に 1 人）**しかありません。
• つまり、「病院の成績表（行政データ）」に基づいて作られた AI や評価基準は、実は「本当の病気」ではなく、「請求の仕方」を学習している可能性が高いのです。

💡 日常への応用：なぜこれが重要なのか？

この研究は、私たちが医療 AI をどう使うべきか、そして病院の評価をどう見るべきかを示唆しています。

• AI の評価： 有名大学病院のデータで「すごい！」と言われている AI は、本当に病気を捉えているかもしれません。しかし、他の病院や、請求データだけで作られた AI は、「医者が忙しいかどうか」を予測しているだけかもしれません。
• 病院の評価： 国や自治体が「セプシスの死亡率」を病院の成績として評価していますが、そのデータは「請求コード」に基づいています。もし「本当の病気」と「請求コード」がズレているなら、**「成績を良くしようとして、請求の書き方を変えても、患者さんの命は守られていない」**という危険性があります。

🎒 まとめ

この論文は、**「AI が本当に賢いのか、それとも単に『医者の動き』を真似しているだけなのか？」という問いに対して、「有名大学病院では本物を見ているが、行政データ（請求書）と実際の病気は大きくズレている」**と答えています。

私たちが AI や病院の成績を信じる時、**「それは『リンゴ（病気）』を見て判断しているのか、それとも『箱（請求書）』を見て判断しているのか」**を常に疑ってかかることが大切だという、重要なメッセージを届けています。

技術概要

論文要約：敗血症予測モデルの反証テスト（Falsification Testing）

著者: Adam Dickens (RocSite, Inc.)
日付: 2026 年 3 月 18 日（medRxiv 掲載）
タイトル: Falsification Testing of Sepsis Prediction Models: Evaluating Independent Biological Signal After Controlling for Care-Process Intensity

---

1. 研究の背景と問題意識

敗血症は ICU における主要な死亡原因の一つであり、電子カルテ（EHR）データに基づく自動化された早期警告システムへの研究投資は過去 10 年で急増しました。多くのモデルは AUROC 0.85 以上の高い性能を報告していますが、以下の根本的な方法論的懸念が十分に検証されていませんでした。

1. 生物学的シグナル vs 医療プロセスの強度: 既存のモデルは、患者の生物学的な悪化（敗血症そのもの）を検出しているのか、それとも「すでに疑われている患者に対して行われる集中的な医療行為（検査、処置、モニタリングの頻度）」のパターンを学習しているだけなのか？
2. ラベルの不安定性: 敗血症の定義として、臨床的な「Sepsis-2」「Sepsis-3」と、行政・請求ベースの「CMS SEP-1（ICD コード）」が混同して使用されています。これらが異なる患者集団を指している場合、行政データに基づくベンチマークは生物学的疾患ではなく「請求行動」を測定している可能性があります。

本研究は、これらの仮説を実証的に検証するために設計された、事前登録された反証テスト（Falsification Study）です。

2. 研究方法論

本研究は、データ分析前に OSF（Open Science Framework）に事前登録（2026 年 3 月 11 日）された 4 段階の反証フレームワークを採用しています。

データセット

• 主要な確認分析: MIMIC-IV v3.1（ボストン、BIDMC、2008-2022 年、n=65,241）。
• 探索的複製分析: eICU-CRD v2.0（全米 208 病院、n=136,864）、MIMIC-III v1.4（n=44,091）、PhysioNet/CinC 2019 セプシスチャレンジ（n=40,314）。

4 段階の反証テスト（Falsification Phases）

各段階には事前に設定された閾値があり、これらを満たすことで「モデルが医療プロセスの強度に依存している」という仮説が支持されます。

1. フェーズ 1（真実の安定性）
   • Sepsis-2、Sepsis-3、CMS SEP-1 の定義間のペアワイズ Jaccard 類似度を計算。
   • 閾値: 平均 Jaccard < 0.50（定義が一致しない場合、ラベルの不安定性を示唆）。
2. フェーズ 2（特徴量依存性のテスト）
   • 全特徴量モデルと「生物学的特徴のみ」モデルの AUROC を比較。
   • 閾値: AUROC の低下 > 0.15（医療プロセス特徴量除去で性能が大幅に落ちる場合、依存性を示唆）。
3. フェーズ 3（医療プロセスの普遍性）
   • 医療プロセスの代理特徴（検査頻度、バイタル測定頻度、看護記録数、医師のオーダー数）のみでモデルを訓練。
   • 閾値: 医療プロセス単独の AUROC > 0.70（これだけで予測可能なら、モデルは単に「疑い」を検出している）。
4. フェーズ 4（合成データの検証）
   • 敗血症患者の医療プロセス分布に一致する合成データを生成し、実データと区別できるかテスト。
   • 閾値: 識別器の AUROC < 0.60（区別できない場合、医療プロセスパターンが敗血症の全特徴を説明している可能性を示唆）。

特徴量

• 生物学的特徴: 生化学値、バイタルサイン、人口統計学データ。
• 医療プロセス代理特徴: 1 時間あたりの検査オーダー数、バイタル測定数、看護記録数、医師オーダー数の合計。

3. 主要な結果

主要分析（MIMIC-IV）

事前登録された仮説はすべて否定されました（4 つのフェーズ中 0 つが確認）。

• フェーズ 1: Sepsis-2 と Sepsis-3 は高い一致（Jaccard 0.903）を示しましたが、CMS SEP-1（行政コード）。行政コードと臨床診断は、ほぼ異なる患者集団を指していることが判明しました。
• フェーズ 2: 医療プロセス特徴量を除去しても、モデルの性能低下はわずか 0.003 AUROC でした。生物学的特徴がモデル性能の主要な駆動力であることが示されました。
• フェーズ 3: 医療プロセス特徴のみのモデル（ロジスティック回帰）の AUROC は 0.660 であり、閾値 0.70 を満たしませんでした。
• フェーズ 4: 合成データと実データは統計的に区別可能（Discriminator AUROC 0.633）であり、医療プロセスパターンだけでは敗血症の全貌を再現できないことが示されました。

結論: 一流の学術医療センター（BIDMC）において、敗血症予測モデルは「医療プロセスの強度」ではなく、真の生物学的シグナルを検出しています。

探索的複製分析（eICU など）

• eICU（多施設コミュニティ病院）: 医療プロセスの影響は MIMIC-IV よりも大きく（AUROC 低下 0.076）、施設タイプによって「医療プロセス漏洩（Care-Process Leakage）」の程度が異なる可能性が示唆されました。
• 一貫した発見: 全データセットで、臨床定義（Sepsis-2/3）と行政定義（CMS SEP-1）の間の Jaccard 類似度は約 0.20〜0.32 であり、臨床定義同士の一致（約 0.90）とは対照的でした。これは、病院の品質指標や規制報告が、臨床的に定義された敗血症とは異なる患者集団を測定していることを示しています。

4. 主要な貢献と意義

1. モデルの生物学的妥当性の立証:
   特定の環境（MIMIC-IV）では、敗血症予測モデルが単なる「医師の疑い」や「検査の頻度」を学習しているという批判は誤りであり、モデルは実際の生物学的悪化を検出していることを実証しました。

2. 行政データと臨床データの決定的な乖離:
   最も重要な発見は、行政的な敗血症コード（CMS SEP-1）という事実です。

   • 病院の品質指標、規制報告、AI ベンチマークの多くは行政コードに基づいています。
   • この乖離は、行政指標の最適化が必ずしも臨床的アウトカムの改善につながらない可能性、および行政データに基づく AI 評価の妥当性に疑問を投げかけるものです。

3. 反証テストフレームワークの確立:
   事前登録された厳格なテスト手順を提供し、他のデータセットや医療 AI モデルに対して「学習バイアス（医療プロセス漏洩）」が存在するかどうかを検証するための再現可能な方法論を確立しました。

4. 施設依存性の指摘:
   学術医療センターとコミュニティ病院では、ドキュメントの質や患者の混雑度が異なり、モデルの振る舞いが変わる可能性を示唆しました。これは、モデルの一般化可能性を評価する際の重要な視点です。

5. 結論

本研究は、MIMIC-IV における敗血症予測モデルが生物学的シグナルを検出していることを示しましたが、同時に**「行政データと臨床データの間には構造的な不一致が存在し、これが医療政策や AI 評価に重大な影響を与える」**というより広範で重要な知見を提示しました。今後の研究では、多施設での検証と、行政指標の再評価が求められます。