Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice

Kaggle に存在する出所不明の糖尿病および脳卒中データセットを用いた多数の臨床予測モデル研究が論文や臨床現場で広く利用されている実態を明らかにし、信頼性の担保と患者ケアへの誤用防止のため、学術誌やデータリポジトリによる出所報告の義務化を提言しています。

要約

この論文は、**「医療の未来を左右する AI（人工知能）が、実は『作り物』のデータで訓練されていたかもしれない」**という、非常に深刻で驚くべき問題を暴いた調査報告です。

まるで、「美味しい料理のレシピ本」が、実は「絵に描いた餅（架空の食材）」を使って書かれていたような状況です。

以下に、専門用語を排し、身近な例えを使って分かりやすく解説します。

---

🕵️‍♂️ 物語の舞台：「Kaggle（カグル）」という巨大な図書館

まず、Kaggleというウェブサイトについて知ってください。これは世界中のデータ分析の天才たちが集まる「競技場」兼「図書館」です。ここでは、AI を勉強するために、無料で使える大量のデータ（レシピの材料）が置かれています。

研究者たちは、この図書館から「脳卒中（ストローク）」や「糖尿病」のデータを持ち帰り、**「患者さんの病気を予測する AI」**を作ろうとしていました。

🚨 発見された問題：「偽物の材料」

著者たちは、この図書館にある2 つの有名なデータセット（脳卒中用と糖尿病用）を詳しく調べました。すると、衝撃的な事実が発覚しました。

1. 出所不明（プロベナンスの欠如）:

   • データをアップロードした人は、「どこで集めたか」「誰が作ったか」「いつ集めたか」を一切明かさず、**「秘密なので言えない」**とだけ書いていました。
   • 脳卒中のデータに至っては、アップロード者が**「これは研究用ではなく、教育用（練習用）のみに使ってください」**と警告までしていました。

2. 不自然なデータ（作り物の匂い）:

   • 脳卒中データ: 5,000 人もの患者のデータなのに、「欠損（足りない情報）」がほぼゼロでした。現実の病院のデータには、必ず「体重が分からない」「血圧が測れなかった」といった抜け漏れがあるものですが、これはまるで完璧すぎる人工物でした。
   • 糖尿病データ: 10 万人のデータがありましたが、血糖値や HbA1c（糖尿病の指標）の値が**「18 種類しかない」という奇妙な状態でした。現実の 10 万人なら、もっと多様な数値がバラバラに散らばるはずです。これは、「同じデータをコピー＆ペーストして、無理やり 10 万人分を作った」**ことを示唆しています。

🍳 例え話:
これは、**「100 人分のシチューを作るのに、すべて同じ味と形をした、人工的な野菜しか使っていない」**ようなものです。味見（分析）すればすぐに分かるはずなのに、誰もそれに気づいていませんでした。

🌪️ 起きたこと：「砂上の楼閣」が広まる

最も恐ろしいのは、この「作り物のデータ」を使って作られた AI が、すでに世界中で使われ始めていたという点です。

• 124 本もの論文が、このデータを基に発表されました。
• その多くは、**「この AI を病院で使おう！」**と提案していました。
• 実際、3 つのモデルはすでに臨床現場（病院）で使われ始めていたり、特許申請に使われたりしていました。
• さらに、86 件のレビュー論文や医療機器の特許が、この「嘘のデータ」に基づいて書かれていました。

🏗️ 例え話:
まるで、**「基礎（データ）が砂でできているのに、その上に立派なビル（医療 AI）を建てて、住人（患者さん）を住まわせようとしている」**ような状態です。地震（実際の患者データ）が来れば、ビルは簡単に倒れてしまいます。

⚠️ なぜこれが危険なのか？

もし、この「作り物の AI」が病院で使われたらどうなるでしょうか？

• 必要な治療を受けられない: AI が「大丈夫」と判断して、本当に病気の人を見逃す。
• 不要な治療を受ける: AI が「危険だ」と誤判断して、健康な人に無駄な薬や手術をさせる。

「嘘の地図」で旅をすれば、目的地にたどり着けないどころか、崖から落ちる危険があります。

💡 著者たちが提案する解決策

この問題を解決するために、著者たちは以下のような対策を提案しています。

1. 出版社と雑誌の役割:

   • 論文を投稿する際、「データの出所（誰が、いつ、どこで集めたか）」を必ず明記させること。
   • 出所が不明なデータを使った論文は、**「却下（お断り）」**するルールを作る。

2. データ図書館（Kaggle など）の役割:

   • データを置く前に、**「これは本物ですか？合成データですか？」**というチェックリストを義務付ける。

3. 研究者と医師の役割:

   • 「公開されているデータだから大丈夫」と安易に信じ込まず、**「本当にこのデータは信頼できるか？」**と疑う目を持つこと。
   • 練習用（コンペ用）のデータと、本物の医療データは別物だと理解する。

🎯 まとめ

この論文は、**「AI 医療の発展には、信頼できる『本物のデータ』が不可欠」**という当たり前のことを、痛烈な警告として伝えています。

「きれいな数字」や「完璧なデータ」に飛びつくのではなく、その背後にある「物語（データの出所）」を確かめること。 これが、患者さんの命を守るための、最も重要な第一歩なのです。

---

一言で言うと：
「AI が病気を治す未来を夢見ていたけど、その AI の頭脳（データ）が実は『作り物』だった！これでは患者さんが危険にさらされる。だから、データの『出身証明書』を必ず見せるルールを作ろう！」という緊急の呼びかけです。

技術概要

この論文「Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice（臨床予測モデル研究および臨床実践における信頼性の低いデータおよび不十分なデータ出所証明の証拠）」は、2026 年 2 月に公開されたプレプリント（査読前）です。著者らは、Kaggle という人気のあるデータ共有プラットフォームから入手された、出所が不明瞭で信頼性が疑わしい 2 つの医療データセットが、多数の査読付き論文で臨床予測モデルの開発に使用されている深刻な問題を指摘しています。

以下に、論文の技術的な要約を問題定義、手法、主要な貢献、結果、意義の観点から詳述します。

1. 問題定義 (Problem)

臨床予測モデルは、患者の診断や予後を支援し、治療方針に影響を与える重要なツールですが、その開発には信頼性の高いデータと適切な手法が不可欠です。しかし、近年「ファスト・ターン（高速な論文生産）」を目的とした研究が増加しており、その多くは公共のデータセットを利用しています。
著者らは、Kaggle にアップロードされた「脳卒中（Stroke）」と「糖尿病（Diabetes）」の 2 つのデータセットに焦点を当て、以下の問題点を特定しました。

• データ出所（Provenance）の欠如: データがいつ、どこで、誰によって、なぜ収集されたかに関する情報が全くない、または矛盾している。
• データの信憑性: 両データセットとも、実在する患者データではなく、シミュレーションまたは捏造されたものである可能性が高い。
• 臨床への悪影響: 信頼性の低いデータに基づいて構築されたモデルが、論文やレビューを通じて広範に引用され、一部は実際の臨床現場や医療機器の特許で利用されている。

2. 手法 (Methodology)

本研究は、以下の手順で実施されました。

• 対象データセットの特定: Kaggle から「脳卒中」と「糖尿病」の予測に使用される 2 つのデータセットを特定し、2025 年 8 月にダウンロードしました。
• データ出所の評価: TRIPOD+AI（臨床予測モデルの透明な報告のためのガイドライン）の 9 つの項目に基づき、データの出所証明（いつ、どこで、誰が、なぜ収集したかなど）を評価しました。
• 探索的データ分析: データがシミュレーションまたは捏造されている兆候を検出するため、以下の分析を行いました。
  • 患者 ID と他の変数の間の異常なパターン（分布の急激な変化など）。
  • 臨床的に相関が期待されない変数間の相関。
  • 異常な分布（一様分布など）や重複行の検出。
  • 欠損値の少なさを確認（実世界の医療データでは欠損値が存在するのが一般的であるため）。
• 文献レビュー: Google Scholar を用いて、これら 2 つのデータセットを参照する臨床予測モデルの研究を特定しました。
  • 対象：査読付き論文（会議抄録、プレプリント、学位論文などは除外）。
  • 評価項目：倫理承認の有無、TRIPOD+AI 項目への準拠度、臨床実装への言及、引用数、出版国など。
• ツール: R 言語（tidyverse, openalexR パッケージ）を使用し、研究デザインは AsPredicted に事前登録済みです。

3. 主要な貢献と発見 (Key Contributions & Results)

A. データセットの信頼性に関する発見

• 脳卒中データセット: 5,110 人の患者、12 変数。
  • 欠損値が極端に少ない（BMI 変数のみで、かつ ID の前半に偏在）。
  • 患者 ID と平均血糖値の分布に、ID の半分を境とした明確なシフトがあり、人工的な操作を示唆。
  • 出所に関する記述は「非公開のソース」のみで、研究利用を禁止する旨の注記すらあった。
• 糖尿病データセット: 100,000 人の患者、9 変数。
  • 100,000 人の患者に対して、血糖値や HbA1c の値がわずか 18 種類の離散値しか存在しない（現実のデータではあり得ない）。
  • 6,939 件（7%）の重複患者観測値が存在。
  • BMI と血糖値/HbA1c の間に、臨床的に期待される強い相関が全く見られず、むしろ無相関であった。
• 結論: 両データセットとも、TRIPOD+AI の 9 項目すべてで「No（情報なし）」と評価され、実在しないか、完全に捏造・シミュレーションされたデータである可能性が極めて高い。

B. 研究論文の分析結果

• 対象論文数: 124 件の臨床予測モデル研究（脳卒中 103 件、糖尿病 20 件、両方 1 件）。
• 倫理承認: 論文の 90% に倫理に関する記述が全くなく、承認があったのは 2%（3 件）のみ。
• データ出所の記述: 124 件中、データの出所を特定できたのは 75 項目（全項目の 7%）のみ。脳卒中データについて「バングラデシュのクリニック」「AIMS や WHO」「McKinsey & Company」など、矛盾する出所が報告されており、検証不可能。
• 引用と影響:
  • 総引用数は 1,529 件（レビュー論文 86 件を含む）。
  • 臨床実装: 3 つのモデルが実際の臨床現場で使用されている、または使用される予定であると論文内で主張されていた。
  • 特許: 1 件の脳卒中リスク予測モデルが、カリフォルニア工科大学と南カリフォルニア大学による医療機器の特許で引用されていた。
  • ツール化: 11 件の研究で Web やアプリベースの予測ツールが開発され、そのうち 2 つは公開されている。
• 出版動向: 2021 年以降、これらのデータセットを使用した論文数は急増しており、2025 年 7 月（検索直前）まで継続して増加傾向にあった。

4. 意義と提言 (Significance & Recommendations)

意義

• 研究の質と患者安全への脅威: 捏造または信頼性の低いデータに基づいたモデルが、査読を経て広範に引用され、さらに臨床実践や政策、特許にまで影響を与えていることは、医療研究の健全性と患者の安全に対する重大な脅威です。
• オープンデータのジレンマ: データ共有は透明性と再現性を高める一方で、出所が不明なデータが「研究用」として無批判に使用されるリスクを浮き彫りにしました。
• 国際的な問題: 32 か国の研究者がこれらのデータセットを使用しており、これは国境を越えた構造的な問題です。

提言

著者らは、以下の関係者への具体的な提言を行いました。

1. ジャーナル・出版社:
   • データ出所（収集理由、収集者、日時、場所、資金源など）の報告を必須化すること。
   • 投稿時に未加工の患者レベルデータを提出させ、早期に問題を検知・却下する仕組みの導入。
   • 競技用データセット（Kaggle 等）を使用する場合、その旨と正当な理由を明確にすること。
2. データリポジトリ（Kaggle 等）:
   • データアップロード時に、出所証明に関する必須項目（Table 5 に示されたチェックリスト）の入力を義務付けること。
   • 出所不明なデータは研究利用を禁止する警告を表示すること。
3. 研究者・臨床医:
   • 公開データであっても、その出所と品質を批判的に検証すること。
   • 事前登録された研究や、TRIPOD+AI や PROBAST+AI ガイドラインに従った研究を優先すること。

結論

本研究は、Kaggle などの公共データリポジトリから入手された「信頼性の低いデータ」が、臨床予測モデル研究において広範に利用され、実際に臨床現場や特許に影響を与えているという深刻な実態を初めて実証的に示しました。データ出所の透明性を確保し、捏造やシミュレーションデータによる誤った臨床判断を防ぐための、出版ポリシーとデータ管理の抜本的な改革が急務であると結論付けています。