Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches
本研究は、k近傍法（KNN）による補完が、様々な欠損レベルにおける実世界の臨床データセットの分布の忠実度および多変量構造の完全性を維持する上で、中央値代入および連鎖方程式による多重代入法（MICE）の両方を凌駕することを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
医学研究の世界において、データは発見の生命線です。医師や科学者は、疾患を理解し、ケアを向上させるために、患者の履歴、検査結果、および治療成果の記録に頼っています。しかし、現実世界の医療記録が完璧であることはめったにありません。患者が診察を逃したり、機械が故障したり、あるいは医師が単に特定の測定値を書き留めるのを忘れたりすることがあります。これらの空白、すなわち「欠損データ」は問題を引き起こします。もし研究者が、穴の空いた数値のリストを分析しようとすれば、その結果は誤解を招くものになったり、計算不可能になったりする可能性があるからです。これを解決するために、研究者は「補完（インプテーション）」と呼ばれるプロセスを用いて、空白を埋めることがよくあります。最も一般的で単純な方法は、特定の測定値について存在するすべての数値を確認し、その中央値を見つけ出し、その同じ数値をすべての空欄に貼り付けるというものです。これは簡単に行うことができますが、既知の欠点があります。それは、データの自然な多様性を平坦化してしまい、多様な患者グループを実際よりも同一的なものに見せてしまうことです。より洗密なアプローチとしては、患者に関する他の情報との関連性に基づいて、欠損している数値がおそらくどのようになるかを推測するために、複雑なコンピュータモデルを使用する方法があります。科学界が直面している問いは、単純な方法で十分なのか、それともデータを誠実に保つために複雑な方法が必要なのかということです。
スペインのバレンシアの研究チームは、実際の医療記録における空白を埋める3つの異なる方法をテストすることで、この問いに答えるべく取り組みました。彼らは理論を検証するために偽のデータを作成したのではなく、2つの大規模な実際の患者情報コレクションを使用しました。最初のグループは、肺移植を受けた408人の患者で構成されており、そこでは医師が手術の前、最中、および後に数十の測定値を追跡しています。第二のグループには、心臓発作を起こした1,700人の患者が含まれており、その記録にはバイタルサインや病歴が詳細に記されていました。両方のグループにおいて、多くの数値が欠落していました。肺移植グループでは、一部の測定値はわずか0.2パーセントの患者から、最大で77.9パーセントの患者まで欠落していました。心臓発作グループでは、欠損データは0.24パーセントから63パーセント以上に及びました。研究者たちは、これらの空白を埋める方法のうち、元のデータの真の形状と関係性を最もよく保持するのはどの方法であるかを知りたいと考えました。
チームは3つの具体的な戦略を比較しました。第一は、標準的で単純なアプローチであり、実際に記録された数値の中央値、つまり中央の値ですべての欠損数値を置き換える方法です。第二は、「k近傍法（k-nearest neighbours）」と呼ばれる方法で、これは欠損データを持つ患者に最も類似したデータベース内の患者を見つけ出し、その数値を使用して推測を行う仕組みです。第三は、「多重補完（multiple imputation）」として知られる非常に複雑な統計手法であり、これは一連の高度なモデルを実行して、欠損データの可能性のある複数の異なるバージョンを生成し、それらを平均化するものです。研究者たちは、統計的な定規（指標）を用いて、埋められたデータが元の完全なデータとどの程度一致しているかを測定しました。その定規は、数値の分布が同じように見えるかどうかをチェックするものです。彼らはまた、例えば年齢が血圧とどのように関係するかといった、異なる変数間の関係性が維持されているかも確認しました。
結果は、最も複雑な方法が常に最善であると予想する多くの人々にとって驚くべきものでした。中央値を用いる単純な方法は、確かにデータを歪ませ、数値の多様性を圧縮し、データセットを実際よりも多様性が低いものに見せました。しかし、この特定のテストにおいては、複雑な多段階の統計モデルの方がさらに悪い結果を出しました。このモデルは、他のどの方法よりも大きな誤差を導入し、変数間の関係性を変化させてしまいました。最も優れたパフォーマンスを示したのは、k近傍法でした。この手法はデータの自然な広がりを保持し、異なる医学的測定値間の関係を他のいずれの方法よりも正確に維持しました。肺移植グループでは、複雑なモデルは39パーセント近い変数でデータを歪ませましたが、k近傍法による歪みは約11パーセントにとどまりました。心臓発作グループにおいても、複雑なモデルは39パーセントの変数でデータを歪ませましたが、k近傍法はわずか11パーセントでした。
研究者たちは、欠損データの量が増えるにつれて、すべての方法で間違いが生じるものの、k近傍法による間違いの増え方は非常に緩やかであることを発見しました。変数の欠損率が高い場合、単純な中央値を用いる方法と複雑なモデルの両方が、データを現実らしく見せることに苦戦しましたが、k近傍法はよりうまく持ちこきました。これはおそらく、複雑なモデルが個々の変数に対して完璧な数学的ルールを構築しようとするため、変数が多い場合や学習するための患者が十分にいない場合に困難が生じるからだと考えられます。対照的に、k近傍法は単に最も類似した患者を見てそのパターンをコピーするため、データが乱雑であったり不完全であったりする場合でもうまく機能します。
この研究は、複雑な統計モデルが無用であることを示唆しているわけではありません。そのモデルは異なる目的のために設計されています。すなわち、真の数値を知らないことによる不確実性を考慮し、答えの範囲を示すためのものであり、これは特定の種類の深い統計分析において極めて重要です。しかし、多くの研究者にとって、単にグループの特性を記述したり、変数間の関係を探ったりするためにクリーンで完全なデータセットを必要としている場合、複雑なモデルは過剰であり、むしろ逆効果になることさえあります。今回の知見は、単一の信頼できるバージョンの医学データセットを作成するためには、k近傍法が強力なバランスを提供することを示唆しています。それは、依然として広く使われている単純な中央値法よりもはるかに正確であり、かつ、研究者が下すべき技術的な決定が少ないため、複雑なモデルよりも使いやすいのです。
この研究は、医学における実用的な教訓を浮き彫りにしています。すなわち、時には最も洗練されたツールが、その仕事にとって最善とは限らないということです。病院の記録という、データがしばしば不完全であり、患者のプロフィールが独特であるという混沌とした現実の中では、類似した患者を見て空白を埋める方法が、硬直した数学的公式よりもデータの真の物語をより良く保持することができます。適切なツールを選択することで、研究者は、発見したパターンが、欠損した数値を修正しようとした手法による人工物ではなく、調査対象である患者の現実を反映したものとなるよう確実にすることができるのです。この研究は、不必要な複雑さに足を取られることなく、データを誠実に保ちたいと願う科学者たちに、明確な進むべき道を示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。