Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

あなたは、中身の詰まった謎の箱を、中身に基づいて整然としたグループに分類しようとしている探偵だと想像してください。医学の世界では、科学者も患者データに対してこれと同じことを行うことがあり、それは「教師なしフェノタイピング（unsupervised phenotyping）」と呼ばれます。患者がどのような性質を持っているかを推測する代わりに、コンピュータを使用して、記憶力、感情の状態、あるいは身体の動きやすさといった、日常的なチェックアップのスコアから隠れたパターンを見つけ出します。その目的は、医師がより個別化されたケアを提供できるよう、患者の自然な「サブグループ」を発見することです。

しかし、この探偵の仕事台無しにしてしまう、2つの巧妙な罠があります。第一に、データは決して完璧ではありません。いくつかの箱にはラベルがなかったり、中身が欠けていたりします（これは「欠損データ」と呼ばれます）。もし欠けている部分を単に推測で埋めてしまうと、患者が実際に異なっているからではなく、あなたの推測によって存在することになったグループを、誤って作り出してしまう可能性があります。第二に、「循環性（circularity）」と呼ばれる罠があります。これは、特定のヒントを使って箱を分類し、その後、その同じヒントこそが箱を分ける主な理由であったことに驚くような状況を指します。それは、トランプの束を色で分類しておきながら、「赤いカードは赤である」という魔法のような新しいルールを発見したと主張するようなものです。

ある研究チームは、これらの探偵の手法が、現実世界の病院記録（外傷性脳損傷の患者）に適用された際に、どの程度うまく機能するかをテストすることに決めました。彼らは、コンピュータが見つけた患者のグループが、本物で、安定していて、有用なものなのか、それとも欠損した数字と循環論理の上に築かれた砂上の楼閣に過ぎないのかを確認したいと考えました。

患者分類の大実験

研究者たちは、脳損傷で入院した582人の患者を調査しました。各患者に対して、5つの異なる「成績表」がありました。それは、記憶と思考のテスト（MMSEおよびMoCA）、抑うつ状態のテスト（GDSおよびHamilton）、そして食事や着替えなどの日常生活動作の能力を示すテスト（Barthel ADL）です。

理想的な世界では、すべての患者がすべてのテストのスコアを持っているはずです。しかし、忙しい病院における現実の混乱の中では、データは失われます。この研究では、582人の患者のうち、5つのスコアすべてを揃えていたのはわずか17.7%（103人）でした。抑うつテストと日常生活動作のテストは最も欠落しやすく、それぞれ記録の約40%と30%で欠損していました。

チームは、これらの患者をグループに分類するために標準的なコンピュータプログラムを実行しました。このプログラムは、「中央値補完（median imputation）」（既存のデータの真ん中の値で空白を埋める手法）を用いて、全員を分類する最適な方法は5つの明確なグループに分けることだと判断しました。そのうちの一つは、非常に高い抑うつスコアを持つ「ハミルトン極端値（Hamilton-extreme）」グループとして、特に興味深いものに見えました。

しかし、そこで研究者たちは、これらのグループが本物なのか、それとも単なる幻影なのかを確認するための「ストレス・テスト」を開始しました。

安定性テスト：グループは維持されるか？
彼らは、データを何度もランダムに選び直す（ブートストラップ法と呼ばれる手法）ことで、データを揺さぶってみました。もしグループが本物であれば、同じ患者は毎回同じグループに留まるはずです。ところが、グループは濡れた砂の城のように崩れ落ちました。安定性スコアは非常に低く（0.211から0.454の間）、これが「はい、これは強固なグループです」と言うために必要な0.75という閾値を大きく下回っていました。異なる分類アルゴリズムを試しても、結果にほとんど一致は見られませんでした。

欠損データテスト：空白を埋める方法によって結果は変わるか？
次に、彼らは「多重代入法（MICE）」と呼ばれる、より複雑な方法を用いて、欠損したスコアを埋める実験を行いました。これは、欠損した数字に対する異なる推測を含む20個の異なるデータセットを作成する手法です。この20個のバージョンに対して分類を実行したところ、得られたグループは元の5つのグループとはほとんど全く異なるものでした。一致度はわずか0.157でした。これは、元の5つのグループが患者の真の性質を発見したものではなく、研究者がどのように空白を埋めるかを選択した結果を反映していたに過ぎないことを示唆しています。

「完全ケース」テスト：完璧なデータのみを見た場合、どうなるか？
彼らは、すべてのスコアが揃っていた103人の患者のみを分類してみました。すると、コンピュータはもはや5つのグループを求めず、3つを好むようになりました。「ハミルトン極端値」グループは、フルデータセットの中では非常に重要に見えましたが、この分析では消失するか、完全に変化してしまいました。実際、この小さなグループにおいては、抑うつのスコアが高い患者はむしろ記憶のスコアが「良好」であり、これは元の分析が示唆していた内容とは逆の結果でした。研究者たちは、この特定の「抑うつ」グループは、欠損データの扱い方によって作られた**アーティファクト（人工的な模様）**であったと結論付けました。

循環性の罠：結果をインプットとして使っていないか？
最後に、彼らは「循環性」の問題をテストしました。元の分析では、「日常生活動作」のスコア（Barthel ADL）を使用して患者を分類し、その後、そのグループが「日常生活動作」のスコアを予測するのに優れているかどうかをチェックしました。当然ながら、グループはこれに非常に優れていました！統計的な関連性は非常に強力でした。

しかし、彼らが分類プロセスから「日常生活動作」のスコアを完全に除外し、思考と情緒のテストのみを使用したとき、再び「日常生活動作」のスコアを予測させようとすると、その繋がりは消えてしまいました。統計的なスコアは、強い0.395から、微々たる0.005へと急落しました。これは、彼らが発見したと思っていた「強い結びつき」は、グループが自然に機能の違いを持っているからではなく、単にグループを作るためにその機能スコアを使用したからであることを証明しました。これは、鏡を見て、新しい顔を発見したと思い込む典型的なケースでした。

まとめ

この研究は、教師なしフェノタイピングが新しい患者サブタイプを見つけるための強力なツールのように聞こえる一方で、非常に脆弱であることを結論づけています。今回の外傷性脳損傷のケースでは、コンピュータが見つけた「グループ」は、欠損データの扱い方に極めて敏感であり、結果をインプットとして使用したことによる幻影に過ぎませんでした。

研究者たちは、医師がコンピュータ生成のグループを臨床決定に使い始める前に、厳格な監査を行う必要があると提言しています。グループがデータを再サンプリングしても安定しているか、異なる方法で欠損値を埋めた場合に生き残るか、そして最も重要なこととして、結果をグループの定義として誤って使用していないかをチェックする必要があります。これらのチェックが行われるまでは、日常的な病院データで見つかった「サブタイプ」は、証明された事実ではなく、調査すべき興味深い仮説として扱うべきなのです。