Before the Model Comes the Endpoint: Stable-Extubation Adjudication for Cross- Database Prediction in Obstructive Airway Disease

あなたは、あるミステリーを解決しようとしている探偵だと想像してください。しかし、その犯罪現場は病院のコンピュータ・システムであり、「犯罪」とは、呼吸器を外された後に患者が呼吸困難に陥ったという事態です。この科学分野は「臨床予測（clinical prediction）」と呼ばれ、医師やデータサイエンティストが「デジタルな水晶玉」を作ろうとする試みです。これらの水晶玉は、過去の患者データを使用して、人工呼吸器を外した後に自力で呼吸ができなくなる可能性のある人を推測します。大きなアイデアは単純です。もし危険を早期に察知できれば、患者が危機的状況に陥る前に手を差し伸べることができるのです。しかし、そこには落とし穴があります。病院が記録するデータは、人間によるものであり、非常に乱雑なのです。時には、念のためにマスクによる少しの助けを受けることもあります（シートベルトのようなものです）。また、時には本当に失敗し、再び機械に戻らなければならないこともあります。もしコンピュータが「安全のための予防策」と「緊急救助」の違いを判別できなければ、その水晶玉は役に立ちません。それは、穏やかな微風とハリケーンを混同して天気図を見ているようなものです。

天一・ユー（Tianyi Yu）氏によって書かれたこの論文は、まさにその混乱に対処しています。著者は極めて重要な問いを投げかけています。「データを整理することで、私たちのデジタルな水晶玉を、ある病院のコンピュータ・システムから別の病院へと移動させたときに、実際に機能させることができるだろうか？」という問いです。この研究は、COPD（慢性閉塞性肺疾患）や喘息といった、呼吸に関する困難を抱える患者を対象としています。研究者たちは、従来の「失敗」の数え方はあまりにもノイズが多いことを発見しました。彼らは、何をもって真の失敗とするかを決定するための、より厳格な新しいルールを考案しました。彼らは、この新しいルールによってデータがはるかにクリーンになり、異なる病院間でも一貫性が高まった一方で、構築されたコンピュータ・モデルは、現時点ではまだ実際の患者に使用できる段階には至っていないことも明らかにしました。モデルはパターンを捉えることはできましたが、ベッドサイドで信頼できるほど正確にリスクを予測することはできなかったのです。

ノイズの多い信号の物語

病院の電子健康記録（EHR）を、巨大で混沌としたレコーディング・スタジオだと考えてみてください。看護師が患者の状態を確認したり、医師が検査を指示したり、あるいは機械が音を鳴らしたりするたびに、新しい音符が曲に加えられます。人工呼吸器を使用している患者の場合、その「曲」は、彼らが自力で歌える（呼吸できる）準備が整ったかどうかを私たちに伝えるためのものです。しかし、その録音には静電気（ノイズ）が満ちています。

時には、患者は機械を外され、しばらくは問題なく呼吸していますが、念のために非侵襲的なマスク（高流量鼻カニューレなど）による少しの助けを受けることがあります。また別の時には、機械を外すとすぐに喘ぎ始め、再びチューブを通さなければならなくなります。乱雑なデータの中では、これら両方のイベントがしばしば同じように見えてしまいます。「患者が機械を外し、その後、助けが必要になった」という記録です。もし、助けが必要になったすべてのケースを「失敗」としてカウントしてしまうと、安全のための予防策を災害としてカウントすることになってしまいます。それは、まるで理科の実験室で安全ヘルメットを着用している生徒に対して、生徒がただルールに従っているだけであるにもかかわらず、教師がその生徒を不合格にするようなものです。

「安定した抜管」ルール：新しいフィルター

天一・ユー氏は、このノイズを浄化するためのフィルターを作ることに決めました。彼らは「安定した抜管判定（stable-extubation adjudication）」と呼ぶ新しいルールを提案しました。これはデータの「冷却期間」と考えてください。

このルールによれば、患者が「失敗」とみなされるのは、機械を外された後、12時間の間、快適に自力で呼吸し、その後にトラブルが発生した場合のみです。もし直後にトラブルが発生した場合や、単に安全のために少しの助けを受けただけであれば、この新しいシステムでは「失敗」とはカウントされません。さらに、もしトラブルが発生したとしても、少なくとも2時間は呼吸器を再装着する必要がある場合にのみ、失敗としてカウントされます。また、48時間以内に死亡した場合も、ハードな失敗としてカウントされます。

このルールは、クラブの入り口に立つ用心棒のようなものです。用心棒は、人々が外に立ってから12時間が経過し、その後突然逃げ出した場合にのみ、彼らを（問題のある人物として）通します。このルールは、ただ周囲にいただけの人々や、ちょっとした飲み物を求めていただけの人々（予防的サポート）を排除し、本当にパニックになって逃げ出した人々（真の失敗）だけを捉えます。

データの入れ替え：MIMIC-IV vs. eICU

このルールが機能するかどうかをテストするために、著者は2つの大規模なデータベースを用いて「椅子取りゲーム」を行いました。それは、MIMIC-IV（ボストンのある大病院のデータ）と eICU-CRD（全米の多くの異なる病院のデータ）です。これらのデータベースは、例えるなら2つの異なる図書館です。一方の図書館は、非常に詳細で独特なスタイルで本を書いており、もう一方はより緩やかで多様なスタイルで書いています。通常、コンピュータにある図書館Aの読み方を学習させても、図書館Bを読もうとすると混乱してしまいます。

著者は、この新しい「冷却期間」ルールによって、両方の図書館の本がより似通ったものになるかどうかを確認したいと考えました。

結果：
新しいルールを適用する前、データは混乱していました。MIMIC-IVの図書館では、68.5%の患者が失敗したように見えました。一方、eICUの図書館では、失敗したように見えるのはわずか34.8%でした。その差は33.7パーセントポイントという巨大なものでした。それは、同じような患者を見ているにもかかわらず、一方の図書館は「ほとんどの人が失敗する」と言い、もう一方は「ほとんどの人が成功する」と言っているような状態でした。

新しいルールを適用した後：

• MIMIC-IVでは、失敗率は**25.2%**に低下しました。
• eICU-CRDでは、**12.5%**に低下しました。
• 2つの図書館間の差は、わずか12.7パーセントポイントに縮まりました。

ルールは機能しました！データは浄化され、2つの異なる病院が非常によく似た姿になりました。これは、従来のカウント方法が、安全対策を災害と見誤り、失敗を過剰に報告していたことを証明しています。

水晶玉：識別は得意だが、予測は苦手

データが綺麗になったところで、著者は誰が失敗するかを推測するための「水晶玉（予測モデル）」を構築することを試みました。彼らは一つの図書館でモデルを学習させ、何も変更せずに別の図書館でテストを行いました。

結果は、「悪くはないが、十分ではない」という混合したものでした。

• モデルは、ランダムな推測よりも優れた精度で、失敗する患者としない患者を区別することができました。この能力（AUROCと呼ばれる）のスコアは、MIMICからeICUへ移動したときは0.679、その逆のときは0.672でした。
• しかし、モデルは「正確なリスク」を予測することに関しては非常に不十分でした。もしモデルが患者の失敗確率を50%と予測しても、それはしばしば間違っていました。「ブライア・スコア（確率の正確さを測る指標）」は片方向で0.471であり、これはかなり高く、予測が外れていることを意味します。

著者は、モデルが問題の一般的な形（識別能）は見ることができても、問題の大きさ（較正能）を正確に測定することはできなかったのだと説明しています。それは、雨が降ることは分かっているものの、実際には20%しかないのに「降水確率90%」と言い続けてしまう天気予報アプリのようなものです。

将来への展望

最も重要な教訓は、レンズをより精巧にすれば、壊れた水晶玉が直るわけではないということです。著者は、最大の問題はコンピュータのアルゴリズム（レンズ）ではなく、イベントの定義（見ている対象物）であったと主張しています。この「12時間の安定性」ルールによってイベントの定義を修正することで、彼らはデータを研究に使用可能なものにしました。

しかし、論文は明確に述べています：このモデルは、まだ病院のベッドサイドで使用できる段階ではありません。 患者の命を預けるために、「この患者のチューブを外さないでください」と医師に告げるには、予測が十分に正確ではありません。著者は、どの病院でもこれを使用する前に、その病院のスタイルに合わせて数値を調整し、予測が逸脱していないか注意深く監視しながら、ローカルでのテストを行う必要があると示唆しています。

要約すると、この研究は「呼吸の失敗」を予測する問題を解決したのではなく、「失敗の定義」という問題を解決したのです。より良い車を作る前に、まずは全員が同じ道を走っていることを確認する必要があることを、この研究は示しました。道は今、より明確になりましたが、高速道路に乗るには、車にはまだ何度かのテスト走行が必要です。