Tabular Foundation Models Can Do Survival Analysis

あなたは、あるミステリーを解決しようとしている探偵だと想像してください。そのミステリーとは、「その出来事はいつ起こるのか？」という問いです。データサイエンスの世界では、これは**生存分析（survival analysis）**と呼ばれます。これは単に、電球が切れるかどうかのように「何かが起こるか」を予測するだけでなく、「いつ起こるか」を予測することです。これは、医学（患者がいつ再発するかを予測する）、エンジニアリング（機械の部品がいつ故障するかを判断する）、あるいはビジネス（顧客がいつ離脱するかを推測する）といった分野において極めて重要です。

しかし、このミステリーには厄介なひねりがあります。それは**センサリング（censoring）**です。あなたがレースを見ている場面を想像してください。しかし、一部のランナーがゴールラインを越える前に、スタジアムから途中で退出してしまいました。彼らがまだ走っていたことは分かっていますが、いつゴールしたのかは分かりません。データ用語では、これは「右側センサリング（right-censoring）」と呼ばれます。イベントはまだ発生していないか、あるいは追跡ができなくなった状態です。従来の数学的ツールは、この欠落した情報に対して苦戦することがよくあります。通常、新しい問題ごとにゼロから構築された特殊で複雑な数式を必要とするからです。

そこで登場するのが、**テーブル型基盤モデル（Tabular Foundation Models: TFMs）**です。これらは、超スマートで、事前に学習を済ませた「探偵」だと考えてください。彼らは、住宅価格から天候パターンに至るまで、何百万もの異なる「事件ファイル（データセット）」をすでに読み込んでいます。彼らは、新しいミステリーごとに再学習する必要なく、数値の並んだ表からパターンを見つけ出すエキスパートなのです。科学者たちが抱いてきた大きな疑問は、「これらの汎用的な探偵は、生存分析という『センサリング』が含まれるミステリーを、特別な学位なしで解くことができるのか？」ということでした。

この論文の核心：ミステリーを一連の「はい／いいえ」の質問に変える

インペリアル・カレッジ・ロンドンの研究者たちは、巧妙なトリックを試すことにしました。この超スマートな探偵に対し、「いつイベントが起こるか」という正確な時間を推測させる（時計が途中で止まってしまう可能性があるため難しい作業です）代わりに、問題の言い換えを行いました。彼らは、この複雑な「いつ起こるか？」という問いを、単純な一連の**「はい／いいえ」の質問**へと作り変えたのです。

例えば、友人に「映画は午後5時までに終わりますか？」と聞き、次に「6時までには？」「では7時までには？」と聞いていく場面を想像してください。もしこれらの単純な質問に正しく答えることができれば、全体のタイムラインを把握することができます。

著者たちはこのアイデアを生存データに応用しました。彼らはタイムラインを、小さな離散的な区切り（パンをスライスするように）に細切れにしました。そして、それぞれの時間スライスに対して、モデルにバイナリ（二値）の質問を投げかけました。「この時刻までにイベントは発生しましたか？」

• はい： イベントが発生した。
• いいえ： まだ発生していない。

ここが魔法の部分です。もしデータが「センサリング」されている場合（ランナーがスタジアムを去った場合）、モデルは単に、それ以降の質問を「ラベルの欠落」として扱います。モデルは混乱することなく、ランナーが去った後の時間帯に関する質問を単に無視します。これにより、モデルは生存問題に関する特別な訓練を受けることなく、標準的な「はい／いいえ」の学習スキルを使って生存問題を解決できるのです。

彼らの発見：「累積」のトリックが最も効果的である

チームはこの手法を、48個の実世界のデータセット（43個の静的なデータセットと、情報が時間の経過とともに変化する5個の動的なデータセット）でテストしました。彼らは、この手法を、従来の専門家（Coxモデルなど）や新しいディープラーニングモデル（DeepHitなど）と比較しました。

判明したことは以下の通りです：

1. 「はい／いいえ」のアプローチが勝利： 彼らが「これまでに発生したか？」（これを累積故障（Cumulative Failure）モデリングと呼びます）という単純な質問を用いたとき、彼らのオフザシェルフのテーブル型基盤モデル（特にMITRAと呼ばれるもの）は、ほとんどの他のモデルを凌駕しました。これは、すべてのデータセットを通じて平均的にトップの性能を示しました。
2. 従来の方法には欠陥がある： もう一つの問い方として、「この特定の時間スライスの中で、イベントは発生したか？」（これは**離散ハザード（Discrete Hazard）**モデリングと呼ばれます）という方法がありました。論文によれば、この方法はいくつかの時間スライスにおいてはうまく機能しましたが、スライスの数を増やすと崩壊してしまいました。なぜでしょうか？ それは、最初のスライスの予測における小さなミスが、まるで伝言ゲームのように、メッセージが次第に歪んでいくように、後のスライスへと蓄積され、悪化していくからです。「累積（Cumulative）」法は、その時点までの全体像を見ることで、この問題を回避し、より堅牢（ロストラスト）な結果を出しました。
3. 学習は不要： 最も素晴らしい点は、モデルを再学習させる必要がなかったことです。データを入力するだけで、モデルは既存の「インコンテキスト学習（in-context learning）」能力を使用して、即座に問題を解決できました。これは、訓練済みの探偵に新しい事件ファイルを手渡し、彼らがすでにゲームのルールを知っているために、即座に事件を解決するようなものです。

証明と限界

著者たちは単に推測したのではなく、十分なデータがあれば、これらの単純な「はい／いいえ」の質問におけるエラーを最小化することで、真の生存確率を導き出せることを数学的に証明しました。彼らは、テストしたモデルがデータセットが増えるにつれて、実際に予測確率の精度を高めていることを示しました。

しかし、彼らは限界についても注意深く言及しています。この手法は、「脱落（センサリング）」がランダムであり、イベント自体とは無関係であるという仮定に基づいています。もし、スタジアムを去ったランナーたちが、実は負傷しており、結果として最後尾でゴールするはずだった人々であった場合、モデルは混乱する可能性があります。また、論文では、連続的な時間をスライス（離散化）することで、わずかな精度が失われることも指摘していますが、そのトレードオフは、得られる精度とスピードの劇的な向上に見合うものであるとしています。

結局のところ、この論文は、あらゆる生存問題のために新しい専用の脳を作る必要はないことを示唆しています。複雑な「いつ」というミステリーを解くための最善の方法は、単に一連の単純な「はい／いいえ」の質問を投げかけ、訓練済みのAI探偵に重労働を任せることなのです。