In-Context Density Estimation for Tabular Data

新しい都市を理解しようとしている場面を想像してみてください。昔は、どこに人が集まりやすいか、どこに静かな公園があるか、あるいはどこに危険な路地が隠れているかを知るためには、街区ごとに異なる地図製作チームを雇わなければなりませんでした。各チームは、たった一つのブロックを調査するために数週間を費やし、独自の地図を描き、それから次の場所へと荷物をまとめて移動していきました。それは時間がかかり、費用もかさみ、仕事ごとに異なる道具を必要としました。

コンピュータサイエンス、特に「機械学習」と呼ばれる分野において、これは私たちがこれまで表形式データ（tabular data）——スプレッドシートのように行と列で構成されたデータのことです——をどのように扱ってきたかという状況を正確に表しています。その目的は密度推定（density estimation）、つまり「確率質量」がどこに存在するのかを突き止めることです。これは、データの混雑具合を示す地図のようなものだと考えてください。データの密集している場所を知っていれば、奇妙な外れ値（アノマリー）を見つけたり、場違いなもの（分布外検出）を見つけたり、さらには他のコンピュータを訓練するための、新しく現実的な偽のデータを発明したり（データ拡張）することができます。長年、ルールは「一つのデータセットにつき、一つのカスタム訓練済みモデル」でした。しかし、もし、特定の地図を暗記するのではなく、「地図を描くスキル」そのものを学ぶ、一つの超スマートなガイドを作ることができたらどうでしょうか？

ここで、新しい論文が**ICED（In-Context Energy-based Density estimator）**を紹介しています。ポーランドのヤギェウォ大学の研究者たちは、単一の凍結されたAIモデルを構築し、それが「ユニバーサルな街のガイド」として機能するようにしました。新しいスプレッドシートごとに新しいモデルを再訓練する代わりに、ICEDは与えられたデータを「コンテキスト（文脈）」として読み取り、瞬時にその特定の点がどれほど「密」であるか、あるいは混雑しているかを教えます。これは、新しいデータのために学習したり、調整したり、チューニングしたりする必要がありません。それは、何百万もの異なる都市を学習してきたガイドが、新しい街に足を踏み入れた瞬間、街並みを一目見ただけで、賑やかな広場と、空っぽで怪しい角を即座に指し示すようなものです。

問題点：「一律の解決策」では通用しないアプローチ

長い間、干し草の山の中から針を探す（アノマリー検出）、あるいは新しい干し草を生み出す（データ拡張）ためには、その特定の干し草の山専用のカスタムマシンを作る必要がありました。データを投入し、つまみ（ハイパーパラメータ）を微調整し、それがその特定の山の形を学習してくれることを祈るしかありませんでした。もし、形の異なる新しい干し草の山を手に入れたら、最初からやり直しでした。

この論文は、これが非効率的であると主張しています。言語処理のような他の分野では、「基盤モデル（foundation models）」――汎用的なルールを学習し、新しいタスクに即座に適用できる巨大なAIの脳――へと移行してきましたが、表形式データの密度推定は、依然として古い手法に留まっています。既存の「表形式用基盤モデル」であっても、通常は、メールがスパムかどうかを分類したり、住宅価格を予測したりといった、一つの特定の課題しか解決できません。それらは、データの「どこにデータが存在するのか」という根本的な地図を提示してくれるわけではないのです。

解決策：ユニバーサルな地図作成者

著者たちは、Transformer（多くの現代的なAIチャットボットの背後にあるものと同じアーキテクチャ）に基づいたICEDを作成しました。その仕組みを、遊び心のある比喩を使って説明しましょう。

あなたは探偵を訓練していると考えてください。一つの犯罪現場を見せて解決させるのではなく、何百万もの「異なる」犯罪現場を見せ、そのすべての余白に答えが書かれている状態にします。そして、パターンを認識するように教えます。「ああ、窓が割れて床が濡れているときは、容疑者はおそらくここにいる」といった具合です。

ICEDは、**合成事前分布（synthetic prior）**を用いて訓練されました。これは、研究者が単に現実世界のデータを入力しただけではなく、膨大な「人工的な宇宙」を構築したことを意味します。彼らは、あらゆる種類の奇妙な形状を持つ、何百万もの偽のデータセットを作成しました。滑らかで丸いもの（ガウス分布）、長く重い裾を持つもの（ヘビーテイル）、複雑な曲線にねじれたもの（フロー）、そして混合型の情報（数値とカテゴリなど）を持つもの。決定的なのは、彼らがこのデータを自ら作ったため、あらゆる一点における正確な「真の密度」を知っていたということです。

モデルは、データセット（コンテキスト）と特定の点（クエリ）を見て、**エネルギー（energy）**を予測することを学びました。この論文において、「エネルギー」とは「正規化されていない密度」を指す専門用語です。これは高さマップのようなものだと考えてください。高いエネルギーは、混雑していて安全で典型的なエリアを意味し、低いエネルギーは、孤独で、怪しく、あるいは空っぽのエリアを意味します。モデルは、都市の正確な総面積を計算する必要はありません（数学的に完璧に行うことは不可能です）。ただ、どの地点が他の地点よりも高いかを知るだけでよいのです。

ICEDができること（苦労することなく）

一度訓練されると、IC lDは**凍結（frozen）**されます。決して変化しません。その後、あなたはこれ単一の、変わることのないモデルを使用して、四つの全く異なる仕事を、再訓練なしで同時にこなすことができます。

1. 密度推定（Density Estimation）： あるデータ点がどれほど典型的であるかを教えます。
2. アノマリー検出（Anomaly Detection）： 変なやつを見つけ出します。もしある点が非常に低いエネルギー（群衆から遠く離れた「谷間」）を持っている場合、ICEDはそれをアノマリーとしてフラグを立てます。
3. 分布外検出（Out-of-Distribution Detection）： 新しいデータがグループに全く属していないかどうかを判断します。
4. データ拡張（Data Augmentation）： 現実的な見た目の、新しい偽のデータポイントを生成できます。これは、「エネルギー勾族（energy gradient）」に従うこと（例：最も混雑しているエリアに向かって坂を登っていくハイカーのように）によって、パターンに適合する新しいサンプルを作成することで行われます。

結果：高速、高精度、そしてユニバーサル

研究者たちは、古典的な統計学から現代的なディープラーニングモデルまで、膨大なリストと比較してICEDをテストしました。

• 速度： ICEDは新しいデータに対して訓練する必要がないため、驚異的に高速です。論文では、ICEDは単一のフォワードパスですべてを行うため、他の高度なモデル（TabPFNなど）よりも約50倍速いと述べられています。それは、街を描くために数週間を費やすのではなく、写真を撮るようなものです。
• 精度： 真の値（ground truth）が判明している合成テストにおいて、ICEDは一貫して、ポイントを正しくランク付けする上で最高、あるいは二番目に優れた性能を示しました。単に推測したのではなく、データの形状を理解していたのです。
• 堅牢性（Robustness）： これが最も印象的な部分です。コンテキストとなるデータがノイズで汚染されたとき（つまり、訓練データ自体にいくつかの悪い点が含まれていたとき）、多くの他のモデルは崩壊しました。彼らのパフォーマンスは大幅に低下しました。しかし、ICEDはトップ3に留まりました。ICEDは、訓練中に乱雑で、ヘビーテイルで、ノイズの多いデータを扱うように作られていたため、現実の世界が乱雑になってもパニックに陥りませんでした。
• データ生成： 他の分類器を訓練するための偽のデータを生成する際、ICEDは最高の特化型ツール（TabEBMなど）と同等の性能を発揮し、しばしばそれらを上回りました。

限界（と未来）

論文は、その限界についても正直に述べています。ICEDは「相対的な」地図を提供します。それは「地点Aは地点Bよりも混雑している」とは言えますが、追加のステップなしには、完全な正規化された確率（例：「これが起こる確率は45.2%である」といった数値）を与えることはできません。また、データセット全体を一度に見るため、データセットが膨大な場合は少し遅くなる可能性がありますが、著者らはこれは管理可能であると示唆しています。

著者たちは、ICEDが宇宙のあらゆる問題を解決したと主張しているわけではありません。彼らは、ICEDが密度推定を**再利用可能なプリミティブ（基礎的な要素）**として扱うための強力な一歩であることを示唆しています。私たちがもはや、車一台ごとに新しいエンジンを作らないのと同様に、間もなく、スプレッドシートごとに新しい密度モデルを作る必要もなくなるかもしれません。私たちは、単一のユニバーサルなガイドであるICEDを使って、どんなデータ環境でもナビゲートできるようになるのです。

要約すると、ICEDは「一度学べば、永遠に使える」ツールであり、複雑で時間のかかるデータのマッピング作業を、単一の、瞬時の眼差しへと変えるものです。それは、新しいデータセットごとに車輪を再発明する必要はなく、あらゆる地形を転がることができる車輪が必要なのだということを証明しています。