🤖 machine learning

Prior-Aligned Data Cleaning for Tabular Foundation Models

本論文は、実世界の汚れたデータと表形式基盤モデルの合成事前分布との間の分布ギャップを埋める事前整合プロセスとして表形式データクリーニングを最適化する深層強化学習フレームワークである L2C2 を導入し、それによってゼロショット精度を大幅に向上させ、効果的なクロスデータセット転移を可能にする。

原著者： Laure Berti-Equille

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Laure Berti-Equille

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、完璧に無菌でハイテクなキッチンで何年もかけて何百万もの料理を調理してきた、超スマートな事前学習されたシェフ（Tabular Foundation Model、TFM）を持っていると想像してください。このシェフは、小さく特定のレシピにおける風味の予測に長けていますが、非常に厳格なルールを持っています。それは、材料が新鮮で、丸ごとであり、かつ特定の順序で配置されている場合にのみ受け入れるというルールです。

さて、このシェフに現実世界の食材のバスケットを持ってきてください。いくつかのリンゴは打撲傷を負っています（外れ値）、いくつかは完全に欠けています（欠損値）、そしていくつかは同じリンゴの重複です（重複）。

もしこの散らかったバスケットを直接シェフに手渡せば、彼らは混乱します。彼らは単に「リンゴを直します」とは言いません。「これは私が訓練されたキッチンとは違う！」と言い、予測は不安定で信頼できなくなります。これが論文で「Prior Mismatch（事前分布の不一致）」と呼ばれるものです。

この問題を解決するために、論文はL2C2（Learn2Clean）という新しいシステムを導入しています。固定されたルールセット（「リンゴは常に皮をむく」など）を使って食材を掃除する代わりに、L2C2は強化学習（RL）を使用します。このエージェントを、試行錯誤を通じて、あなたの特定の食材バスケットを、スーパーシェフの期待に完璧に合うように掃除する方法を学ぶ、賢いシェフ見習いと想像してください。

以下は、論文の発見が日常の概念にどのように翻訳されるかの解説です。

1. 問題：「一つのサイズがすべてに合うわけではない」

過去には、人々はデータを掃除するために静的なルールを使用していました。それは「打撲傷があれば、リンゴを捨ててしまう」というルールを持っているようなものです。

問題点: 時には、リンゴを捨てるのが悪手です。なぜなら、果物（データ）を失いすぎるからです。時には、単に皮をむく方が良いでしょう。「最良」の掃除方法は、あなたが持っている特定のバスケットに完全に依存します。
論文の洞察: データの掃除は単一のステップのタスクではなく、一連の意思決定です。あなたは決断しなければなりません：欠けているリンゴを先に埋めるべきか？打撲傷のあるリンゴを、その前か後かどちらで取り除くべきか？ これらを間違った順序で行うと、結果が台無しになります。

2. 解決策：賢いシェフ見習い（L2C2）

L2C2は、完璧なシェフ見習いになることを学ぶコンピュータプログラムです。それはあなたの散らかったデータを見て、次にどの掃除ツールを使用するかをステップバイステップで決定します。

目標: その仕事は単にデータを「きれいに」することだけではありません。その仕事は、スーパーシェフ（TFM）が期待する「完璧なキッチン」と全く同じようにデータを見せることです。これを**「Prior Alignment（事前分布の整合）」**と呼びます。

3. 秘密の調味料：正しい「スコアカード（報酬）」を設計すること

強化学習において、エージェントは良い動きに対してポイント（報酬）を得ることで学習します。論文は、ポイントを与える正しい方法を考えるのに多くの時間を費やしました。

罠: 著者たちは掃除を評価する7つの異なる方法を試しました。そのうち3つはひどい「罠」でした。
- 罠の例: あるスコアカードは、「欠けている部分を埋めること」に対してのみポイントを付与しました。エージェントは、完璧なスコアを得るための最も簡単な方法は、欠損値を含むすべての行を削除することだと気づきました。それは「バスケットの半分を捨てて、完璧なリンゴだけを残す」ことで「不正」を働きました。スコアは高かったですが、シェフには調理するものが何も残っていませんでした。
勝者: 彼らはTFMAwareRewardと呼ばれる新しいスコアカードを作成しました。このスコアカードは、データがどれだけきれいかを見るだけでなく、実際にスーパーシェフに「この掃除されたバスケットはあなたにとってどの程度機能しますか？」と尋ねます。また、スーパーシェフが魔法を働かせるために一定量の材料が必要であるため、エージェントがあまりにも多くの行を捨てた場合、ペナルティを科します。

4. 主要な発見（「味見テスト」）

著者たちは、このシステムを10の異なる現実世界のデータセット（医療記録、信用スコア、銀行データなど）でテストしました。彼らが発見したのは以下の通りです。

正しいスコアカードが重要: 間違ったスコアカードを使用すると、悪い掃除戦略につながりました。彼らの新しいTFMAwareRewardを使用すると、従来の方法よりも常に優れた掃除方法が見つかりました。
戦略が変化する: 10のデータセットのうち4つで、新しいシステムは従来の方法とは全く異なる掃除の経路を選択しました。例えば、複雑な「近傍探索」法でギャップを埋める代わりに、スーパーシェフがシンプルで滑らかなデータを好むことを知っていたため、時には単純な「平均」法を選択しました。
自信が重要: 正しい答えを得ることだけが重要なのではなく、どの程度確信を持っているかを知ることが重要です。新しいシステムは、スーパーシェフをより自信を持たせ、無謀な推測をする可能性を減らしました（より良い較正）。
学習して学ぶこと（転移）これは大きな勝利です。著者たちは、あるデータセット（Ionosphere）でシェフ見習いを訓練しました。その後、彼らはそれが一度も見たことのない新しいデータセットを与えました。シェフ見習いはゼロから始める必要はありませんでした。少しの「微調整」が必要だっただけです。それはゼロから訓練されたシェフよりも速く学習し、より良いパフォーマンスを発揮しました。これは、「掃除するスキル」が異なる種類のデータ間でも転移することを証明しました。

5. ツールの「微調整」

システムは、ツールの設定も重要であることを学びました。

類似のアイテムに基づいて欠損データを埋める「K-近傍法」というツールを想像してください。論文は、どの程度の数の類似アイテムを見るのが「最良」かが、データセットによって変化することを発見しました。
新しいシステムは、固定された数（「常に5つの近傍を見る」など）を選ぶだけではありませんでした。それは、各特定のバスケットに対して完璧な数（3、7、または10）を選ぶことを学び、毎回わずかながらもパフォーマンスを引き出しました。

まとめ

この論文は、現代の AI モデルから散らかった現実世界のデータに対して最良の結果を得るためには、単に汎用的な「掃除キット」を使用するだけでは不十分であると主張しています。私たちは、AI モデルの内部の期待に特に合わせてデータを掃除することを学ぶ、賢く適応的なシステムが必要です。AI モデルの実際のパフォーマンスを報酬とする賢い「スコアカード」を使用することで、このシステム（L2C2）はデータをよりよく掃除し、AI をより自信を持たせ、さらに追加の作業をほとんど行わずに新しい問題でも再利用することができます。

Laure Berti-Equille による論文「Prior-Aligned Data Cleaning for Tabular Foundation Models」の詳細な技術的サマリーを以下に示す。

1. 問題定義：事前分布の不一致

本論文は、TabPFN v2 などの**表形式基盤モデル（Tabular Foundation Models: TFMs）**を実世界のデータに適用する際の重要な限界を扱っている。

核心的な課題: TFM は、合成データ生成プロセスに対するメタ学習によって、ゼロショット精度において最先端の性能を達成する。それらの内部的な「事前分布（prior）」 $P_{synth}$ は、ほぼクリーンで、ガウス分布の周辺分布を持ち、欠損値率が低い入力を想定している。
不一致: 実世界の表形式データ $P_{dirty}$ には、欠損値、外れ値、重複、分布のシフトが含まれることが多い。この「汚れた」データを TFM に投入すると、事前分布の不一致が生じる。
結果: この不一致は、予測精度だけでなく**信頼性較正（Expected Calibration Error: ECE）**も劣化させる。
行数ペナルティ: 標準的なモデルとは異なり、TFM は**コンテキスト学習（In-Context Learning: ICL）**に依存している。ICL の予測不確実性は、コンテキストサイズ（行数） $n$ に対して $O(1/\sqrt{n})$ としてスケーリングする。外れ値を除去するために行を削除するような過激なクリーニング戦略は、コンテキストサイズを非線形的に縮小させるため、不確実性を不均衡に増大させる。既存のクリーニングフレームワークはこの特定のペナルティを考慮していない。
課題: データクリーニングは逐次的な意思決定問題である（例：外れ値除去の前か後かで、その後の演算子が目にする分布が変わる）。静的な前処理ルールは、特定の誤りプロファイルに対する最適なシーケンスを予測できない。

2. 手法：L2C2 フレームワーク

著者らは、データクリーニングを**事前分布の整合（prior alignment）として再定義する深層強化学習（RL）フレームワークL2C2（Learn2Clean）**を導入する。

A. マルコフ決定過程（MDP）の定式化

状態（ $s_t$ ）: 現在のデータセットの品質を表す 9 次元ベクトル：
- 品質ブロック（6 次元）: 欠損率、平均 Wasserstein-1 距離（ドリフト）、歪度、尖度、クラスバランス、行保持率。
- 履歴ブロック（3 次元）: エピソード内で既に補完、外れ値クリーニング、スケーリングが適用されたかを示すバイナリフラグ。
行動（ $a_t$ ）: 3 つのファミリーから選ばれるパラメータ化されたクリーニング操作：
- 補完器: 平均、中央値、KNN（調整可能な $k$ を持つ）。
- 外れ値クリーナー: IQR または Z スコア（調整可能な閾値を持つ）。
- スケーラー: Min-max、Z スコア、Quantile。
遷移: データセットへの演算子の決定論的適用に続き、状態の再評価が行われる。
ホライズン: エピソードあたり $T=6$ ステップに固定。

B. 報酬関数スイート

中心的な貢献は、報酬設計の体系的な分析である。著者らは 7 つの報酬関数（ $R1$ – $R7$ ）をテストした：

単純な崩壊: 下流タスクのフィードバックなしに完全性や歪みのみに基づく報酬は、退化した戦略（何もしない、またはすべての行を削除するなど）に収束した。
多目的ベースライン: 精度（Random Forest）、保持率、品質指標を組み合わせた報酬は有望だったが、TFM を意識したものではなかった。
TFMAwareReward（ $R7$ 、提案）: TFM 向けに設計された新しい報酬関数：
$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$
- 核心的な革新: 保持項は**二次の指数（ $\alpha=2$ ）**を使用する。これは行削除を非線形的に罰し、ICL の $O(1/\sqrt{n})$ という不確実性のスケーリングを反映している。行の 20% を失うことは、線形モデルが示唆するよりもはるかに大きなペナルティとなる。
- 構成要素: TabPFN v2 の精度、行保持率、データ品質（完全性/重複除去）、Wasserstein ドリフトのバランスを取る。

C. アーキテクチャ

方策: Stable-Baselines3 を介して実装された深層方策ネットワーク（PPO、DQN、A2C）。
観測器: 軽量な DataQualityObserver がミリ秒単位で状態ベクトルを計算する。
評価: 報酬は、クリーニングされたデータのホールドアウト分割上で TabPFN v2 を実行することで計算される。

3. 主要な貢献と実験

本論文は、10 の OpenML ベンチマークデータセットを用いた 6 つの実験を通じて L2C2 を検証する：

C1: 報酬の分類: 7 つの報酬設計のうち 3 つが単純な戦略に収束することを示した。下流タスクの性能（特に TFM の精度）を含む多目的報酬のみが、意味のあるパイプラインのランキングをもたらす。
C2: 事前整合型 vs RF-報酬:
- Random Forest（RF）報酬で選択されたパイプラインと、提案するTFMAwareRewardで選択されたパイプラインを比較。
- 結果: TFMAwareReward は 10 データセット中 4 つで構造的に異なるパイプラインを選択した（KNN よりも平均/中央値補完を好むことで、グローバルな周辺分布のモーメントを保持）。
- 性能: TFM 整合アプローチは、分岐するケースでより高い TabPFN v2 精度を達成し（平均 0.851 対 0.843）、決して劣ることはなかった。
C3: 較正の回復: 事前整合型クリーニングは、すべての誤りタイプ（MCAR、MAR、外れ値、重複）において期待較正誤差（ECE）を大幅に削減し、クリーニングが精度だけでなくモデルの信頼性を向上させることを証明した。
C4: 誤り感度: 事前整合型クリーニングの精度優位性は、誤り注入率に対して単調ではない。欠損データの量だけでなく、誤りの分布構造に依存する。
C5: パラメータ化された行動: 方策にサブパラメータ（KNN の $k$ 、外れ値閾値など）を調整させることで、離散的で固定パラメータのベースラインと比較して、9/10 のデータセットで最善の発見されたパイプライン報酬が向上した。
C6: 転移学習: 単一のソースデータセット（Ionosphere）で事前学習され、ホールドアウトデータセット（Phoneme、Adult、Bank）で微調整された方策は、すべての 3 つのターゲットにおいて、ゼロから学習したモデルの 2,000 ステップチェックポイントの性能を上回った。これは「事前整合の知識」がドメイン間で転移可能であることを示している。

4. 結果のまとめ

精度: TFMAwareReward を用いた L2C2 は、最良の貪欲オラクルベースラインと一貫して同等かそれ以上の性能を発揮した。
較正: ECE に顕著な改善が見られ、特に重複注入や MAR（Missing At Random）シナリオにおいて顕著であった。
効率性: RL 方策は最適なクリーニングシーケンスを見つけるための探索コストを償却し、ゼロから再学習することなく新しいデータセットに一般化する。
統計的有意性: ウィルコクソンの符号順位検定により、パラメータ化された行動が結果を有意に改善すること（ $p=0.004$ ）と、TFM 整合報酬が分岐するケースで明確に優れたパイプラインを選択すること（分岐する 4 データセットで $p=0.063$ ）が確認された。

5. 意義と影響

パラダイムシフト: データクリーニングを、静的でヒューリスティックな前処理ステップから、基盤モデルの特定の事前分布に最適化された学習された逐次的意思決定プロセスへと移行させる。
科学的洞察: RL ベースのクリーニングにおいて報酬設計が最も重要な要素であることを確立する。ナイーブな報酬は退化した戦略につながる。提案するTFMAwareRewardは、精度、データ品質、コンテキスト学習の固有の制約をバランスさせる原理的な方法を提供する。
実用性: 学習済み RL 方策を通じて入力分布をモデルの合成事前分布に整合させることで、ファインチューニング用の大規模な注釈付きコーパスを必要とせず、TFM を厄介な実世界のデータに展開するためのフレームワークを提供する。
オープンソース: コードとデータセットは公開されており、データ中心 AI と基盤モデルの展開に関するさらなる研究を促進する。

結論として、本論文は、表形式基盤モデルにとってデータ準備は不確実性管理のための第一級のツールであり、学習された RL 方策を通じて入力分布をモデルの合成事前分布に整合させることが、標準的な静的な前処理と比較して、優れた精度と較正をもたらすと主張している。