Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets

本論文は、従来の欠損値補完を必要とせず、特徴量固有の埋め込みとマスク自己注意機構の改良により欠損データを直接学習できるトランスフォーマーベースのモデル「NAIM」を提案し、複数のデータセットにおける先行モデルを上回る性能を実証したものである。

要約

この論文は、**「データに穴があいていても、無理やり埋めずにそのまま使える新しい AI の仕組み」**を紹介するものです。

タイトルは『Not Another Imputation Method（また別の欠損値補完法なんていらない）』、略してNAIM（ネイム）と呼ばれています。

以下に、専門用語を排し、身近な例え話を使って分かりやすく解説します。

---

1. 従来の問題点：「欠けたパズルを無理やり補う」

普段、AI が表形式のデータ（アンケート結果や顧客情報など）を学習する際、**「欠損値（Missing Values）」**という問題に直面します。これは、アンケートで「回答し忘れた項目」や、記録ミスで「数字が消えてしまった行」のことです。

これまでの一般的な方法は、**「インプテーション（Imputation）」と呼ばれる「穴埋め」**でした。

• 例え話： パズルを完成させたいのに、いくつかのピースが欠けています。そこで、「平均的な色」や「隣のピースの色」を推測して、その欠けた部分に新しいピースを無理やり貼り付けてから、パズルを完成させようとします。
• 問題点： この「無理やり貼り付けたピース」は、本当のデータではありません。AI は「嘘のデータ」まで学習してしまうため、本質的なパターンを見逃したり、間違った判断をしたりするリスクがあります。また、どの方法で穴埋めするのがベストか選ぶのも、とても大変な作業でした。

2. NAIM の解決策：「欠けたピースは『無視』してパズルを解く」

NAIM は、この「無理やり穴埋めする」という発想を捨て去りました。その代わりに、**「欠けた部分は最初から存在しないものとして扱い、残りのピースだけでパズルを完成させる」**という新しいアプローチをとります。

これを実現するために、2 つの魔法のような技術を使っています。

① 「欠けたピース用の特別なタグ」

• 仕組み： 従来の AI は、数字やカテゴリ（性別や職業など）を「言葉」や「数値」に変換して理解しますが、NAIM は**「欠けていること」自体を特別な意味を持つタグ**として扱います。
• 例え話： パズルの欠けた場所に、「ここは空っぽです」と書かれた透明なシールを貼ります。AI はそのシールを見て、「あ、ここはデータがないんだな。だからこの部分の情報は無視して、他のピースからヒントを得よう」と判断します。これにより、無理やり色を塗る必要がなくなります。

② 「欠けた部分を遮断する『目隠し』」

• 仕組み： AI がデータを理解する際（「自己注意機構」と呼ばれる部分）、通常はすべてのピースを相互に関連付けようとします。NAIM は、**「欠けた部分（透明シールが貼られた場所）からの情報伝達を完全に遮断する」**ように設計されています。
• 例え話： 大勢で話し合いをして結論を出している会議で、一人が「実は何も聞いていません（データ欠損）」と言ったとします。従来の AI は、その人の「沈黙」を無理やり推測して発言させようとして混乱します。しかし、NAIM は**「その人の発言（データ）は会議のテーブルから完全に消した」**とみなします。他の参加者（他のデータ）が、欠けた人の影響を受けずに、互いに協力して正解を導き出せるのです。

③ 「練習中の『あえて欠かす』トレーニング」

• 仕組み： 学習の最中に、あえて**「本来あるはずのデータもランダムに消去して、欠けた状態で学習させる」**という工夫をしています。
• 例え話： 料理の修行で、**「あえて材料の一部を隠して、残りの材料だけで美味しい料理を作る練習」**を毎日繰り返します。そうすると、本番で「本当に材料が足りなかった！」という状況になっても、パニックにならずに「残りの材料でどうにか美味しく作る」ことができるようになります。これを「正則化」と呼び、NAIM を非常にタフで賢くします。

3. 結果：「穴埋め不要」が最強だった

研究者たちは、5 つの異なるデータセット（収入予測、銀行の広告効果、オンラインショップの購入意欲など）で、NAIM を従来の 11 種類の AI モデルと比較しました。

• 結果： NAIM は、「穴埋めを一切行わずに」、従来の「穴埋めをしてから学習する」どんな方法よりも高い精度を達成しました。
• 驚異的な点： 学習データに欠損が全くない場合でも、NAIM は「あえて欠かす練習」のおかげで、テストデータに欠損があっても驚くほど安定した性能を発揮しました。

まとめ

この論文が伝えているのは、**「データに穴があいているからといって、慌てて補完（穴埋め）する必要はない」**ということです。

• 従来の方法： 欠けたパズルを、推測で無理やり補ってから完成させる。
• NAIM の方法： 欠けた部分は「無視」し、残りのピースだけで完成させる。さらに、練習中にあえてピースを減らして「欠けた状態での解決力」を鍛える。

この「NAIM」という新しい AI は、データが不完全な現実世界（医療記録、センサーデータ、アンケートなど）において、**「嘘のデータを作らずに、ありのままのデータから最高の答えを引き出す」**ための、非常に強力な新しいツールとして登場しました。

「欠損値を補うのではなく、欠損値を『無視する』ことで、より賢く、より強くなる」。それがこの研究の核心です。

技術概要

論文「Not Another Imputation Method (NAIM)」の技術的サマリー

本論文は、表形式データ（Tabular Data）における欠損値処理の問題に対し、従来の「欠損値補完（Imputation）」を一切行わずに、Transformer アーキテクチャを基盤とした新しいモデル「NAIM (Not Another Imputation Method)」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

表形式データは、機械学習（ML）や深層学習（DL）モデルのトレーニングにおいて、テキストや画像とは異なり、カテゴリカルと数値的な特徴が混在し、スケールや分布が異なるという特有の課題を抱えています。さらに、実世界のデータセットには欠損値が頻繁に含まれており、これがモデルの性能を低下させる主要な要因となっています。

既存の手法は主に以下の 2 つのアプローチに分類されます：

1. 欠損値補完（Imputation）: 学習前に平均値、KNN、MICE などのアルゴリズムを用いて欠損値を推定し、補完する。
2. 欠損値対応モデル: 決定木ベースのモデル（MIA 戦略など）やグラフニューラルネットワーク（GRAPE）など、欠損値を直接扱えるモデルを使用する。

しかし、これらの手法には以下のような限界があります：

• 補完手法は、推定値が誤っている場合、モデルにバイアスやノイズをもたらすリスクがある。
• 欠損値を直接扱えるモデルは、Transformer などの最先端のアーキテクチャでは一般的ではなく、特にカテゴリカルと数値の両方の欠損を柔軟に扱えるものが不足している。
• 多くの DL モデルは、欠損値が存在すると正しく機能しない。

2. 提案手法：NAIM (Not Another Imputation Method)

NAIM は、欠損値を補完することなく、利用可能なデータのみから学習することを目的とした、Transformer ベースのモデルです。その核心は、以下の 3 つの技術的革新にあります。

2.1. 特徴量固有の埋め込み（Feature-Specific Embeddings）

従来の Transformer は、欠損値を「パディング（埋め込み）」として扱う際、学習不能なゼロベクトルを割り当てるだけで、その影響を完全に排除できていませんでした。NAIM は、カテゴリカル特徴と数値特徴の両方に対して、以下の仕組みを導入します：

• カテゴリカル特徴: 各特徴量ごとのルックアップテーブル（Embedding Table）を使用し、欠損値には学習不能なゼロベクトル（パディングインデックス）を割り当てます。
• 数値特徴: 「存在（Present）」と「欠損（Missing）」の 2 つのエントリを持つルックアップテーブルを定義します。欠損値の場合は学習不能なゼロベクトルを、存在する場合は特徴値を乗算した学習可能なベクトルを使用します。
  これにより、欠損値が埋め込み段階で「存在しないもの」として扱われ、勾配計算への影響が排除されます。

2.2. 改変されたマスク自己注意機構（Modified Masked Self-Attention）

標準的な Masked Self-Attention は、シーケンス内の特定の位置（例：将来のトークンやパディング）を無視するためにマスク行列を使用しますが、表形式データにおける欠損値の完全な排除には不十分であることが示されました。
NAIM は、以下の式を用いた新しい注意機構を提案しています：
$$\text{Attention}(Q, K, V) = \text{ReLU}\left( \text{softmax}\left( \frac{QK^T}{\sqrt{d_h}} + M \right) + M^T \right) V$$
ここで、$M$ は欠損値に対応する列を $-\infty$ に設定するマスク行列です。

• 従来の手法の問題点: $M$ を加算して Softmax を適用しても、欠損値を持つ行（Row）への影響が完全にゼロにならない場合がありました。
• NAIM の解決策: 転置行列 $M^T$ を加算し、さらに ReLU 関数を適用することで、欠損値に関連する行と列の両方からの注意スコアを完全にゼロに強制します。これにより、欠損値が他の特徴量との相互作用に一切関与しないようにします。

2.3. 新規正則化手法（Novel Regularization Technique）

モデルが欠損値の存在に頑健（Robust）になるための正則化手法として、各エポックでランダムに欠損値を生成する「Cutout」に似た戦略を採用しています。

• 学習データに欠損値が含まれていない場合でも、ランダムに一部の値を欠損状態に置き換えて学習を行います。
• これにより、モデルは「欠損値が存在する状況」を事前に学習し、テスト時に欠損値が異なるパターンで現れても、補完なしで高精度な予測を行えるようになります。

3. 実験と結果

NAIM の性能評価は、UCI リポジトリから取得した 5 つの公開データセット（Adult, BankMarketing, OnlineShoppers, SeismicBumps, Spambase）を用いて行われました。

• 比較対象:
  • 6 つの機械学習モデル（AdaBoost, 決定木, HistGradientBoost, ランダムフォレスト, SVM, XGBoost）
  • 5 つの深層学習モデル（MLP, GRAPE, TabNet, TabTransformer, FTTransformer）
  • これらに 3 つの補完手法（定数補完, KNN, MICE）を組み合わせた計 35 種類のコンペティター。
  • 欠損値を内在的に処理するモデル（MIA 戦略を持つ木ベースモデルや GRAPE）も比較対象に含まれました。
• 評価条件:
  • 学習セットとテストセットの欠損率を 0%, 5%, 10%, 25%, 50%, 75% と変化させた 36 種類のシナリオで評価。
  • 指標は AUC（Area Under the ROC Curve）。

主要な結果:

1. 性能の優位性: NAIM は、36 のシナリオのうち 23 で最良の性能を示しました。統計的有意性（ウィルコクソンの符号順位検定）においても、平均して 58.7% のケースでコンペティターより優れ、劣ったケースは 1.6% にとどまりました。
2. 欠損値への頑健性: 学習データに欠損値が全くない場合（0%）でも、テストデータに欠損値が含まれると、従来の補完手法や内在的処理モデルの性能は急激に低下しました。一方、NAIM は正則化手法により、学習時に欠損値をシミュレートしているため、どのような欠損パターンに対しても安定した高い性能を維持しました。
3. アブレーション研究: 正則化なし（NAIM w/o reg）や、注意機構の改変なし（Imputer 併用）のモデルと比較し、提案された「マスク自己注意機構」と「正則化手法」の両方が性能向上に不可欠であることを実証しました。

4. 意義と結論

本論文の主な貢献と意義は以下の通りです：

• 補完不要なアプローチの確立: 欠損値を補完するという前処理ステップを排除し、利用可能なデータのみから直接学習する Transformer モデルを初めて実現しました。これにより、補完による情報損失やバイアスのリスクを回避できます。
• Transformer の表形式データへの適応: 従来の Transformer が苦手としていた「欠損値の完全な排除」と「カテゴリカル・数値の混合処理」を、独自の埋め込みと注意機構で解決しました。
• 実用性の向上: 実世界のデータは不完全であることが多く、事前に最適な補完手法を選択するのは困難です。NAIM は、欠損値の有無や割合に関わらず、一貫して高い予測性能を発揮するため、実務的なアプリケーションにおいて非常に有用です。

結論として、NAIM は表形式データにおける欠損値処理の新たな標準となり得るアプローチであり、従来の補完ベースの手法や既存の DL モデルを凌駕する性能と頑健性を示しました。将来的には、マルチモーダルデータへの拡張や、計算コストの削減、解釈性の向上などが課題として挙げられています。