🤖 machine learning

OverNaN: NaN-Aware Oversampling for Imbalanced Learning with Meaningful Missingness

本論文は、欠損値を含む特徴ベクトル上で直接合成サンプルを生成することで不完全なデータセットにおけるクラス不均衡に対処し、従来の補完や削除によって情報性の高い欠損パターンを消去するのではなく、それを保持する軽量なオーバーサンプリングフレームワーク「OverNaN」を提案する。

原著者： Amanda S Barnard

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amanda S Barnard

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「OverNaN」を平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「壊れたパズル」

あなたがコンピュータにさまざまな種類の車を認識させることを学ばせようとしていると想像してください。あなたは赤いスポーツカーや青いトラックの写真を示します。しかし、多くの写真では画像の一部が欠けています。もしかするとナンバープレートがぼかされているか、サイドミラーが切り取られているかもしれません。

機械学習の世界では、これらの欠けた部分をNaN（Not a Number、数値ではない）と呼びます。

従来、データサイエンティストはこれらの欠けた部分を欠陥として扱ってきました。コンピュータに教える前に、それらを修正するための主な方法は 2 つあります。

写真を破棄する：ミラーが欠けている写真があれば、その写真全体を削除します。これは、すでにその特定の車種の画像が非常に少ない場合（「マイノリティクラス」の場合）、問題を悪化させます。
欠けた部分を推測する：数学を用いて、欠けたミラーがどのように見えるかを推測し、それを埋めます。これを補完（imputation）と呼びます。

この論文は、これら 2 つの従来の方法の両方に欠点があると主張しています。データを破棄することは、すでにデータが不足している場合、問題をさらに悪化させます。欠けた部分を推測することは、偽の確実性を生み出します。コンピュータはミラーがどのように見えるかを知っていると思い込みますが、それは単なる推測に過ぎず、モデルを混乱させる可能性があります。

新しいアイデア：OverNaN

著者のアマンダ・バーナードは、OverNaNと呼ばれる新しいツールを紹介しています。

OverNaN を修理班ではなく、欠けた部分を尊重するコピー機と考えてみてください。

欠けた部分を修正したり、写真を破棄したりする代わりに、OverNaN はこう言います。「欠けた部分は欠けたままにしておこう。しかし、これらの写真をより多くコピーして、コンピュータによりよく学んでもらおう。」

これは重要です。なぜなら、多くの現実世界の状況（科学や工学など）において、欠落したデータは偶然ではなく、意味のあるものだからです。

比喩：ケーキのレシピを想像してください。レシピに「卵を 2 個加える」と書かれていても、卵がない場合、単に「卵 2 個」と推測して書き込むわけではありません。その材料が欠けているという事実は、レシピについて何かを伝えています（おそらくヴィーガン版であるなど）。推測で埋めてしまうと、レシピを台無しにしてしまいます。OverNaN は「欠けた卵」の場所を空白のままに保ち、パターンが真実であるようにします。

仕組み（「魔法」のトリック）

通常、珍しい車種についてコンピュータにより多く教えるために、SMOTEと呼ばれる技術を使用します。これは、珍しい車の写真を 2 枚取り出し、その真ん中に新しい架空の写真を描くというものです。

従来の方法：もし 1 枚の写真にミラーが欠けていれば、従来の方法はミラーがどのように見えるかを推測し、「推測された」ミラーを持つ新しい車を描き、最善を尽くすことを願います。
OverNaN の方法：それは 2 枚の写真を見ています。
- 両方にミラーがあれば、ミラー付きの新しい車を描きます。
- 片方がミラーを欠いている場合、新しい架空の車もミラーを欠いたままになります。

それは「欠落」を、色や形と同じようにデータの特性として扱います。穴や隙間を含め、実物と全く同じように見える新しい合成例を作成します。

隙間を扱う 3 つの方法

この論文は、OverNaN が新しいコピーを作成する際に、これらの欠けた部分を扱うための 3 つの異なる「戦略」を提供すると説明しています。

「保守的」戦略（パターン維持）：元の写真のどちらかに欠けた部分があれば、新しいコピーにも欠けた部分が入ります。何も新たに発明しないよう、非常に慎重です。
「埋め込み」戦略（選択的補間）：元の写真の両方にその部分があれば、それを埋めます。片方しかない場合、新しいものは空白のままにします。
「統計的」戦略（確率的）：現実世界で物が欠ける頻度を見て、そのパターンをランダムに模倣しようとします。

なぜこれが重要なのか（グラフェンの例）

この論文は、酸化グラフェン（バッテリーや医薬品に使用される材料）の小さな断片に特定の化学基が付着しているかどうかを予測するという、実際の科学問題でこれをテストしました。

状況：ある構造では、化学結合が単に存在しないことがあります。科学者が測定するのを忘れたからではなく、結合が物理的に存在しないのです。
従来の方法の問題点：もし従来の「推測」方法を使用すれば、実際には存在しない結合が存在するとコンピュータに教えてしまう可能性があります。これは、塩分を含まないはずの料理に塩を加えるようシェフに指示するようなものです。
OverNaN の結果：「欠けた結合」を欠けた値のままにすることで、コンピュータは構造を正しく認識することを学びました。テストにおいて、OverNaN は空白を埋めようとしたり、データを削除したりした方法よりも、精度が高く、一貫していました。

結論

OverNaNは、データが乱雑で不完全であり、不均衡（ある種類のデータが希少である場合）である場合のツールです。

欠けたデータを推測したり削除したりして「修正」しようとする代わりに、OverNaN はこう言います。「欠けたデータは物語の一部である。」それは、データの穴をあるべき場所に正確に保ったまま、希少なデータの例をより多く作成します。これにより、コンピュータは偽の推測にだまされることなく、真実を学ぶことができます。

これは、「何が欠けているか」が「何が存在するか」と同じくらい重要である、小さく扱いにくいデータセットを扱う科学者やエンジニアのために設計されています。

技術的概要：OverNaN - 意味のある欠損を伴う不均衡学習のための NaN 対応オーバーサンプリング

1. 問題提起

応用機械学習、特に物理科学、工学、生物医学の分野では、欠損値は確率的ノイズではなく、破壊的測定、倫理的制限、または条件付き結果といった構造的制約に起因して生じることが多い。したがって、データの欠如はドメインに関連する情報を担い得る。しかし、標準的な機械学習パイプラインでは、欠損値は分析前にリストワイズ削除や補完によって除去すべき欠陥として扱われる傾向がある。

このアプローチは、少数クラスがすでに過小評価されている不均衡学習のシナリオにおいて特に有害である。削除は少数クラスのサンプルを不均衡に除去して不均衡を悪化させる一方、補完は不確実性を点推定に縮小し、人工的な確実性とモデル依存のバイアスを導入する。さらに、SMOTE や ADASYN といった広く採用されている合成オーバーサンプリング手法は、完全な特徴ベクトルを暗黙的に仮定しており、実務者は合成サンプルを生成する前に欠損データを補完することを強制される。このプロセスは、オーバーサンプリングが発生する前に構造的な欠損パターンを消去し、クラス境界や特徴空間の幾何学を歪める可能性がある。

2. 手法：OverNaN

OverNaNは、欠損構造を消去することなくクラス不均衡に対処するように設計された、軽量で NaN 対応のオーバーサンプリングフレームワークである。これは、一般的な合成オーバーサンプリング手法（SMOTE、ADASYN、ROSE）を不完全な特徴ベクトル上で直接動作するように拡張し、特徴空間を $\mathbb{R}^d$ ではなく $(\mathbb{R} \cup \{\text{NaN}\})^d$ として扱う。

中核設計原則

構造的完全性: 欠損値は欠陥ではなく構造的要素として扱われる。元のデータがそのようなパターンをサポートする場合、合成サンプルに NaN が含まれることは正当である。
人工的確実性の排除: 観測されていない値に対して推定値を導入せず、正当化されない仮定のエンコーディングを回避する。
明示的制御: 欠損処理の戦略は、前処理の暗黙的な副作用ではなく、明示的かつユーザー定義のものとする。

アルゴリズム的実装

OverNaN は、既存の手法の近傍定義とサンプル生成プロセスを変更する：

距離計算: サンプル $x_i$ と $x_j$ 間の距離は、共有された観測次元の集合 $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$ のみで計算される。
特徴ごとの生成: 合成サンプル $\tilde{x}$ $\tilde{x}$ は特徴ごとに生成される。 $\Omega_{ij}$ $Ω_{ij}$ 内の次元については、標準的な補間が行われる（ $\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$ $\tilde{x}_{k} = x_{ik} + λ (x_{j k} - x_{ik})$ ）。 $\Omega_{ij}$ $Ω_{ij}$ 外の次元については、値は以下の 3 つの明示的戦略のいずれかで決定される：
1. パターン保持: 親のいずれかで特徴が欠損している場合、合成サンプルは NaN を保持する。
2. 選択的補間: 両方の親が観測値を持っている場合のみ補間が行われ、そうでない場合、特徴は NaN のままとなる。
3. 確率的欠損: 欠損は、経験的なクラスごとの欠損率に従ってサンプリングされる。

計算特性

互換性: OverNaN は NumPy 配列と pandas DataFrame で動作し、コンテナタイプとメタデータを保持する。
複雑性: 近傍探索は既存のライブラリに委譲される。距離計算は観測部分空間に制限されるが、漸近的複雑性は基礎となる手法と同様である（最悪の場合、クエリあたり $O(Nd)$）。
並列性: サンプル生成は並列化しやすいが、OverNaN は NaN の伝播に伴う競合状態を避けるため、バッチレベルで並列性を慎重に適用する。
数値的安定性: IEEE 754 標準の NaN 動作に依存し、NaN をマスクするのではなく意図的に伝播させる。これは、下流の学習器（例えば、木ベースのアンサンブルなど）が NaN に耐性があることを前提としている。

3. 主要な貢献

フレームワーク開発: SMOTE、ADASYN、ROSE への NaN 対応の統合である OverNaN の導入。これにより、定義ドメインのみを変更し、中核的な幾何学的仮定は変更せずに済む。
戦略の定義: オーバーサンプリング中の欠損処理のための 3 つの異なる戦略（保持、選択的、確率的）の形式化。これにより、実務者はドメイン知識に合わせて手法を調整できる。
検証スイート: 単一少数サンプルや高 NaN 率などのエッジケースにおける機能、および XGBoost などの下流分類器との統合を実証する包括的なテストスイート。
ベンチマーク: 自然な欠損を持つ 5 つの OpenML データセットと、欠損が化学的に意味を持つグラフェン酸化物ナノフレークデータセットへの特定の適用に関する実証的評価。

4. 実験結果

合成および制御データセット

基本機能: OverNaN は補完なしでクラスを再バランスすることに成功した。デフォルトのpreserve_pattern戦略の下では、再サンプリング後の NaN 率は増加した（合成サンプルが親から欠損性を継承するため）。一方、カーネルベースの摂動を行うROSENaNは、元の率に近い率を維持した。
分類器統合: XGBoost を用いた制御タスクにおいて、3 つの OverNaN 変種すべてが、ベースラインと比較して少数クラスの再現率と F1 スコアを向上させた。SMOTENaN と ROSENaN は少数クラスにおいて完全な再現率と F1（1.000）を達成した。
比較性能: 11.9% の NaN を含む合成データセットにおいて、SMOTENaN は特徴ドロップ、インスタンスドロップ、または平均補完 followed by 標準 SMOTE を含むパイプラインと比較して、最高の ROC AUC（0.802）と最低のクロスフォールド分散を達成した。

実世界ベンチマーク（OpenML）

5 つのデータセット（labor、cylinder-bands、Titanic、soybean、car-evaluation）で評価：

ROSENaNは、5 つのデータセット全体で、一貫して最高平均バランスド精度、マクロ F1、および ROC AUC を達成した。
SMOTENaNはベースラインに対して modest な改善を提供した。
ADASYN-NaNは ROC AUC の向上を示したが、平均的には閾値付き指標がわずかに低かった。
実行時間: ROSENaN は計算効率的なまま（平均 0.7 秒）であったのに対し、ADASYN-NaN は適応的密度推定により遅かった（16.5 秒）。

適用：グラフェン酸化物ナノフレーク

ナノフレーク上のカルボキシル基を予測するタスクにおいて（欠損率 39.8%、ここで欠損は特定の結合の構造的欠如を示す）：

SMOTENaNは、「特徴ドロップ」と「補完＋SMOTE」の両方のパイプラインを上回り、バランスド精度 $0.997 \pm 0.005$ 、F1 $0.999 \pm 0.002$ を達成した。
重要なのは、SMOTENaN は欠損エントリの構造的意味（すなわち、存在しない結合に対して結合長を捏造しない）を保持しつつ、完全な特徴空間を維持したことである。一方、補完は合成値を導入し、特徴ドロップは情報豊富な記述子を破棄した。

補完対 OverNaN

OpenML のannealデータセット（64.98% の NaN 率）において、OverNaN 変種は「補完後オーバーサンプリング」パイプラインと比較して、統計的に区別できないバランスド精度とマクロ F1 スコアを生成した。これは、これらの設定において競争力のある性能のために補完が厳密な前提条件ではないことを示唆している。

5. 意義と主張

本論文は、欠損はしばしばノイズではなくシグナルであり、再サンプリング前にそれを除去すると学習プロセスが歪められる可能性があると主張している。OverNaN の意義は以下の点にある：

情報の保持: 実験的制約や物理的現実を反映する構造的欠損パターンを、「偏った推定値」でデータを「修復」するのではなく、実務者が保持することを可能にする。
明示的不確実性: 不確実性を第一級の考慮事項として扱うことを促し、合成データへの人工的確実性の導入を防ぐ。
ドメイン適用性: 欠損が避けられ、かつ情報を持つ、小規模で不完全かつ不均衡なデータセットを有する科学および工学分野を特に対象としている。

著者は明示的に、OverNaN は欠損データに対する万能解決策ではないと述べている。これは欠損メカニズムをモデル化したり、未観測値を推論したりするものではない。これは、下流の学習器が NaN をネイティブに処理でき、かつデータの構造的欠如が意味を持つ設定における代替手段として意図されている。このフレームワークは、過激な最適化や高スループット機能よりも、解釈可能性、仮定に対する制御、および再現性を優先する。