🤖 machine learning

Counterfactual Residual Data Augmentation for Regression

本論文は、微小な特徴量の摂動下における残差の不変性を利用することで現実的な訓練サンプルを生成し、それによってデータが不足している状況やノイズの多い設定において平均二乗誤差を大幅に減少させる、表形式回帰のためのモデルに依存しない手法であるCounterfactual Residual Data Augmentation (CRDA) を提案する。

原著者： Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに住宅価格を予測する方法を教えようとしていると想像してください。手元にあるのは、写真と値札（データ）の小さな束だけです。ロボットは写真を見て、「立地の良い場所にある大きな家は、より高い価格になる」ということを学習し、推測を始めます。しかし、時としてロボットは間違えます。例えば、特定の買い手が非常に急いで購入していたことや、売り手が切羽詰まっていたことを、ロボットは知らなかったのかもしれません。これらの「間違い」や「驚き」は、**残差（residuals）**と呼ばれます。

通常、データが乏しい場合、ロボットは手元にある数少ない例を単に暗記してしまい、これは良くありません。従来の解決策（画像編集などで行われるもの）では、画像を反転させたり色を変えたりしますが、住宅価格や医療統計のような数値にはうまく機能しません。

この論文では、CRDA（Counterfactual Residual Data Augmentation：反事実的残差データ拡張）と呼ばれる新しいテクニックを紹介しています。その仕組みを、簡単な比喩を用いて説明します。

1. 「系統的な部分」対「ノイズ」

ロボットの予測を、2つのパーツからなるレシピだと考えてください。

系統的な部分（The Systematic Part）： 予測可能な要素。「もし家が2,000平方フィートなら、価格はXドルである」といったものです。ロボットはこれをよく学習します。
残差（ノイズ）（The Residual/Noise）： 予測不可能な要素。「ところが待てよ、この特定の家は、買い手が感情的になったために、価格がXドル＋ 5,000ドルになったのだ」といったものです。

論文の核心となるアイデアは、「感情的な買い手」の部分（ノイズ）は、他の詳細を変更したとしても、そのまま維持されるということです。

2. 「もしも」ゲーム（反事実的思考）

ガレージと庭がある家を想像してください。

ロボットは、ガレージが大きければ通常は価格が高くなることを知っています（系統的）。
また、ロボットはこの特定の家が「入札合戦」によって奇妙な価格上昇を見せたことも知っています（残差）。

CRDAはこう問いかけます： 「もしこの家のガレージの仕上げが違っていたとしても、同じ『入札合戦』が起きていたとしたらどうなるだろうか？」

論文では、ガレージの仕上げを変えることは基本価格を変化させるが、「入札合戦が起きた」という事実は変えないと主張しています。「入札合戦（残差）」は、ガレージとは独立しているのです。

3. CRDAによる新しいデータの作成方法

CRDAは、単に新しい数字を推測するのではなく、次のように行います。

ベースとなるロボットを訓練する： 元のデータを使って訓練します。
「安全な」特徴量を見つける： 探偵（アルゴリズム）を使用して、どの特徴量（例：ガレージの仕上げ）が、「入札合戦（残差）」を壊すことなく変更可能かを突き止めます。入札合戦そのものに関連する特徴量（例：買い手の緊急性）は変更を避けます。
「もしも」のシナリオを作成する： 実在する家を取り出し、「安全な」特徴量（例：ガレージの仕上げ）を変更し、新しい基本価格を計算した後、元の家から得られた全く同じ「入札合戦」のノイズを足し戻します。
結果： これにより、ロボットがこれまで見たことのない、しかし現実のルールに従った、新しくリアルに見える家の例が作成されます。

4. なぜこれが他の手法よりも優れているのか

従来の手法（データの混合など）： ニューヨークの家とテキサスの家を混ぜ合わせて、「ニュー・テックス」の家を作るようなものです。そんな家は存在せず、ロボットを混乱させます。
生成AI（ディープラーニング）： ロボットがゼロから家を発明しようとするイメージです。見た目は本物に見えても、元のデータの特定の「ノイズ」を忘れてしまい、価格が理にかなわない家を作ってしまう可能性があります。
CRDA： 実在する家の塗装の色を塗り替えるようなものでありつつ、なぜその価格で売れたのかというストーリー（理由）は正確に保持します。これにより、元のパターンに対して忠実なデータを作成できます。

5. セーフティネット

この論文は、このテクニックがうまく機能するためには、ロボットがまず「系統的な部分」を理解できるほど賢くなければならないという点を認めています。もしロボットが愚かすぎると、計算された「ノイズ」はただのゴミになってしまい、特徴量を変えても役に立ちません。

そのため、CRDAにはセーフティチェックが含まれています。

新しいデータをテストで使用します。
もし新しいデータによってロボットが賢くなったなら、それを採用します。
もし新しいデータがロボットを混乱させるなら、それを捨てて元のデータを使用します。

結果

著者らは、9つの実世界のデータセット（住宅価格、ワインの品質、エネルギー効率の予測など）でテストを行いました。

ニューラルネットワーク（MLP）の場合： エラーを平均で約**23%**削減しました。
決定木モデル（XGBoost）の場合： エラーを平均で約**6%**削減しました。
多くの高度なデータ作成手法が、かえって状況を悪化させた一方で、CRDAは一貫してそれらを上回る結果を出しました。

要約すると： CRDAは、特定の詳細について「もし〜だったら？」と問いかけることで、データセットを拡張する方法です。その際、物語の「予測不可能な部分」は正確に同じ状態に保たれます。これは、嘘をつくことなく、ロボットにさらなる練習を与えるための、シンプルで安全な方法なのです。

技術要約：回帰のための反事実的残差データ拡張（CRDA）

問題提起

医療、金融、製造などの領域における現実世界の回帰タスクは、データの希少性、データ収集コストの高騰、および観測ノイズの問題に頻繁に直面している。データ拡張はコンピュータビジョンや自然言語処理において成功の礎となっているが、既存の手法（例：幾何学的変換、Mixup）は、表形式データ（tabular data）の回帰には自然に適用できないラベル保存型の対称性やドメイン固有の不変性に依存していることが多い。その結果、訓練例が限られている場合、教師あり学習モデルは基礎となるプロセスを捉えることができず、過学習や汎化性能の低下を招く。

手法：反事実的残差データ拡張（CRDA）

著者らは、残差ノイズの不変性を利用することで、表形式回帰のための新しい、現実的な訓練サンプルを合成するために設計された、モデルに依存しないフレームワークである**反事実的残差データ拡張（Counterfactual Residual Data Augmentation: CRDA）**を提案する。

コア・インサイト

本手法は、回帰器がデータの系統的な成分をモデル化した後、残るノイズ（残差）は、注意深く選択された特徴量の微小な摂動に対して不変な成分と見なせるという観察に基づいている。CRDAは、この残差を保持しながら特定の特徴量を変更することで、追加の現実世界のデータを必要とすることなく、基礎となるデータ分布に従う反事実的なサンプルを生成する。

理論的基盤

CRDAは、以下の**加法ノイズ構造的因果モデル（Additive-Noise Structural Causal Model: SCM）**の仮定の下で動作する：
$Y = g(X_P, X_R) + Z$
ここで：

$Y$ はターゲット変数である。
$g(X_P, X_R)$ は系統的成分（条件付き期待値）である。
$Z$ は構造的ノイズ（残差）である。
$X_P$ は**摂動可能な特徴量（perturbable features）を表し、 $X_R$ は固定された特徴量（fixed features）**を表す。

本手法は、**仮定 3.1（残差不変性）**に依拠している：残差 $Z$ は、固定された特徴量 $X_R$ が与えられたとき、摂動可能な特徴量 $X_P$ と条件付き独立である（ $P(Z | X_P, X_R) = P(Z | X_R)$ ）。これは、 $X_P$ を摂動させると系統的な予測は変化するが、インスタンス固有のノイズは変化しないことを意味する。

アルゴリズムのワークフロー

CRDAのパイプライン（アルゴリズム1）は以下の手順で進行する：

ベースライン訓練: 元のデータセット $D_{train}$ に対してベース回帰器 $\hat{g}$ （例：MLPまたはXGBoost）を訓練する。
残差計算: 経験的な残差を計算する： $\hat{z}_i = y_i - \hat{g}(x_i)$ 。
特徴量選択（独立性フィルタリング）: 仮定 3.1を満たすために、残差 $\hat{Z}$ $\hat{Z}$ と独立である可能性が高い特徴量のサブセット $X_P$ $X_{P}$ を特定する。これは以下を通じて行われる：
- PCアルゴリズム: 残差 $\hat{Z}$ への直接のエッジを持つ特徴量を除去するための因果グラフチェック。
- 相関チェック: $\hat{Z}$ と強く相関する特徴量の除去。
  残りの特徴量が $X_P$ を形成し、それ以外が $X_R$ を形成する。
反事実的生成: 各訓練サンプルに対して、 $M$ $M$ 個の合成サンプルを生成する：
- 一様スケーリング因子を用いて $X_P$ を摂動させる： $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$ 、ここで $\delta \sim \text{Unif}[-p, p]$ 。
- $X_R$ を固定する。
- 元の残差を保持することで、反事実的なラベルを計算する： $y'_i = \hat{g}(x'_i) + \hat{z}_i$ 。
安全性検証: 最終的な再訓練の前に、K-分割交差検証を通じて、拡張データで訓練されたモデルとベースラインモデルの性能をウィルコクソン符号付順位検定で比較する。p値が統計的に有意な改善を示さない場合、拡張は拒否され、ベースラインが保持される。
最終再訓練: 検証を通過した場合、元のデータと拡張データの結合に対して最終的なモデルを訓練する。

主な貢献

新しいデータ拡張フレームワーク: ドメイン固有のヒューリスティックを必要とせず、反事実的推論と残差不変性に焦点を当てた、表形式回帰のためのモデルに依存しない戦略。
残差不変性の原理: 特定の特徴量がどのようにノイズ構造を損なうことなく摂動可能であるかを定式化し、特徴量分割のための理論的根拠を提供する。
実証的検証: 合成ベンチマークおよび現実世界のデータセット（UCI、PMLB、Kaggle）を用いた包括的な評価により、ニューラルネットワーク（MLP）およびアンサンブルモデル（XGBoost）の両方において一貫した改善を実証した。

実験結果

著者らは、変動するサンプルサイズを持つ9つのベンチマークデータセットにおいて、CRDAを以下と比較して評価した：

ベースライン: 拡張なし。
競合手法: 最先端の回帰拡張（C-Mixup、ADA）および深層生成モデル（CTGAN、TVAE、TabDDPM）。

主な知見:

性能向上: 平均して、CRDAはすべてのデータセットにおいて、MLP回帰器で平均22.9%、XGBoost回帰器で**6.4%**のMSE（平均二乗誤差）を減少させた。
堅牢性: 一部のケースでMSEを100%以上増加させるような幾何学的メソッド（例：ADA、C-Mixup）や、性能を低下させることが多い深層生成モデルとは異なり、CRDAは大幅な劣化を起こすことなく、一貫して性能を改善または維持した。
サンプルサイズへの依存性: 本手法は、ベースモデルが主要な信号を学習しているが、局所的な特徴空間の探索から依然として恩恵を受ける「スイートスポット」（例：MLPの場合、2.5k–20k）において最も効果的である。非常に小さなデータセットでは、ベースモデルが意味のある残差を生成するには不正確すぎ、非常に大きなデータセットでは、ベースラインが既に最適である。
安全性メカニメント: ウィルコクソン・セーフティゲートは、拡張が役に立たない場合（例：弱い線形回帰ベースラインを使用する場合）に拡張を阻止し、手法が性能を低下させないことを保証した。

重要性と主張

本論文は、CRDAを、ノイズの多い小規模サンプル設定に対するシンプルかつ効率的な解決策として位置づけている。その重要性は以下の点にある：

実用性: ドメイン固有の知識や複雑な生成モデリングを必要とせず、様々な回帰器に容易に適用できる。
理論的根拠: 拡張を因果的な反事実と残差不変性の観点から枠組み化することで、ヒューリスティックな補間法に代わる原理的な選択肢を提供している。
信頼性: 内蔵された安全性検証により、拡張の仮定（残差独立性）が違反されている場合やベースモデルが不十分な場合に、手法が性能を低下させないよう「ガードレール」として機能することを保証している。

著者らは、CRDAが追加の現実データを必要とせずにデータセットを拡張する堅牢なアプローチを提供し、効果的に分散を減少させ、データが乏しい状況におけるモデルの適合を改善すると結論付けている。今後の課題として、これらの原理を分類タスクへ拡張することや、より堅牢な因果発見アルゴリズムによる特徴量分割の探索が示唆されている。