技術要約：統一的なデータレベルおよびアルゴリズムレベルのバランシングによるハイブリッド不均衡回帰

問題提起

不均衡学習は、過小代表されているターゲット値が、稀ではあるが高インパクトな現象に対するモデルの性能を低下させ、バイアスを生じさせるという、機械学習における極めて重要な課題である。偏ったクラス分布を伴う分類タスクでは広く研究されているが、不均衡回帰（連続的なターゲット空間における非一様な密度によって特徴付けられる）については、依然として未開拓の領域である。

既存の不均衡回帰へのアプローチは、通常、以下の2つのカテゴリに分類されるが、それぞれに明確な限界がある：

1. データレベルの手法： サンプルを合成（例：オーバーサンプリング経由）することで、疎な領域を豊かにする。直感的でありモデルに依存しない（モデルアグノスティックである）一方で、特に複雑な分布において、合成ノイズの導入や過学習のリスクを伴う。
2. アルゴリズムレベルの手法： データを変更することなく、希少なターゲット範囲を優先するように損失関数を調整する。原理的ではあるが、深刻な不均衡や複雑な分布には苦戦することが多く、データ拡充による補完的なメリットを欠いている。

現在の文献には、単一のニューラル回帰器の学習中に、データレベルのサンプル合成と、明示的なサンプルごとのコストセンシティブまたは再重み付け損失を密接に統合する、真のハイブリッド・アプローチが欠けている。既存のほとんどの「ハイブリッド」の試みは、アンサンブル戦略に依存しているか、あるいは非タブラー領域に限定されており、標準的な回帰タスクのためのエンドツーエンドのパイプラインとしてこれらの戦略を統一できていない。

メソドロジー

著者らは、データレベルとアルゴリズムレベルの戦略を単一のパイプラインへと相乗的に統合する、5フェーズ構成の回帰器に依存しない（regressor-agnostic）ハイブリッド・フレームワークを提案する。このフレームワークは、標準的な回帰器の前段として適用されるよう設計されている。

フェーズ 0：適応的ターゲット空間ビン分割

回帰における離散的なクラスラベルの欠如に対処するため、本フレームワークはまず、連続的なターゲット空間を統計的に一貫性のあるビンへと分割する。

• メカニズム： ローカルな $R^2$ コヒーレンス・スコアによって駆動される適応的ビン分割を採用する。候補となる区間に単純な線形回帰器を適合させ、$R^2$ スコアが閾値（$\tau$）を超え、かつビンサイズがデータ駆動型の最小値（$M$）を満たす場合に、そのビンは受理される。そうでなければ、その区間は再帰的に分割される。
• 意義： これにより、連続的な問題をクラスのような構造へと変換し、疎性の局所的な認識を可能にし、その後のバランシング操作を容易にする。最小ビンサイズ $M$ は、統計的な信頼性を確保するために、データセットサイズの一定割合と、ピーク時のカーネル密度推定（KDE）密度の逆数の組み合わせを用いて動的に計算される。

フェーズ I：表現学習

疎な領域における生の特長量は、必要な潜在構造を捉えきれないことが多い。

• メカニズム： 連続的なターゲット変数 $y$ に条件付けられた**条件付き変分オートエンコーダ（CVAE）**を学習させる。エンコーダは入力特長量 $x$ とターゲット $y$ を潜在空間 $z$ へと写像し、デコーダは $z$ と $y$ から $x$ を再構成する。
• 意義： これにより、出力分布に沿った予測パターン（疎な領域を含む）を捉える、ターゲットを考慮した潜在埋め込み（latent embeddings）が生成される。CVAEの確率的な性質は、不確実性を考慮した表現をも容易にする。

フェーズ II：データレベルのバランシング

このフェーズでは、多段階戦略を通じて、ターゲットおよび特長量空間の両方におけるサンプル不足に対処する。

• ステップ 1（クラスタリング）： フェーズ 0 で定義された各適応的ビン内で、潜在表現に対してDBSCANを適用し、疎なマイノリティ・クラスターを特定する。
• ステップ 2（オーバーサンプリング）： 局所的なSMOGN（ガウスノイズを用いた回帰のための合成マイノリティ・オーバーサンプリング技術）を、これらのマイノリティ・クラスターに適用する。グローバルなオーバーサンプリングとは異なり、これは特定のクラスターの文脈における希少なターゲット値を優先するために、クラスター固有の関連性関数 $\phi_C(y)$ によってガイドされる。
• 出力： 拡張されたデータセット（オリジナル + 合成）に対して浅いMLPを学習させ、オリジナルサンプルの隠れ活性化（$h_{data}$）を抽出する。これにより、元のインスタンスとの正確な対応関係を維持しながら、合成された隣接サンプルの幾何学的構造から特長量の恩恵を受けることが保証される。

フェーズ III：アルゴリズムレベルのバランシング

このフェーズでは、さらなるデータの変更を行うことなく、過小代表されている領域を強調するように学習目的を適応させる。

• メカニズム： 新たな**潜在密度重み付き損失（LDWL）**を導入する。この損失関数は、2つの空間における結合的な希少性に基づいてサンプルに重みを付ける：
  1. 潜在空間 ($Z$)： CVAEの潜在表現に対するKDEを通じて推定された密度。
  2. ターゲット空間 ($Y$)： フェーズ 0 で定義された適応的ビン内での、ビン条件付きのKDEを通じて推定された密度。
• 数式： サンプルの重み $w_i$ は、その潜在密度とビン条件付きターゲット密度の積に反比例する。また、外れ値への過学習を防ぐために、過度に大きな重みにペナルティを与える正則化項を設ける。
• 出力： LDWLを用いてMLPを学習させ、オリジナルサンプルの隠れ活性化（$h_{alg}$）を抽出する。

フェーズ IV：最終融合

最終フェーズでは、データレベルとアルゴリズムレベルの表現の相補的な強みを統合する。

• メカニズム： アテンションベースのゲート型融合メカニズムが、$h_{data}$ と $h_{alg}$ を結合する。ゲーティング・ネットワークは、2つの特長量ストリームをブレンドするためのインスタンス固有の重み（$\alpha_i$）を動的に学習する：$\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$。
• 意義： これにより、モデルは各サンプルにとって最も情報量の多い特長量を適応的に優先させることができ、あらゆるダウンストリーム回帰器に即座に統合可能な、堅牢で強化された表現を生成する。

主な貢献

1. 統一されたハイブリッド・フレームワーク： 不均衡回帰における、データレベルのサンプル合成（局所的SMOGN経由）と、明示的なサンプルごとのコストセンシティブな再重み付け（LDWL経由）を緊密に統合する、最初のエンドツーエンドのパイプライン。
2. 適応的ビン分割： 連続的なターゲット空間を動的にセグメント化し、クラスのような構造を模倣することで、効果的な不均衡処理を可能にする、ローカルな $R^2$ コヒーレンスを用いた新しい前処理ステップ。
3. 潜在密度重み付き損失（LDWL）： （CVAEを通じて学習された）潜在特長空間と（適応的ビン内の）ターゲット空間の両方における密度を共同で考慮することで、希少なサンプルを優先する新しい損失関数。
4. 多段階データバランシング： 特長量空間のクラスタリング（DBSCAN）と局所的なオーバーサンプリングを組み合わせ、合成バイアスを最小限に抑えつつ、疎な領域を豊かにする戦略。
5. 回帰器に依存しない設計： 本フレームワークは、標準的な回帰アルゴリズム（線形、決定木、ニューラルネットワークなど）にシームレスに統合可能な、融合された特長ベクトルを出力する。

実験結果

本フレームワークは、16個のベンチマーク回帰データセット（例：California Housing, Wine Quality, Abalone）を用い、6種類の異なる回帰器（MLP, XGBoost, 線形回帰, KNN, SVR, Ridge）に対して評価された。

• パフォーマンス： ハイブリッド・パイプラインは、スタンドアロンのデータレベル手法およびアルゴリズムレベル手法、ならびに不均衡処理を行わない標準的なベースライン回帰器を一貫して上回った。
• 指標： RMSE（平方根平均二乗誤差）、MAE（平均絶対誤差）、および $R^2$（決定係数）において改善が見られた。例えば、airfoild データセットにおいて、ハイブリッド・アプローチはスタンドアロンの回帰器と比較して $R^2$ が 568.71% 向上した。
• 歪度との相関： 分析により、ターゲット変数の絶対歪度とハイブリッド・パイプラインの性能向上との間に、有意な正の相関があることが明らかになった。本フレームワークは、ターゲットの歪度が高いシナリオにおいて最も効果的である。
• 限界： 本フレームワークはデータ量への依存性を示す。サンプル数が約1,000未満のデータセットでは、適応的ビン分割およびCVAEフェーズにおける過学習や、密度推定の不安定性により、スタンドアロンの回帰器を下回ることがあった。

意義と主張

本論文は、提案されたハイブリッド・フレームワークが、データレベルまたはアルゴリズムレベルの介入に限定されないことで、不均衡回帰の文献における決定的なギャップを埋めるものであると主張している。これらの戦略を統一することにより、本フレームワークは、希少だが極めて重要なターゲット値を予測するための、より包括的なソリューションを提供する。

著者らは、自身のアプローチが以下の特性を持つと断言している：

• データ拡張による多様性のメリットと、コストセンシティブ学習による原理的な最適化を相乗的に組み合わせる。
• 単純なオーバーサンプリングによるノイズのリスクや、標準的な損失関数による分布への盲目さを回避しつつ、疎な領域における汎化性能を高める。
• 大規模な不均衡回帰タスクにも効果的にスケールし、ターゲットの歪度の度合いがフレームワークの有効性の信頼できるプロキシ（代理指標）であることを示している。

本研究は、本フレームワークがその5フェーズ構成のアーキテクチャを安定させるために十分なデータ量を必要とする一方で、極端な天候予測、異常検知、あるいは医療や金融リスク予測といった、稀な事象が極めて重要となる実世界のアプリケーションに対して、堅牢でスケーラブル、かつ回帰器に依存しない強化策を提供すると結論付けている。