Dynamic ensemble approach for multi-class classification based on neighborhood rough sets and sequential three-way decisions

技術要約：近傍ラフ集合および逐次型三値決定に基づく多クラス分類のための動的アンサンブル・アプローチ (EM-S3WD)

1. 問題提起
本論文は、Xuら[19]によって提案された二値の逐次型三値決定（S3WD）分類器を多クラス分類タスクへ拡張する際に生じる、以下の2つの具体的な制限事項に対処している。

• 静的な参照表現： 元のモデルは、参照タプルを生成するために古典的ラフ集合（CRS）に依存している。CRSは厳密な同値関係に依存するため、これらの参照タプルは学習セットが定義されると固定されてしまう。この硬直性は、参照表現が検証性能に基づいて調整できないため、連続値データや変動するデータ分布への適応性を制限する。
• 多クラス拡張における信頼度の競合： 二値分類器を多クラス問題へと自然に拡張する手法として「One-Versus-All (OVA)」分解戦略がある。しかし、S3WD分類器にOVAを適用すると、「信頼度の競合」が発生することがある。これは、複数の二値分類器が同一の最大信頼度スコアを同一のテストサンプルに対して割り当ててしまう現象である。標準的なタイブレーク（同点決勝）手法（例：ランダム選択や固定重み付け）は、決定の安定性を低下させたり、サンプル固有のエビデンスを無視したりすることがある。

2. 手法：EM-S3WDフレームワーク
著者らは、近傍ラフ集合（NRS）、OVA分解、および条件付き動的統合戦略を統合した動的アンサンブルフレームワークであるEM-S3WDを提案している。本手法は主に3つの段階で進行する。

• NRSに基づく適応的参照タプル構築：
  CRSの代わりに、本フレームワークでは参照タプルを構築するために近傍ラフ集合（NRS）を採用する。NRSにおいて、下近似は近傍半径（$\delta$）に依存するため、参照タプルは連続値データにおける局所的なデータ構造に適応することができる。

  • 検証ガイドによる選択： 近傍半径（$\delta$）と類似度閾値（$\sigma$）は手動で固定されるのではない。検証セットに対してグリッドサーチを行い、検証精度を最大化する最適なペア $(\delta^*, \sigma^*)$ を共同で選択する。その後、この最適な $\delta^*$ に基づいて参照タプルが生成される。

• OVAに基づく多クラス拡張：
  本フレームワークは、$m$ クラスの問題に対して $m$ 個の二値NRSベースS3WD分類器を構築する。各分類器は、ある一つのクラスを他のすべてのクラスから区別する。

  • 有限値の信頼度： 理論的分析（命題2）によれば、これらの分類器によって生成される信頼度スコアは、一致する属性の数と決定レベルによって決定される有限集合に属する。この構造的特性が、異なる分類器が頻繁に同一の最大スコアを生成し、信頼度の競合を引き起こす理由を説明している。

• 競合解決のための条件付き動的統合：
  本フレームワークは、主要な決定メカニズムを置き換えることなく、信頼度の競合を処理するための条件付き戦略を導入している。

  • 非競合ケース： OVAベースの分類器が唯一の最大信頼度スコアを生成する場合、元の決定が保持される。
  • 競合ケース： 2つ以上のクラスが最大信頼度スコアを共有する場合、補助分類器（具体的にはSVMおよびナイーブベイズ）が呼び出される。
  • 重み付けメカニズム： 最終的な決定は、メインのS3WD分類器と補助分類器の出力を動的に重み付けすることによって行われる。重みは以下の要素によって決定される：
    1. 補助分類器の検証精度。
    2. 競合しているクラスにおける、メインのS3WD出力と補助出力の間のカルバック・ライブラー（KL）ダイバージェンス。
  • これにより、補助的なエビデンスは必要に応じてのみ使用され、かつメインモデルとの一貫性と自身の信頼性に基づいて重み付けされる。

3. 主な貢献
本論文は、4つの主要な貢献を概説している。

1. 適応的参照構築： 参照タプルが近傍粒度に依存するNRSベースのメカニズムの開発。検証ガイドの手順を導入することで、近傍半径と類似度閾値を共同で選択し、データ分布への適応性を高めている。
2. 競合の構造的分析： OVAベースのS3WD拡張における信頼度の競合が、信頼度スコアの有限値的な性質（一致属性数と決定レベルによって決定される）から自然に生じることを示す理論的分析。
3. 条件付き動的統合： 競合が発生したサンプルに対してのみ補助分類器を起動することで、信頼度の競合を解決する新しい戦略。この統合は、KLダイバージェンスと検証性能に基づいて補助出力を動的に重み付けし、非競合サンプルについては元のS3WDの決定を保持する。
4. 包括的な評価： 有限ステップでの終了と決定保持に関する理論的証明に加え、パラメータ感度、ノイズ耐性、および全体的な性能を評価するために、9つのベンチマークデータセットを用いた広範な実験を実施。

4. 実験結果
実験はMATLABを用い、9つのUCIベンチマークデータセット（Iris, Seeds, DryBean, PageBlocksなど）に対して行われた。

• パラメータ感度： 本研究は、近傍半径（$\delta$）と類似度閾値（$\sigma$）の両方が非常に敏感なパラメータであることを確認している。最適な値はデータセット間で大きく異なり、検証ガイドによる選択プロセスの必要性を裏付けている。
• 競合解決： 信頼度の競合が発生したサンプルに特化して評価した場合、EM-S3WDは、ランダムなタイブレーク（SM-S3WD）や固定重み統合（MM-S3WD）と比較して、8つのデータセットにおいて最高の平均精度を達成した。
• ノイズ耐性： 適応的参照タプル構築は、いくつかのデータセット（特にIris, Seeds, Dermatology, Abalone）において、固定参照タプル手法と比較してガウスノイズに対する耐性が向上していることを示した。
• 全体的な性能： 6つの代表的な分類器（Random Forest, AdaBoost, KNN, 3WD-NRSを含む）との比較において、EM-S3WDは競争力のある結果を示した。DryBeanデータセットにおいては、すべての指標において競合を上回り、Balance-scaleおよびAbaloneにおいてはAccuracyとKappaにおいてトップとなった。
• 統計的有意性： EM-S3WDは強力な性能を示したが、FriedmanテストおよびHolm調整済みWilcoxonテストの結果、最強のベースラインとは統計的に同等であり、すべてのデータセットおよび指標において個々の競合モデルに対して統計的に有意な優位性を示すわけではないことが示された。

5. 意義と主張
本論文は、EM-S3WDを、Xuらによる二値S3WD分類器のターゲットを絞ったモデルレベルの拡張として位置づけている。その主な意義は以下の通りである：

• 適応性： 静的なCRSベースの参照タプルから、検証ガイドによるパラメータ選択を通じてデータ分布に応答する適応的なNRSベースのタプルへと移行したこと。
• 明示的な競合処理： 多クラスS3WDシナリオにおいて、恣意的なタイブレークに頼るのではなく、サンプル依存の構造化されたメカニズムを提供して信頼度の競合を解決すること。
• 解釈可能性： 多クラス問題への拡張を行いながら、S3WDフレームワークの解釈可能性を維持していること。

著者らは、本フレームワークの貢献は、その適応的な参照表現と明示的な競合認識型の決定メカニズムにあると控えめに主張している。彼らは、本手法が競争力はあるものの、あらゆるシナリオにおいて既存のすべてのアンサンブルまたはラフセットベースの分類器を普遍的に凌駕するわけではないことを認めている。計算コストについては、近傍計算とパラメータ探索による制限として指摘されており、効率的な探索メカニズムや代替となる補助モデルの選択に関する今後の課題を示唆している。