A Leakage-Free Stacked Ensemble Method for Multiclass Classification

想像してみてください。あなたは、写真を見るだけで異なる種類の動物を識別する方法をコンピュータに教えようとしています。これは、機械学習の世界における古典的なパズルである「マルチクラス分類」と呼ばれるものです。それは、単に「赤」と「青」に分けるだけでなく、「赤」、「青」、「緑」、「黄色」、「紫」など、一度にたくさんの色にマーブル（玉）を仕分けさせるようなものです。問題は、いくつかのマーブルが非常に似通っていたり、赤いマーブルの山は膨大にあるのに、緑のマーブルはごくわずかだったりすることです。

これを解決するために、科学者たちはしばしば「アンサンブル学習」を用います。これは、「一人の人に聞くのではなく、専門家による委員会に尋ねる」という、もっともらしい言い方をした手法です。例えば、ある審判は滑らかで流れるような形状（画家のよう）を見分けるのが得意で、別の審判は厳格なステップバイステップのルール（探偵のよう）に従うのが得意だとします。彼らに投票させれば、一人に聞くよりも優れた答えが得られるのが普通です。しかし、これらの委員会が形成される際によく陥る、巧妙な罠があります。もし審判たちが、訓練中に答えの鍵を覗き見ることが許されたら、彼らはパターンを実際に学習するのではなく、答えを丸暗記し始めてしまうかもしれません。これは「データリーク（データの漏洩）」と呼ばれ、コンピュータが教室では非常に賢く見えるものの、実世界ではひどい結果をもたらす原因となります。

この論文は、その委員会を構築するための新しい方法であるLFS-FRAMEを紹介しています。著者であるS. P. Sharmila氏とAruna Tiwari氏は、二つの全く異なるタイプの「コンピュータの脳」を組み合わせたシステムを作り上げました。一つは、複雑な曲線を得意とする、滑らかで流れるようなアーティストのようなコルモゴロフ・アーノルド・ネットワーク（KAN）に基づいたもの、もう一つは、鋭く明確な決定を下すのが得意な、ルールに従う探偵のようなXGBoostに基づいたものです。彼らの手法の素晴らしさは、単にこれら二つを混ぜ合わせるだけでなく、それらをどのように訓練するかという点にあります。彼らは厳格な「アウト・オブ・フォルド（Out-of-fold）」戦略を使用しています。これは、審判たちが一度も見たことがない問題に対して練習を行うようにすることで、彼らが「カンニング」できないようにする仕組みです。これにより、最終的な「ヘッド審判（メタ分類器）」が彼らの投票を統合するとき、それが誠実で偏りのない意見に基づいていることが保証されます。

研究者たちは、コンピュータのメモリ内に隠された16種類の異なるカテゴリのマルウェア（コンピュータウイルス）を含む、非常に困難なデータセットを用いてこの新システムをテストしました。その結果、彼らの「リークフリー」なチームは、従来のメソッドよりもこれらのトリッキーなカテゴリを分類することにおいて大幅に優れていることが判明しました。古い技術はカテゴリ数が増えると精度が低下して苦戦しましたが、LFS-FRAMEは力強く踏みとどまりました。16クラスのテストにおいて、彼らの手法は**81.74%の精度を達成し、より広い4クラスのグループを見たときには89.85%**に達しました。これは、学習プロセスを誠実に行い、滑らかな学習とルールベースの学習を組み合わせることで、より信頼性の高いデータを分類できるコンピュータを構築できることを示唆しています。

問題点：カンニングをする委員会

この論文がなぜ重要なのかを理解するために、それが解決しようとしている問題を見てみましょう。「スタッキング」は、いくつかの異なるモデルからの予測を取り出し、最終的な決定を下すために最終的なモデルに投入する、人気のある手法です。これは、サッカーチームにおいて、ストライカー、ディフェンダー、ゴールキーパーがいるようなものです。あなたは彼らに「誰をチームに選ぶべきか？」と尋ね、コーチ（メタ学習器）が彼らの回答に基づいて最終的な判断を下します。

問題は、プレイヤーたちが自分たちの練習中に答えた答えを使って、コーチが訓練されたときに発生します。もしプレイヤーたちが、コーチがテストしているのと全く同じ問題を使って練習していたら、彼らは答えを丸暗記してしまうかもしれません。これが「データリーク」です。コーチは、チームが練習テストで100%を取ったので天才的なチームだと思い込みますが、新しい問題に直面する実際の試合では、彼らは無残に失敗します。

著者らは、既存のスタッキング手法の多くがこの問題に苦しんでいると主張しています。ベースとなるモデルが、予測すべきデータそのものを見ることができる状態になっているため、スコアが膨れ上がり、誤った安心感を与えてしまうのです。これは、選択肢が多い「マルチクラス」の問題において特に危険です。もしシステムがカンニングをしているなら、4種類のマルウェアを見つけることは得意に見えても、16種類を区別することを求められた瞬間に崩壊してしまうかもしれません。

解決策：「覗き見禁止」のルール

論文はLFS-FRAME（Leakage-Free Stacked Framework）を提案しています。核心となるアイデアはシンプルですが強力です。**「どのモデルも、自分が予測する対象のデータを見てはならない」**ということです。

彼らはこれをアウト・オブ・フォルド（OOF）訓練と呼ばれるテクニックを用いて実現しています。想像してみてください。あなたはトランプの束（あなたのデータ）を持っており、それを5つの山（フォールド）に分割します。

1. 4つの山を使ってモデルを訓練します。
2. 5番目の山は箱の中に隠しておきます。
3. モデルに、その隠された5番目の山のカードを予測させます。彼らはこれらのカードを事前に見ていないため、その予測は誠実なものです。
4. このプロセスを、隠される山を交代させながら、すべてのカードが「来ることを知らなかったモデル」によって予測されるまで繰り返します。

これらの「誠実な」予測が、最終的な「ヘッド審判（メタ分類器）」を訓練するために使用されます。ヘッド審判は、特定のデータポイントを一度も見ることがなかったモデルによって行われた予測に基づいて訓練されているため、データリークは発生しません。これにより、システムは丸暗記した答えに頼ることなく、メンバーの強みを組み合わせる方法を学びます。

チーム：アーティストと探偵

著者らは単に訓練方法を修正しただけでなく、協力して働くための非常に具体的なモデルのチームを選びました。彼らは、異なる問題には異なる種類の思考が必要であることに気づきました。

• アーティスト (KAN): 彼らは**コルモゴロフ・アーノルド・ネットワーク（KAN）**を使用しました。KANを、滑らかで流れるような関係性を理解するのが非常に得意なアーティストだと考えてください。彼らは、変数が連続的な曲線の中でどのように共に変化するかを見ることができます。彼らは「全体像」や複雑な非線形パターンを捉えることに長けています。しかし、急激な変化や非常に具体的なルールには苦戦することがあります。
• 探偵 (XGBoost): 彼らは、決定木に基づいた強力なツールであるXGBoostを使用しました。XGBoostを、厳格なチェックリストに従う探偵だと考えてください。「もしドアが開いていたら、窓をチェックせよ。もし窓が割れていたら、警察を呼べ」。これは、鋭く明確な決定を下し、特定のルールに基づいたパターンを扱うことに優れています。

アーティストと探偵を組み合わせることで、システムは両方の良いところ取りをすることができます。KANはデータの滑らかで複雑な曲線を扱い、XGBoostは鋭く明確な境界線を扱います。「ヘッド審判」は、最善の最終判断を下すために、アーティストの直感と探偵のルールをどのように重み付けすべきかを学びます。

結果：効果の証明

著者らは、コンピュータ攻撃からのメモリデータを含むCIC-MalMem-2022というデータセットを用いて、新しいシステムをテストしました。彼らは、4クラス（広範なカテゴリ）と16クラス（非常に具体的なサブカテゴリ）の2つのバージョンのテストを作成しました。

彼らは、LFS-FRAMEを、以前使用されていた以下のような他の手法と比較しました：

• HyStack Ensemble: 以前のスタッキング手法。
• Hybrid CNN-BiLSTM: ディープラーニングのアプローチ。
• SMOTE-DNN: データのバランスを取ろうとする手法。
• ハイパーパラメータチューニングを施したランダムフォレスト: 古典的なルールベースのアプローチ。

結果は以下の通りです：

• 4クラス・テストにおいて: 新しい手法は**89.85%**の精度を達成しました。これはランダムフォレストの手法（89.07%）よりもわずかに良く、ディープラーニングの手法よりも大幅に優れていました。
• 16クラス・テスト（難関）において: ここで他の手法が崩れ始めました。カテゴリ数が増えるにつれて、他の手法の精度は急激に低下しました。
  • HyStackの手法は、4クラスでの**85.04%から、16クラスでは70.29%**へと落ち込みました。
  • ランダムフォレストは、**89.07%から68.2%**へと低下しました。
  • ディープラーニングの手法も苦戦し、**60-70%**の範囲に落ち込みました。
  • しかし、LFS-FRAMEは持ちこたえました。16クラスのテストにおいて、**81.74%**の精度を達成したのです。

著者らは、彼らの手法が成功した理由は二つあると示唆しています。第一に、データリークを防ぐことで、システムが答えを丸暗記するのではなく、実際にパターンを学習するようにしたことです。第二に、KANの滑らかな学習とXGBoostのルールベースの強さを組み合わせることで、16ものカテゴリがある複雑さに対しても混乱せずに対応できるシステムを作り上げたことです。

なぜ重要なのか

この論文は、このアプローチが複雑な分類問題に対してより信頼性の高い方法を提供することを結論づけています。現実の世界、特にマルウェアが絶えず変化しているサイバーセキュリティのような分野では、ラボでは賢く見えるが現場では失敗するというシステムは許されません。 「リークフリー」の戦略を用いることで、著者らは、モデルがどれほど上手く機能するかについて、より正直な見積もりを与えるフレームワークを提供しています。

この手法は、データリークを防ぐために（異なるサブセットでモデルを何度も訓練する必要があるため）追加のステップが必要となり、計算コストがかかることがありますが、著者らはそのコストは価値があると主張しています。それは、他の手法を悩ませている「過度に楽観的な」結果を防ぎ、堅牢で汎用性が高く、実世界への準備ができているシステムへと導くからです。この研究は、困難なマルチクラス問題に対しては、異なる学習スタイルを組み合わせ、厳格に誠実な訓練環境で行うことが、勝利への戦略であることを示唆しています。