An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

あなたは、ロボットに混雑した動物園でさまざまな動物を識別する方法を教えようとしていると想像してください。ライオンの写真を見せて「これはライオンです」と言い、次にトラの写真を見せて「これはトラです」と言うことはできます。しかし、もしロボットが一度に何千もの動物を、しかも見た目が非常に似ていたり、画像がぼやけていたり、変な角度から撮影されていたりする中で仕分けなければならないとしたらどうでしょう？これが、機械学習、特に**分類（classification）**と呼ばれる分野の世界です。コンピュータがデータをグループに分類する方法を学ぶプロセスです。

これを行うために、コンピュータはしばしば**サポートベクターマシン（SVM）と呼ばれる巧妙なツールを使用します。SVMを、異なるグループを分けるために空中に目に見えない線を引く、非常に賢い審判だと考えてみてください。もし動物たちが乱雑な山の中に混ざり合っていたら、審判はライオンとトラを分けるための、最も広く明確な経路を見つけようとします。通常、審判はデータを観察するために単一の「レンズ」またはカーネル（kernel）**を使用します。あるレンズは形を見るのに優れ、別のレンズは色を見るのに優れているかもしれませんが、両方を完璧に見るのは稀です。データが複雑な場合（例えば、縞模様や斑点、毛皮などが入り混じった動物がいる動物園のような場合）、単一のレンズでは細部を見逃してしまう可能性があります。

ここで、**マルチカーネル学習（Multiple Kernel Learning: MKL）**が登場します。MKLは、単一のレンズに頼るのではなく、コンピュータにさまざまなレンズを備えたカメラキットを使わせ、それらを組み合わせて最も鮮明な画像を見せる仕組みです。しかし、難点があります。膨大なデータの山に対してこれらすべてのレンズを使用することは、非常に時間がかかり、計算コストがかかるということです。それは、あらゆる種類の拡大鏡を使って、動物園全体の動物を一つずつ手作業で仕分けていくようなものです。科学者たちが問い続けてきたのは、「すべての動物を一つずつチェックするという、遅くて疲れ果てるプロセスを経ることなく、複数のレンズによる超鮮明な視界を得ることはできるのか？」ということです。

---

新しい「オールインワン」のスーパー審判

この論文において、研究者のZijie Dong、Xingrui Gong、およびFen Chenは、これらのマルチクラス分類器を訓練するための、より高速な新しい方法を提案しています。彼らはその手法をAIO-MSVM-WMK（非常に長い名前なので、単に「加重オールインワン審判」と呼びましょう）と呼んでいます。

彼らの大きなアイデアは、2つの強力な戦略を一つのスムーズな操作に組み合わせることです：

1. 加重マルチカーネル学習（Weighted Multiple Kernel Learning）： 単一のレンズを使う代わりに、いくつかの異なるレンズ（線形、多項式、RBFカーネルなど）を混ぜ合わせます。しかし、ここでのコツは、それらを均等に混ぜるのではないということです。それぞれのレンズがその仕事に対してどれほど優れているかに基づいて、「重み（ウェイト）」を割り当てます。もし「形」のレンズがライオンを見つけるのに適していれば、より大きな票を与えます。もし「質感」のレンズがトラに適していれば、より多くの重みを付けます。これは、事前に設定されるのではなく、コンピュータが学習する過程で自動的に行われます。
2. サンプル最適化（Sample Optimization）： これはスピードアップのためのブースターです。コンピュータに動物園のすべての動物をすべて勉強させる（これには膨大な時間がかかります）代わりに、アルゴリズムは最も重要なものを選び出します。グループの境界線上に位置する、判別が難しい「トリッキーな」動物に焦点を当て、判別が容易な明らかな動物は無視します。これにより、膨大な時間を節約できます。

検証方法

新しい審判が本当に優れているかどうかを確認するために、チームは9つの公開データセット（手書き数字、ニュース記事、生物学的データなどの実世界のデータコレクション）を用いて実験を行いました。彼らは、マルチクラス分類を行う他の4つの一般的な手法と比較しました：

• AIO-Mar: 旧式の「オールインワン」手法。
• MK-MSVCR: 異なる方法で複数のカーネルを使用する手法。
• WMK-OVO: すべてのクラスを他のすべてのクラスと比較する手法（One-vs-One）。
• WMK-OVA: 各クラスを他のすべてのクラスと一度に比較する手法（One-vs-All）。

彼らは、10,000サンプルと26,000サンプルという2つの異なるサイズのトレーニングデータを用いて、これらの手法をテストしました。

結果：より速く、よりスマートに

結果は、新しいAIO-MSVM-WMK手法が、主に2つの領域で明確な勝者であることを示しました。

1. 間違いが少ない。
データが複雑な場合、新しい手法は他の手法よりも正確に動物を分類しました。例えば、「Twitter」データセット（テキストの分類に関するもの）では、26,000サンプルの場合、新しい手法の誤りはわずか**1.51%でした。対照的に、次に優れた手法は1.78%の誤りを出し、他の手法はもっと悪く、最大18.16%の誤りを記録しました。「Mnist」データセット（手書き数字）では、新しい手法の誤り率は10.36%であり、他の手法の範囲である12.37%から15.28%**を上回りました。

2. 著しく高速である。
ここで「サンプル最適化」が真価を発揮しました。研究者たちは、重要なサンプルを選別し、モデルを訓練するのに要した総時間を測定しました。

• 10,000サンプルのテストでは、新しい手法は全データセットを通じて合計64,730秒（約18時間）かかりました。次に速い手法は75,796秒、最も遅い手法は90,162秒でした。
• 26,000サンプルのテストでは、その差はさらに広がりました。新しい手法は119,671.96秒かかったのに対し、最も遅い競合手法は181,262.97秒かかりました。

研究者たちは、これらの違いが単なる偶然ではないことを確認するために、**ウィルコクソン符号付順位検定（Wilcoxon signed-rank test）**という統計テストを使用しました。このテストにより、新しい手法が精度と速度の両面において、4つの競合手法すべてに対して統計的に優れていることが証明されました。

これが意味すること

この論文は、加重マルチカーネル（最高のレンズの組み合わせを使用すること）とスマートなサンプル選択（トリッキーなケースだけに焦点を当てること）を組み合わせることで、既存の手法よりも正確かつはるかに高速な分類器を構築できることを示唆しています。

著者らは、このアプローチが「複雑で大規模なマルチクラスデータ」に特に有用であると述べています。彼らは、この手法が世界のあらゆる問題を解決すると主張しているわけではありませんが、テストされたデータセットにおいては、追加の前処理ステップを必要とせずに既存の技術を凌駕したことを示しました。また、将来的な課題として、このアイデアをディープニューラルネットワークに適用したり、より高速にするために並列コンピューティングを使用したりすることが挙げられますが、現時点では、「加重オールインワン審判」は、コンピュータに世界の乱雑なデータを分類する方法を教えるための、より効率的な方法となっています。