An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Tiere in einem überfüllten Zoo zu erkennen. Sie könnten ihm ein Bild eines Löwen zeigen und sagen: „Das ist ein Löwe“, dann ein Bild eines Tigers zeigen und sagen: „Das ist ein Tiger“. Aber was, wenn der Roboter Tausende von Tieren gleichzeitig sortieren muss, von denen sich einige sehr ähnlich sehen, oder wenn die Bilder verschwommen sind oder aus seltsamen Winkeln aufgenommen wurden? Dies ist die Welt des maschinellen Lernens, speziell eines Zweigs namens Klassifizierung, bei dem Computer lernen, Daten in Gruppen zu sortieren.

Um dies zu tun, verwenden Computer oft ein cleveres Werkzeug namens Support Vector Machine (SVM). Stellen Sie sich eine SVM als einen superintelligenten Schiedsrichter vor, der unsichtbare Linien in die Luft zeichnet, um verschiedene Gruppen voneinander zu trennen. Wenn die Tiere in einem unordentlichen Haufen vermischt sind, versucht der Schiedsrichter, den breitesten, klarsten Pfad zu finden, um die Löwen von den Tigern zu trennen. Normalerweise verwendet der Schiedsrichter eine einzige „Linse“ oder einen Kernel, um die Daten zu betrachten. Eine Linse könnte gut darin sein, Formen zu erkennen, oder gut darin, Farben zu sehen, aber selten beides perfekt. Wenn die Daten komplex sind – wie ein Zoo mit Tieren, die gleichzeitig Streifen, Punkte und Fell haben – könnte eine einzelne Linse die Details übersehen.

Hier kommt Multiple Kernel Learning (MKL) ins Spiel. Anstatt sich auf nur eine Linse zu verlassen, ermöglicht MKL dem Computer, ein ganzes Kamera-Set mit verschiedenen Objektiven gleichzeitig zu benutzen und diese zu kombinieren, um das klarste Bild möglich zu erhalten. Es gibt jedoch einen Haken: Die Verwendung all dieser Linsen auf einem riesigen Haufen von Daten ist unglaublich langsam und rechenintensiv. Es ist, als würde man versuchen, den gesamten Zoo von Hand zu sortieren, Tier für Tier, unter Verwendung jeder möglichen Lupe. Die Frage, die sich Wissenschaftler gestellt haben, lautet: Können wir die superklare Sicht mehrerer Linsen erreichen, ohne den langsamen, erschöpfenden Prozess zu durchlaufen, jedes einzelne Tier zu überprüfen?

---

Der neue „All-in-One“-Super-Schiedsrichter

In dieser Arbeit schlagen die Forscher Zijie Dong, Xingrui Gong und Fen Chen eine neue, schnellere Methode vor, um diese Multi-Klassen-Klassifikatoren zu trainieren. Sie nennen ihre Methode AIO-MSVM-WMK (was eine Mund voller ist, also nennen wir sie einfach den „Gewichteten All-in-One-Schiedsrichter“).

Ihre große Idee ist es, zwei leistungsstarke Strategien in einem reibungslosen Vorgang zu kombinieren:

1. Weighted Multiple Kernel Learning: Anstatt eine Linse zu verwenden, mischen sie mehrere verschiedene Linsen (wie lineare, polynomielle und RBF-Kernel) zusammen. Aber hier ist der Trick: Sie mischen sie nicht einfach gleichmäßig. Sie weisen jeder Linse ein „Gewicht“ zu, basierend darauf, wie gut sie bei der Aufgabe ist. Wenn die „Formen“-Linse großartig darin ist, Löwen zu entdecken, erhält sie eine größere Stimme. Wenn die „Textur“-Linse besser für Tiger geeignet ist, erhält sie mehr Gewicht. Dies geschieht automatisch, während der Computer lernt, anstatt im Vorfeld festgelegt zu werden.
2. Sample Optimization (Stichprobenoptimierung): Dies ist der Geschwindigkeitsbeschleuniger. Anstatt den Computer zu zwingen, jedes einzelne Tier im Zoo zu studieren (was ewig dauert), wählt der Algorithmus intelligent die wichtigsten aus. Er konzentriert sich auf die Tiere, die sich direkt an der Grenze zwischen den Gruppen befinden – die kniffligen Fälle, die schwer zu unterscheiden sind – während er die offensichtlichen Tiere, die leicht zu sortieren sind, ignoriert. Dies spart eine enorme Menge an Zeit.

Wie sie es getestet haben

Um zu sehen, ob ihr neuer Schiedsrichter tatsächlich besser war, führte das Team Experimente mit 9 öffentlichen Datensätzen durch (Sammlungen von realen Daten wie Bildern handgeschriebener Zahlen, Nachrichtenartikeln und biologischen Daten). Sie verglichen ihre Methode mit vier anderen populären Wegen der Multi-Klassen-Sortierung:

• AIO-Mar: Eine ältere „All-in-One“-Methode.
• MK-MSVCR: Eine Methode, die mehrere Kernel auf eine andere Art und Weise verwendet.
• WMK-OVO: Eine Methode, die jede Klasse gegen jede andere Klasse vergleicht (One-vs-One).
• WMK-OVA: Eine Methode, die jede Klasse gegen alle anderen gleichzeitig vergleicht (One-vs-All).

Sie testeten diese Methoden auf zwei verschiedenen Größen von Trainingsdaten: einen mit 10.000 Stichproben und einen mit 26.000 Stichproben.

Das Ergebnis: Schneller und schlauer

Die Ergebnisse zeigten, dass die neue AIO-MSVM-WMK-Methode in zwei Hauptbereichen ein klarer Gewinner war:

1. Sie machte weniger Fehler.
Wenn die Daten komplex waren, sortierte die neue Methode die Tiere genauer als die anderen. Beispielsweise machte die neue Methode beim „Twitter“-Datensatz (der das Sortieren von Text beinhaltet) bei 26.000 Stichproben nur 1,51 % der Zeit Fehler. Im Gegensatz dazu machte die nächstbeste Methode 1,78 % Fehler, und die anderen waren viel schlechter und machten Fehler von bis zu 18,16 %. Beim „Mnist“-Datensatz (handgeschriebene Zahlen) hatte die neue Methode eine Fehlerrate von 10,36 % und schlug damit die anderen, deren Fehlerraten zwischen 12,37 % und 15,28 % lagen.

2. Sie war signifikant schneller.
Hier glänzte die „Sample Optimization“ besonders. Die Forscher maßen die Gesamtzeit, die es benötigte, sowohl die wichtigsten Stichproben auszuwählen als auch das Modell zu trainieren.

• Beim Test mit 10.000 Stichproben dauerte die neue Methode insgesamt 64.730 Sekunden (etwa 18 Stunden), um über alle Datensätze hinweg zu laufen. Die nächstschnellere Methode benötigte 75.796 Sekunden und die langsamste 90.162 Sekunden.
• Beim Test mit 26.000 Stichproben vergrößerte sich der Abstand. Die neue Methode benötigte 119.671,96 Sekunden, während der langsamste Konkurrent 181.262,97 Sekunden brauchte.

Die Forscher verwendeten einen statistischen Test namens Wilcoxon-Signed-Rank-Test, um zu bestätigen, dass diese Unterschiede nicht bloß Glück waren. Der Test zeigte, dass die neue Methode in Bezug auf sowohl Genauigkeit als auch Geschwindigkeit statistisch besser war als alle vier Konkurrenten.

Was das bedeutet

Das Paper legt nahe, dass man durch die Kombination von Weighted Multiple Kernels (die beste Mischung aus Linsen) mit Smart Sample Selection (Konzentration auf nur die schwierigen Fälle) einen Klassifikator bauen kann, der sowohl genauer als auch viel schneller als aktuelle Methoden ist.

Die Autoren merken an, dass dieser Ansatz besonders nützlich für „komplexe und größere Multi-Klassen-Daten“ ist. Sie haben nicht behauptet, dass dies jedes Problem der Welt löst, aber sie haben gezeigt, dass sie für die von ihnen getesteten Datensätze die bestehenden Techniken ohne zusätzliche Vorverarbeitungsschritte übertroffen haben. Sie erwähnten auch, dass zukünftige Arbeiten darin bestehen könnten, diese Idee auf tiefe neuronale Netze anzuwenden oder Parallel Computing zu nutzen, um sie noch schneller zu machen, aber für den Moment ist der „Gewichtete All-in-One-Schiedsrichter“ ein effizienterer Weg, um Computern beizubringen, die unordentlichen Daten der Welt zu sortieren.