An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

Stel je voor dat je een robot probeert te leren om verschillende dieren te herkennen in een drukke dierentuin. Je zou hem een foto van een leeuw kunnen laten zien en zeggen: "Dat is een leeuw," en dan een tijger laten zien en zeggen: "Dat is een tijger." Maar wat als de robot duizenden dieren tegelijk moet sorteren, waarvan sommige erg op elkaar lijken, of waarbij de foto's wazig zijn of vanuit vreemde hoeken zijn genomen? Dit is de wereld van machine learning, specifiek een tak genaamd classificatie, waarbij computers leren om gegevens in groepen te sorteren.

Om dit te doen, gebruiken computers vaak een slim hulpmiddel dat een Support Vector Machine (SVM) wordt genoemd. Denk aan een SVM als een superintelligente scheidsrechter die onzichtbare lijnen in de lucht tekent om verschillende groepen van elkaar te scheiden. Als de dieren door elkaar liggen in een rommelige hoop, probeert de scheidsrechter het breedste, duidelijkste pad te vinden om de leeuwen van de tijgers te scheiden. Meestal gebruikt de scheidsrechter één "lens" of kernel om naar de gegevens te kijken. Een lens kan goed zijn in het zien van vormen, of goed in het zien van kleuren, maar zelden beide perfect tegelijk. Als de gegevens complex zijn — zoals een dierentuin met dieren die tegelijkert면에 strepen, vlekken en vacht hebben — kan een enkele lens de details missen.

Dit is waar Multiple Kernel Learning (MKL) om de hoek komt kijken. In plaats van te vertrouwen op slechts één lens, laat MKL de computer een hele camerakit met verschillende lenzen tegelijkertijd gebruiken en deze samenvoegen om het duidelijkste beeld mogelijk te krijgen. Er is echter een addertje onder het gras: het gebruik van al die lenzen op een enorme stapel gegevens is ontzettend traag en rekentechnisch duur. Het is alsof je de hele dierentuin met de hand probeert te sorteren, één dier tegelijk, met elke mogelijke vergrootglas. De vraag die wetenschappers zich hebben gesteld is: Kunnen we het superheldere zicht van meerdere lenzen krijgen zonder het trage, uitputtende proces van elk enkel dier te controleren?

---

De Nieuwe "Alles-in-één" Super-scheidsrechter

In dit artikel stellen onderzoekers Zijie Dong, Xingrui Gong en Fen Chen een nieuwe, snellere manier voor om deze multi-class classificaties te trainen. Ze noemen hun methode AIO-MSVM-WMK (wat een mondvol is, dus laten we het de "Gewogen Alles-in-één Scheidsrechter" noemen).

Hun grote idee is om twee krachtige strategieën te combineren in één vloeiende operatie:

1. Weighted Multiple Kernel Learning: In plaats van één lens te gebruiken, mengen ze verschillende soorten lenzen (zoals lineaire, polynomiale en RBF-kernels) met elkaar. Maar hier is de truc: ze mengen de lenzen niet gelijkmatig. Ze wijzen een "gewicht" toe aan elke lens op basis van hoe goed deze de taak uitvoert. Als de "vorm"-lens geweldig is in het spotten van leeuwen, krijgt deze een grotere stem. Als de "textuur"-lens beter is voor tijgers, krijgt deze meer gewicht. Dit gebeurt automatisch terwijl de computer leert, in plaats van vooraf te worden ingesteld.
2. Sample Optimization: Dit is de versneller. In plaats van de computer elke individuele dier in de dierentuin te laten bestuderen (wat eeuwig duurt), kiest het algoritme intelligent de belangrijkste dieren uit. Het focust op de dieren die zich precies op de rand van de groepen bevinden — de lastige exemplaren die moeilijk uit elkaar te houden zijn — terwijl het de overduidelijke dieren die makkelijk te sorteren zijn, negeert. Dit bespaart een enorme hoeveelheid tijd.

Hoe ze het hebben getest

Om te zien of hun nieuwe scheidsrechter daadwerkelijk beter was, heeft het team experimenten uitgevoerd op 9 publieke datasets (verzamelingen van echte wereldgegevens zoals afbeeldingen van handgeschreven cijfers, nieuwsartikelen en biologische gegevens). Ze hebben hun methode vergeleken met vier andere populaire manieren van multi-class sorteren:

• AIO-Mar: Een oudere "Alles-in-één" methode.
• MK-MSVCR: Een methode die meerdere kernels gebruikt, maar op een andere manier.
• WMK-OVO: Een methode die elke klasse tegen elke andere klasse vergelijkt (One-vs-One).
• WMK-OVA: Een methode die elke klasse tegen alle anderen tegelijk vergelijkt (One-vs-All).

Ze hebben deze methoden getest op twee verschillende groottes van trainingsdata: één met 10.000 samples en een andere met 26.000 samples.

De Resultaten: Sneller en Slimmer

De resultaten lieten zien dat de nieuwe AIO-MSVM-WMK methode een duidelijke winnaar was op twee belangrijke gebieden:

1. Het maakte minder fouten.
Wanneer de gegevens complex waren, sorteerde de nieuwe methode de dieren nauwkeuriger dan de anderen. Bijvoorbeeld, op de "Twitter" dataset (die het sorteren van tekst betreft), maakte de nieuwe methode slechts 1,51% van de fouten met 26.000 samples. In vergelijking hiermee maakte de op één na beste methode 1,78% fouten, en de anderen waren veel slechter, met fouten tot wel 18,16%. Op de "Mnist" dataset (handgeschreven cijfers) had de nieuwe methode een foutpercentage van 10,36%, waarmee het de anderen versloeg die varieerden van 12,37% tot 15,28%.

2. Het was aanzienlijk sneller.
Dit is waar de "Sample Optimization" echt uitblinkt. De onderzoekers maten de totale tijd die nodig was om zowel de belangrijke samples te kiezen als het model te trainen.

• Bij de test met 10.000 samples duurde de nieuwe methode in totaal 64.730 seconden (ongeveer 18 uur) om over alle datasets te draaien. De op één na snelste methode duurde 75.796 seconden, en de langzaamste zelfs 90.162 seconden.
• Bij de test met 26.000 samples werd het gat groter. De nieuwe methode nam 119.671,96 seconden in beslag, terwijl de langzaamste concurrent 181.262,97 seconden nodig had.

De onderzoekers gebruikten een statistische test genaamd de Wilcoxon signed-rank test om te bevestigen dat deze verschillen niet op toeval berustten. De test toonde aan dat de nieuwe methode statistisch gezien beter was dan alle vier de concurrenten, zowel wat betreft nauwkeurigheid als snelheid.

Wat dit betekent

Het artikel suggereert dat door het combineren van weighted multiple kernels (het beste mengsel van lenzen gebruiken) met slimme sample selectie (alleen focussen op de lastige gevallen), je een classifier kunt bouwen die zowel nauwkeuriger als veel sneller is dan huidige methoden.

De auteurs merken op dat deze aanpak bijzonder nuttig is voor "complexe en grotere multi-class data." Ze beweerden niet dat het elk probleem in de wereld oplost, maar ze hebben wel aangetoond dat het voor de datasets die zij testten, de bestaande technieken overtrof zonder dat er extra voorbewerking nodig was. Ze vermeldden ook dat toekomstig werk zou kunnen bestaan uit het toepassen van dit idee op deep neural networks of het gebruik van parallel computing om het nog sneller te maken, maar voor nu is de "Gewogen Alles-in-één Scheidsrechter" een efficiëntere manier om computers te leren hoe ze de rommelige data van de wereld moeten sorteren.