An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

Immagina di dover insegnare a un robot a riconoscere diversi animali in uno zoo affollato. Potresti mostrargli l'immagine di un leone e dirgli: "Quello è un leone", poi mostrargli una tigre e dirgli: "Quella è una tigre". Ma cosa succederebbe se il robot dovesse smistare migliaia di animali contemporaneamente, alcuni dei quali molto simili tra loro, o con immagini sfocate o scattate da angolazioni strane? Questo è il mondo dell'apprendimento automatico (machine learning), specificamente di un ramo chiamato classificazione, dove i computer imparano a smistare i dati in gruppi.

Per farlo, i computer spesso utilizzano uno strumento ingegnoso chiamato Support Vector Machine (SVM). Pensa a una SVM come a un arbitro super intelligente che traccia linee invisibili nell'aria per separare diversi gruppi. Se gli animali sono mescolati in un mucchio disordinato, l'arbitro cerca di trovare il percorso più ampio e chiaro per separare i leoni dalle tigri. Di solito, l'arbitro usa una singola "lente" o kernel per osservare i dati. Una lente potrebbe essere brava a vedere le forme, o brava a vedere i colori, ma raramente riesce a fare entrambe le cose perfettamente. Se i dati sono complessi — come uno zoo con animali che hanno strisce, macchie e pelliccia tutto insieme — una singola lente potrebbe perdere i dettagli.

È qui che entra in gioco l'Apprendimento Multiplo di Kernel (Multiple Kernel Learning - MKL). Invece di affidarsi a una sola lente, la MKL permette al computer di utilizzare un intero kit fotografico con diverse lenti contemporaneamente, fondendole insieme per vedere l'immagine più chiara possibile. Tuttavia, c'è un problema: usare tutte quelle lenti su una massa enorme di dati è incredibilmente lento e dispendioso dal punto di vista computazionale. È come cercare di smistare l'intero zoo a mano, un animale alla volta, usando ogni possibile lente d'ingrandimento. La domanda che gli scienziati si sono posto è: Possiamo ottenere la visione super nitida di più lenti senza il processo lento ed estenuante di controllare ogni singolo animale?

---

Il Nuovo Super-Arbitro "Tutto-in-Uno"

In questo articolo, i ricercatori Zijie Dong, Xingrui Gong e Fen Chen propongono un nuovo modo più veloce per addestrare questi classificatori multi-classe. Chiamano il loro metodo AIO-MSVM-WMK (che è un nome complicato, quindi chiamiamolo lamente il "Referree Pesato Tutto-in-Uno").

La loro grande idea è quella di combinare due potenti strategie in un'unica operazione fluida:

1. Apprendimento Multiplo di Kernel Pesato: Invece di usare una sola lente, mescolano diverse lenti differenti (come kernel lineari, polinomiali e RBF) insieme. Ma ecco il trucco: non le mescolano semplicemente in modo uguale. Assegnano un "peso" a ogni lente in base a quanto è brava nel compito assegnato. Se la lente delle "forme" è ottima nel individuare i leoni, riceve un voto più alto. Se la lente della "tessitura" è migliore per le tigri, riceve più peso. Questo avviene automaticamente mentre il computer impara, invece di essere impostato preventivamente.
2. Ottimizzazione del Campione: Questo è il potenziatore di velocità. Inve invece di costringere il computer a studiare ogni singolo animale dello zoo (il che richiede una eternità), l'algoritmo sceglie intelligentemente quelli più importanti. Si concentra sugli animali che si trovano proprio al limite dei gruppi — quelli complicati che sono difficili da distinguere — ignorando quelli ovvi che sono facili da smistare. Questo risparmia una quantità enorme di tempo.

Come lo hanno testato

Per vedere se il loro nuovo arbitro fosse effettivamente migliore, il team ha eseguito esperimenti su 9 dataset pubblici (raccolte di dati del mondo reale come immagini di numeri scritti a mano, articoli di notizie e dati biologici). Hanno confrontato il loro metodo con altri quattro modi popolari di smistamento multi-classe:

• AIO-Mar: Un vecchio metodo "Tutto-in-Uno".
• MK-MSVCR: Un metodo che utilizza molteplici kernel ma in un modo diverso.
• WMK-OVO: Un metodo che confronta ogni classe contro ogni altra classe (One-vs-One).
• WMK-OVA: Un metodo che confronta ogni classe contro tutte le altre contemporaneamente (One-vs-All).

Hanno testato questi metodi su due diverse dimensioni di dati di addestramento: uno con 10.000 campioni e un altro con 26.000 campioni.

I Risultati: Più Veloci e Più Intelligenti

I risultati hanno mostato che il nuovo metodo AIO-MSVM-WMK è un chiaro vincitore in due aree principali:

1. Ha commesso meno errori.
Quando i dati erano complessi, il nuovo metodo ha smistato gli animali con maggiore precisione rispetto agli altri. Ad esempio, sul dataset "Twitter" (che riguarda lo smistamento di testi), il nuovo metodo ha commesso errori solo l'1,51% delle volte con 26.000 campioni. Al contrario, il secondo miglior metodo ha commesso errori l'1,78% delle volte, e gli altri erano molto peggiori, con errori fino al 18,16%. Sul dataset "Mnist" (numeri scritti a mano), il nuovo metodo ha avuto un tasso di errore del 10,36%, superando gli altri che variavano dal 12,37% al 15,28%.

2. Era significativamente più veloce.
È qui che l' "Ottimizzazione del Campione" ha davvero brillato. I ricercatori hanno misurato il tempo totale necessario sia per scegliere i campioni importanti che per addestrare il modello.

• Nel test con 10.000 campioni, il nuovo metodo ha impiegato un totale di 64.730 secondi (circa 18 ore) per eseguire tutti i dataset. Il secondo metodo più veloce ha impiegato 75.796 secondi, e il più lento 90.162 secondi.
• Nel test con 26.000 campioni, il divario si è ampliato. Il nuovo metodo ha impiegato 119.671,96 secondi, mentre il concorrente più lento ha impiegato 181.262,97 secondi.

I ricercatori hanno utilizzato un test statistico chiamato test del rango con segno di Wilcoxon per confermare che queste differenze non fossero dovute al caso. Il test ha dimostrato che il nuovo metodo era statisticamente migliore di tutti e quattro i concorrenti sia in termini di accuratezza che di velocità.

Cosa significa questo

L'articolo suggerisce che combinando i kernel multipli pesati (usando la migliore miscela di lenti) con la scelta intelligente dei campioni (concentrandosi solo sui casi più difficili), si può costruire un classificatore che è sia più accurato che molto più veloce degli attuali metodi.

Gli autori osservano che questo approccio è particolarmente utile per i "dati multi-classe complessi e più grandi". Non hanno sostenuto che risolva ogni problema del mondo, ma hanno dimostrato che, per i dataset testati, ha superato le tecniche esistenti senza richiedere alcun passaggio di pre-elaborazione aggiuntivo. Hanno anche menzionato che il lavoro futuro potrebbe prevedere l'applicazione di questa idea alle reti neurali profonde o l'uso del calcolo parallelo per renderlo ancora più veloce, ma per ora, il "Referree Pesato Tutto-in-Uno" rappresenta un modo più efficiente per insegnare ai computer come smistare i dati disordinati del mondo.