Sintesi Tecnica: Decomposizione di una One-Class Support Vector Machine in un Ensemble di One-Data Support Vector Machines

1. Definizione del Problema

La classificazione a classe singola (One-Class Classification, OCC) è un compito di apprendimento supervisionato in cui il dataset di addestramento contiene solo campioni di una singola classe nota, con l'obiettivo di distinguerli da classi sconosciute. La One-Class Support Vector Machine (OCSVM) è un algoritmo leader in questo dominio, noto per massimizzare il margine tra i vettori di supporto e l'origine nello spazio del kernel.

Tuttavia, l'OCSVM affronta significative sfide di scalabilità quando applicata a dataset su larga scala. Il collo di bottiglia principale è il processo di ottimizzazione dispendioso in termini di tempo richiesto per risolvere il problema duale, che comporta l'ottimizzazione dei pesi per tutti i campioni di addestramento simultaneamente. Questa complessità ostacola l'applicazione dell'OCSVM a scenari di big data e di elaborazione in tempo reale. Sebbene ricerche precedenti abbiano tentato di accelerare l'OCSVM attraverso varianti come la Least Squares OCSVM o tramite il clustering dei dati, questi metodi richiedono spesso ancora passaggi di ottimizzazione su sottoinsiemi di dati.

2. Metodologia

L'approccio proposto, denominato One-Data Support Vector Machine (ODSVM), ristruttura fondamentalmente il processo di addestramento dell'OCSVM scomponendo il dataset in singoli campioni.

Concetto Centrale

Il metodo postula che un'OCSVM addestrata su un singolo punto di dato ($n=1$) non richiede la risoluzione di un problema di ottimizzazione. Nell'OCSVM standard, il problema duale comporta la minimizzazione di una forma quadratica su $n$ campioni. Quando $n=1$, l'ottimizzazione si semplifica in un valore costante, e la funzione di punteggio diventa un'applicazione diretta della funzione kernel meno una soglia.

Framework Algoritmico

La strategia proposta prevede tre fasi principali:

1. Decomposizione e Addestramento (Generazione di ODSVM):

   • ODSVM-all: Un approccio diretto in cui un modello OCSVM viene addestrato su ogni singolo campione nel dataset.
   • ODSVM-N (Riduzione dei Dati): Per mitigare il costo computazionale dell'addestramento su ogni campione, gli autori propongono una strategia di riduzione. Viene addestrata un'OCSVM iniziale sulla media del dataset per calcolare i "punteggi di normalità" per tutti i campoli. I $N$ campioni con i punteggi di normalità più bassi (interpretati come i più "anomali" o i vettori di supporto critici) vengono selezionati. I modelli ODSVM vengono quindi addestrati esclusivamente su questi $N$ vettori di supporto.

2. Apprendimento d'Ensemble (Ensemble Learning):

   • I singoli modelli ODSVM vengono combinati utilizzando il Bagging (specificamente, un ensemble di modelli addestrati su diversi punti di dati).
   • Due strategie di ensemble sono impiegate per aggregare i punteggi:
     • Somma (Summation): Il punteggio finale è la somma dei punteggi di tutti i $N$ modelli ODSVM.
     • Massimo (Maximum): Il punteggio finale è il massimo punteggio ottenuto da un singolo modello ODSVM.

3. Inferenza:

   • Per un nuovo campione di test, l'ensemble calcola il punteggio basandosi sulla strategia di aggregazione scelta, approssimando efficacemente il punteggio di una tradizionale OCSVM addestrata sull'intero dataset.

3. Contributi Chiave

Il documento delinea tre contributi primari:

• Strategia di Decomposizione: L'originalità risiede nella decomposizione dell'OCSVM in un ensemble di ODSVM, dove ogni modello è addestrato su un singolo punto di dato. Ciò elimina la necessità del complesso processo di ottimizzazione inerente alla standard OCSVM.
• Efficienza delle Prestazioni: L'ensemble di ODSVM raggiunge velocità di elaborazione significativamente superiori rispetto alla tradizionale OCSVM mantenendo prestazioni di classificazione simili (misurate tramite l'Area Sotto la Curva ROC, AUC).
• Corrispondenza Uno-a-Uno: Il metodo stabilisce una corrispondenza teorica uno-a-uno tra i singoli campioni e i modelli. Ciò consente applicazioni uniche come trattare i campioni come modelli (o viceversa), il che ha implicazioni per la protezione della privacy e l'apprendimento non richiesto (machine unlearning).

4. Risultati Sperimentali

Gli autori hanno valutato il metodo proposto utilizzando 27 dataset di classificazione binaria dal pacchetto imbalanced-learn, trattando sia le classi minoritarie che quelle maggioritarie come la "classe singola".

• Accuratezza (AUC): Gli ensemble ODSVM (sia ODSVM-all che ODSVM-N con $N=200$ o $1000$) hanno raggiunto punteggi AUC comparabili alla tradizionale OCSVM. Ad esempio, sul dataset protein_homo, l'AUC media per OCSVM era dell'80,8%, mentre ODSVM-200 (Sum) ha raggiunto l'88,0% e ODSVM-1000 (Sum) il 78,0%.
• Velocità di Elaborazione: Il metodo proposto ha dimostrato miglioramenti drastici nel tempo di addestramento e nel tempo totale di elaborazione per grandi dataset.
  • Sul dataset protein_homo (86.672 campioni di addestramento), la tradizionale OCSVM ha impiegato 10 minuti e 28 secondi. Al contrario, ODSVM-200 ha completato il compito in 1,7 secondi.
  • Sul dataset webpage (20.279 campioni), l'OCSVM ha impiegato 1 minuto e 26 secondi, mentre ODSVM-200 ha impiegato 1,4 secondi.
• Utilizzo della Memoria: Sebbene l'addestramento di ODSVM-all (un modello per campione) abbia aumentato la dimensione del file rispetto al dataset originale, i modelli ridotti (ODSVM-200 e ODSVM-1000) hanno prodotto dimensioni dei file significativamente minori (ad esempio, 219,9 KB e 1,1 MB rispettivamente) rispetto al modello OCSVM tradizionale (25 MB).
• Applicazione a Serie Temporali: Il metodo è stato applicato con successo a un dataset di disturbi respiratori (segnali Ballistocardiogram), elaborando 720 secondi di dati in 25 secondi, dimostrando l'idoneità per l'analisi biometrica in tempo reale.

5. Significato e Rivendicazioni

Il documento sostiene che la decomposizione dell'OCSVM in un ensemble di modelli a singolo dato è una strategia di accelerazione valida che rimuove il collo di bottiglia computazionale della grande scala di ottimizzazione. Gli autori sottolineano che:

• L'ottimizzazione dei pesi dei vettori di supporto nella tradizionale OCSVM può essere ridondante, poiché l'ensemble di modelli a singolo dato non pesati (o con pesi uniformi) produce risultati AUC simili.
• La mappatura uno-a-uno tra campioni e modelli offre utilità teorica per il machine unlearning, dove la rimozione di un modello specifico corrisponde all' "unlearning" di un punto dati specifico, un processo potenzialmente più semplice dei metodi di unlearning tradizionali.
• L'approccio è applicabile a varie funzioni kernel (Lineare, Polinomiale, RBF, Sigmoide) senza una perdita significativa di prestazioni.

Gli autori concludono che, sebbene l'attuale implementazione sia una forte alternativa per la velocità, il lavoro futuro dovrebbe concentrarsi sull'ottimizzazione dei criteri di selezione dei vettori di supporto e sul perfezionamento delle strategie di ensemble per migliorare ulteriormente i punteggi AUC. Suggeriscono inoltre la possibilità di estendere questo concetto di decomposizione ai modelli di deep learning.