Meta-classification of one-class classification models using ranking correlation and nearest neighbor

Sintesi Tecnica: Meta-classificazione di Modelli di Classificazione a Classe Unica (One-Class Classification)

Problema
Sebbene le tecniche di Machine Learning (ML) siano ampiamente applicate in vari domini, l'applicazione del ML ai modelli di ML stessi rimane una direzione inesplorata. Nello specifico, questo articolo affronta la sfida di classificare i modelli di Classificazione a Classe Unica (One-Class Classification, OCC). L'OCC è un problema in cui l'insieme di addestramento consiste esclusivamente di una classe. Gli autori postulano che tutti i modelli di ML possano essere approssimati come modelli OCC (ad esempio, i modelli binari o multi-classe possono essere visti come insiemi di modelli OCC). La difficoltà principale risiede nel fatto che i modelli OCC possiedono funzioni di punteggio e soglie uniche che variano a seconda dell'algoritmo, rendendo impossibile il confronto diretto dei loro meccanismi interni. L'obiettivo è sviluppare un metodo per classificare questi modelli in base al loro comportamento piuttosto che ai loro parametri interni.

Metodologia
Il framework proposto tratta i modelli OCC come punti dati da classificare. La metodologia procede in tre fasi principali:

1. Rappresentazione come Classifiche di Normalità:
   Invece di confrontare le funzioni di punteggio grezze (che differiscono in variabili e scale tra gli algoritmi), il metodo costruisce "classifiche di normalità". Un "insieme di ranking" separato (un insieme di campioni indipendenti) viene fornito ai modelli OCC. Ogni modello produce un punteggio per ogni campione in questo insieme. Questi punteggi vengono poi convertiti in ranghi (ordinamenti) per ogni modello. Ciò trasforma il modello in un vettore di ranghi, creando uno spazio di rappresentazione comune indipendentemente dall'algoritmo sottostante.

2. Misurazione della Similarità:
   Per confrontare due modelli OCC, l'articolo utilizza metriche di correlazione di rango. Nello specifico, impiega la correlazione di Spearman (per la velocità) e la correlazione di Kendall Tau (per la gestione dei legami/pareggi) per misurare la similarità tra le classifiche di normalità generate da diversi modelli.

3. Classificazione tramite Nearest Neighbor:
   Il compito di classificazione è eseguito utilizzando un approccio Nearest Neighbor (NN). Poiché il NN è un "apprenditore pigro" (lazy learner), la fase di addestramento prevede l'archiviazione delle classifiche dei modelli OCC etichettati. Durante la fase di test, la classifica di un modello sconosciuto viene confrontata con le classifiche di addestramento memorizzate utilizzando le metriche di correlazione. All'incognita viene assegnata l'etichetta del modello di addestramento più simile (più vicino).

Contributi Chiave

• Primo Articolo di Rivista sulla Classificazione di Modelli ML: Gli autori affermano che questo è il primo articolo di rivista a classificare esplicitamente i modelli di ML, concentrandosi specificamente sui modelli OCC.
• Soluzione Unificata: Il metodo fornisce un framework unificato per classificare tre entità distinte: modelli OCC, i dataset utilizzati per addestrarli e le classifiche stesse.
• Approfondimento Teorico: L'articolo stabilisce che classificare i modelli OCC è essenzialmente equivalente a classificare i dataset che li hanno addestrati, poiché esiste una corrispondenza biunivoca tra un modello OCC e il suo dataset di addestramento.
• Esperimenti Estesi: A differenza di una precedente versione per conferenze, questo lavoro include esperimenti dettagliati sulla classificazione di modelli ensemble, sul bilanciamento dei dati (rapporti normale vs anomalo) e sugli iperparametri.

Risultati Sperimentali
Gli esperimenti hanno utilizzato quattro algoritmi OCC di base (OCSVM, LOF, Isolation Forest, GMM) e i loro ensemble, addestrati su subset del dataset KDD Cup.

• Classificazione del Dataset: Il metodo ha raggiunto il 100% di accuratezza nel distinguere i modelli addestrati su dati "normali" rispetto a quelli su dati "anomali". Ha inoltre ottenuto un'elevata accuratezza (99,3–99,4%) nel distinguere i modelli addestrati su dati misti. La classificazione di specifici rapporti normali-anomali (11 classi) ha prodotto accuratezze dell'83,6% (leave-one-out) e dell'87,3% (2-fold).
• Classificazione dell'Algoritmo: Distinguendo tra i quattro algoritmi di base, il metodo ha raggiunto il 100% di accuratezza. Tuttavia, l'accuratezza è diminuita classificando i modelli ensemble (15 classi), ottenendo l'85,5% sui dati normali e un valore significativamente più basso (23,7%) sui dati anormali, suggerendo che i modelli ensemble siano più simili tra loro rispetto ai modelli base.
• Classificazione degli Iperparametri:
  • Iperparametri Categorici: È stata raggiunta un'elevata accuratezza per i parametri categorici (ad esempio, kernel OCSVM: 93,8–100%; tipi di covarianza GMM: 75%).
  • Iperparametri Numerici: L'accuratezza è stata bassa per i parametri numerici (ad esempio, vicini LOF: 2,8%; feature massime IF: 27,9%). Gli autori osservano che, sebbene l'accuratezza della classificazione sia bassa, i risultati somigliano a un problema di regressione in cui le previsioni sono vicine ai valori reali, suggerendo che piccole variazioni numeriche non alterano drasticamente il comportamento di ranking del modello.
• Applicazioni nel Mondo Reale:
  • Segnali Biometrici: Il metodo è stato applicato ai segnali del Battito Cardiologico (BCG), rilevando con successo anomalie (trattenere il respiro, cambiamenti di posizione) analizzando gli spostamenti nelle correlazioni di ranking.
  • Registrazioni del Sonno: In un contesto non supervisionato utilizzando registrazioni del sonno di 1308 partecipanti, il metodo ha identificato comportamenti del sonno "anomali" trattando i dataset dei singoli utenti come modelli OCC e rilevando gli outlier nello spazio di ranking.

Significato e Limitazioni
L'articolo sostiene che la classificazione dei modelli OCC offre una nuova prospettiva nell'IA Spiegabile (XAI), specificamente come metodo per analizzare modelli black-box attraverso i loro output di ranking. Suggerisce che classificare i dataset (trattare molteplici campioni come un singolo input) possa essere più semplice rispetto alla tradizionale classificazione campione per campione a causa delle maggiori differenze tra i dataset.

Tuttavia, gli autori sono modesti riguardo ai limiti:

• Scalabilità: L'approccio affronta problemi di scalabilità con grandi dataset a causa del costo computazionale del calcolo delle correlazioni di rango (O(n) per Spearman, O(n²) per Kendall Tau).
• Vincoli Black-Box: Il metodo richiede l'accesso alle funzioni di punteggio e a una forma di input nota per generare l'insieme di ranking. In scenari reali in cui sono disponibili solo gli output di classificazione o le forme di input sono sconosciute, creare un insieme di ranking è complesso.
• Lavoro Futuro: L'articolo dichiara esplicitamente che la classificazione di modelli binari/multi-classe e lo sviluppo di modelli di "terzo livello" (classificare i classificatori dei modelli) sono lasciati alla ricerca futura.

In conclusione, l'articolo dimostra che i modelli OCC possono essere efficacemente meta-classificati utilizzando le correlazioni di ranking e i vicini più prossimi, fornendo un approccio unificato per analizzare modelli, dataset e classifiche, con potenziali applicazioni nel rilevamento delle anomalie e nella caratterizzazione dei dataset.