Riepilogo Tecnico: macrOData – Nuovi Benchmark di Migliaia di Dataset per l'Outlier Detection su Dati Tabulari

Definizione del Problema

L'outlier detection (OD) su dati tabulari è critica per applicazioni nel rilevamento delle frodi, nell'assistenza sanitaria e nel monitoraggio ambientale. Tuttavia, il campo soffre della mancanza di benchmark su larga scala, diversificati e standardizzati, rendendo difficile valutare il progresso scientifico o prendere decisioni metodologiche informate. L'attuale standard de facto, ADBench, è limitato a soli 57 dataset. Gli autori sostengono che questa scala ridotta limita il potere statistico, riduce la diversità e rende i confronti empirici altamente sensibili alla selezione dei dataset.

Inoltre, il documento identifica un limite strutturale specifico in ADBench: esso cattura prevalentemente outlier globali che assomigliano a rumore Gaussiano. Questa caratteristica favorisce involontariamente metodi semplici basati sulla distanza globale (come KNN) e recenti modelli di base pre-addestrati su miscele Gaussiane sintetiche (come FoMo-0D), potenzialmente mascherando la loro incapacità di gestire anomalie più complesse, semantiche o locali. La natura non supervisionata della OD, combinata con l'alta sensibilità agli iperparametri, esacerba questi problemi di valutazione, poiché le scelte di tuning possono impattare drasticamente sulle prestazioni senza una robusta validazione statistica.

Metodologia: La Suite macrOData

Per affrontare queste lacune, gli autori introducono macrOData, una suite di benchmark completa composta da 2.446 dataset curati da tre componenti distinte. I dati sono stati estratti principalmente da Tablib (627 milioni di tabelle) e vari repository di classificazione.

1. OddBench (Anomalie Semantiche)

• Fonte: Un sottoinsieme curato di Tablib contenente tabelle del mondo reale dove le anomalie sono definite dal significato semantico (es. "frode", "guasto", "difetto").
• Curatela: Gli autori hanno applicato un rigoroso processo di filtraggio in cinque fasi:
  1. Filtro Preliminare: Rimozione di tabelle con alti rapporti di valori nulli/infiniti, feature monotone o dimensione insufficiente (<1.000 campioni, <3 feature numeriche).
  2. Filtro Basato sul Target: Selezione di tabelle con una feature categorica che identifica esplicitamente le anomalie (es. "attacco", "errore").
  3. Controllo di Hash e Separabilità: Rimozione dei duplicati e garanzia che le anomalie fossero separabili dagli inlier (Random Forest classifier ROC-AUC > 0,6).
  4. Controllo Qualità Manuale: Ispezione manuale per verificare la rilevanza semantica e rimuovere i duplicati rimanenti.
  5. Miglioramenti della Qualità: Aggiunta di split train/test standardizzati, arricchimento dei metadati e creazione di un sottoinsieme rappresentativo.
• Scala: 790 dataset (690 pubblici, 100 privati).

2. OvRBench (Outlier Statistici)

• Fonte: Derivata dalla metà rimanente dei dati filtrati di Tablib e da benchmark di classificazione stabiliti (OpenML-CC18, TabZilla, TabRepo, ecc.).
• Metodologia: Utilizza un approccio One-vs-Rest (OvR) in cui una singola classe è designata come inlier e tutte le altre classi sono trattate come outlier. Questo cattura scenari di shift concettuale e di rilevamento di Out-of-Distribution (OOD).
• Selezione del Target: Per i dati di Tablib senza target predefiniti, gli autori hanno filtrato le feature nominate "label" o "target" con cardinalità compresa tra 2 e 10.
• Scala: 856 dataset (756 pubblici, 100 privati).

3. SynBench (Prior Sintetici)

• Fonte: 800 dataset generati sinteticamente progettati per coprire diversi prior di dati e archetipi di outlier.
• Generatori:
  • Modelli di Miscela Gaussiana (GMM): Cattura strutture multi-modali; outlier generati gonfiando le varianze in sottospazi.
  • Modelli Causali Strutturali (SCM): Genera distribuzioni non lineari e non Gaussiane; outlier creati tramite inflazione del rumore di misurazione o modifiche al grafo strutturale.
  • Copule: Modella diverse marginali e dipendenze; outlier creati spingendo le coordinate verso i confini o interrompendo le strutture congiunte.
• Scala: 800 dataset (tutti pubblici).

Caratteristiche del Benchmark

• Standardizzazione: Tutti i dataset includono split train/test standardizzati (50% inlier per l'addestramento; 50% inlier + tutti gli outlier per il test).
• Partizione Pubblico/Privato: I sottoinsiemi privati (100 dataset per ogni benchmark del mondo reale) hanno i label di test oscurati per supportare una classifica online per una valutazione cieca e imparziale.
• Metadati: I dataset sono annotati con tag semantici, parole chiave di dominio e link alla fonte, generati tramite Large Language Models (LLM).

Valutazione Sperimentale

Gli autori hanno condotto esperimenti estesi valutando 14 metodi di OD attraverso tutti i 2.446 dataset, coprendo modelli classici, deep e di base (foundation models).

• Metodi Valutati:
  • Classici: OCSVM, KNN, LOF, CBLOF, IForest, EGMM, DTE-NP.
  • Deep: GOAD, ICL, DTE-C, NPT-AD.
  • Foundation Models: FoMo-0D, OutFormer, TabPFN-OD.
• Strategia degli Iperparametri (HP): Per garantire una valutazione equa, gli autori hanno valutato i metodi attraverso estese configurazioni di HP. I modelli classici sono stati testati su griglie complete; i modelli deep sono stati campionati da spazi predefiniti; i foundation models non richiedevano tuning.
• Metriche: Le prestazioni sono state misurate tramite AUROC e AUPRC, aggregate tramite Average Rank, punteggi ELO, Win Rate, rescaled AUC e Champion Delta. La significatività statistica è stata determinata tramite test di permutazione.

Risultati Chiave

1. Dominio dei Foundation Models: I foundation models (specificamente OutFormer e FoMo-0D) hanno superato significativamente tutti i metodi classici e di deep learning in termini di prestazioni di rilevamento (AUPRC) e tempo di esecuzione. Occupano la frontiera di Pareto del trade-off prestazioni-tempo.
2. Classici vs. Deep: I metodi classici hanno generalmente superato i modelli di deep learning, in gran parte a causa dell'alta sensibilità dei secondi alle scelte degli iperparametri. Tra i metodi classici, EGMM, DTE-NP e LOF hanno mostrato i migliori trade-off tra prestazioni e tempo.
3. Sensibilità agli Iperparametri: I modelli deep hanno mostrato un'alta varianza nelle prestazioni tra diverse configurazioni di iperparametri. Al contrario, i metodi ensemble (come EGMM) e i foundation models hanno dimostrato una maggiore robustezza; i foundation models eliminano completamente la necessità di tuning.
4. Conferma dei Limiti di ADBench: I risultati hanno validato l'ipotesi degli autori secondo cui il bias di ADBench verso outlier globali di tipo Gaussiano permette a metodi semplici (KNN) e a foundation models pre-addestrati su Gaussiane di raggiungere risultati allo stato dell'arte, che però potrebbero non generalizzare a anomalie semantiche del mondo reale più complesse.

Significato e Contributi

Il documento rivendica i seguenti contributi:

• "Smistare" ADBench: Il lavoro analizza criticamente i limiti dell'attuale benchmark standard, rivelando il suo bias verso il rumore Gaussiano e gli outlier globali, il che distorce la percezione dell'efficacia degli algoritmi moderni.
• Nuovi Benchmark su Larga Scala: L'introduzione di macrOData fornisce la prima suite di benchmark della sua scala (2.446 dataset) con outlier semantici e statistici diversificati, split standardizzati e partizioni pubblico/privato.
• Valutazione Esaustiva e Linee Guida: La valutazione estesa stabilisce che i foundation models sono attualmente l'approccio più efficace ed efficiente per la OD tabulare, offrendo capacità plug-and-play senza necessità di tuning.
• Abilitatore per la Ricerca: Fornendo un testbed robusto e diversificato, macrOData mira a promuovere la ricerca futura nel meta-learning e nei foundation models per la OD, portando il campo oltre i vincoli di dataset su piccola scala e a bassa diversità.

Gli autori sottolineano che macrOData è open-source, inclusi il codice per la curatela, la costruzione dei dataset e i risultati delle singole prestazioni, insieme a una classifica accessibile pubblicamente per tracciare i progressi futuri.