Technische Samenvatting: macrOData – Nieuwe Benchmarks van Duizenden Datasets voor Tabulaire Outlier Detectie

Probleemstelling

Outlier detectie (OD) op tabulaire data is cruciaal voor toepassingen in fraudedetectie, gezondheidszorg en milieumonitoring. Het vakgebied kampt echter met een gebrek aan grootschalige, diverse en gestandaardiseerde benchmarks, wat het moeilijk maakt om wetenschappelijke vooruitgang te beoordelen of geïnformeerde methodologische keuzes te maken. De huidige de facto standaard, ADBench, is beperkt tot slechts 57 datasets. De auteurs stellen dat deze kleine schaal de statistische kracht beperkt, de diversiteit vermindert en empirische vergelijkingen zeer gevoelig maakt voor de selectie van datasets.

Bovendien identificeert het artikel een specifieke structurele beperking in ADBench: het legt voornamelijk globale outliers vast die lijken op Gaussische ruis. Dit kenmerk bevoordeelt onbedoeld eenvoudige, globale afstandgebaseerde methoden (zoals KNN) en recente foundation modellen die zijn voorgetraind op synthetische Gaussische mengsels (zoals FoMo-0D), wat hun onvermogen kan maskeren om meer complexe, semantische of lokale anomalieën aan te pakken. De ongesuperviseerde aard van OD, gecombineerd met een hoge hyperparametergevoeligheid, verergert deze evaluatieproblemen, aangezien afstemkeuzes de prestaties drastisch kunnen beïnvloeden zonder robuuste statistische validatie.

Methodologie: De macrOData Suite

Om deze hiaten aan te pakken, introduceren de auteurs macrOData, een uitgebreide benchmark-suite bestaande uit 2.446 datasets die zijn samengesteld uit drie verschillende componenten. De data is voornamelijk afkomstig van Tablib (627 miljoen tabellen) en diverse classificatie-repositories.

1. OddBench (Semantische Anomalieën)

• Bron: Een gecureerde subset van Tablib bestaande uit real-world tabellen waar anomalieën worden gedefinieerd door semantische betekenis (bijv. "fraude", "fout", "defect").
• Curatie: De auteurs pasten een rigoureus vijfstaps filterproces toe:
  1. Voorlopige Filter: Verwijderde tabellen met een hoog aandeel null-waarden/oneindigheid, monotone kenmerken of onvoldoende grootte (<1.000 monsters, <3 numerieke kenmerken).
  2. Target-gebaseerde Filter: Selecteerde tabellen met een categorisch kenmerk dat expliciet anomalieën identificeert (bijv. "aanval", "fout").
  3. Hash en Scheidbaarheidscontrole: Verwijderde duplicaten en zorgde ervoor dat anomalieën scheidbaar waren van inliers (Random Forest classifier ROC-AUC > 0,6).
  4. Handmatige Kwaliteitscontrole: Handmatige inspectie om de semantische relevantie te verifiëren en resterende duplicaten te verwijderen.
  5. Kwaliteitsverbeteringen: Voegde gestandaardiseerde train/test-splits toe, verrijkte metadata en creëerde een representatieve subset.
• Schaal: 790 datasets (690 publiek, 100 privé).

2. OvRBench (Statistische Outliers)

• Bron: Afgeleid van de resterende helft van de gefilterde Tablib-data en gevestigde classificatie-benchmarks (OpenML-CC18, TabZilla, TabRepo, etc.).
• Methodologie: Gebruikt een One-vs-Rest (OvR) benadering waarbij een enkele klasse wordt aangewezen als de inlier en alle andere klassen als outliers worden behandeld. Dit vangt conceptverschuivingen en out-of-distribution (OOD) detectiescenario's op.
• Target Selectie: Voor Tablib-data zonder vooraf gedefinieerde targets, filterden de auteurs op kenmerken genaamd "label" of "target" met een cardinaliteit tussen 2 en 10.
• Schaal: 856 datasets (756 publiek, 100 privé).

3. SynBench (Synthetische Priors)

• Bron: 800 synthetisch gegenereerde datasets ontworpen om diverse datapriors en outlier-archetypen te bestrijken.
• Generatoren:
  • Gaussian Mixture Models (GMM): Legt multi-modale structuren vast; outliers worden gegenereerd door varianties in subspaces op te blazen.
  • Structural Causal Models (SCM): Genereert niet-lineaire, niet-Gaussische distributies; outliers worden gecreëerd via de inflatie van meetruis of structurele grafiekmodificaties.
  • Copulas: Modelleert diverse marginalen en afhankelijkheden; outliers worden gecreëerd door coördinaten naar de grenzen te duwen of gezamenlijke structuren te verstoren.
• Schaal: 800 datasets (allemaal publiek).

Benchmark Kenmerken

• Standaardisatie: Alle datasets bevatten gestandaardiseerde train/test-splits (50% inliers voor training; 50% inliers + alle outliers voor testen).
• Public/Private Partitie: Private subsets (100 datasets per real-world benchmark) hebben geredigeerde testlabels om een online leaderboard te ondersteunen voor een geblindeerde, eerlijke evaluatie.
• Metadata: Datasets zijn geannoteerd met semantische tags, domein trefwoorden en bronlinks, gegenereerd met behulp van Large Language Models (LLMs).

Experimentele Evaluatie

De auteurs voerden uitgebreide experimenten uit waarbij 14 OD-methoden werden geëvalueerd over alle 2.446 datasets, variërend van klassieke methoden tot deep learning en foundation modellen.

• Geëvalueerde Methoden:
  • Klassiek: OCSVM, KNN, LOF, CBLOF, IForest, EGMM, DTE-NP.
  • Deep: GOAD, ICL, DTE-C, NPT-AD.
  • Foundation Modellen: FoMo-0D, OutFormer, TabPFN-OD.
• Hyperparameter (HP) Strategie: Om een eerlijke evaluatie te garanderen, evalueerden de auteurs methoden over uitgebreide HP-configuraties. Klassieke modellen werden getest op volledige grids; deep learning modellen werden gesampled uit vooraf gedefinieerde ruimtes; foundation modellen vereisten geen tuning.
• Metrieken: Prestaties werden gemeten via AUROC en AUPRC, geaggregeerd via Average Rank, ELO-scores, Win Rate, rescaled AUC en Champion Delta. Statistische significantie werd bepaald via permutatietesten.

Belangrijkste Resultaten

1. Foundation Modellen Domineren: Foundation modellen (specifiek OutFormer en FoMo-0D) presteerden significant beter dan alle klassieke en deep learning methoden in termen van detectieprestaties (AUPRC) en runtime. Zij bezetten de Pareto-front van de prestatie-tijd afweging.
2. Klassiek vs. Deep: Klassieke methoden presteerden over het algemeen beter dan deep learning modellen, grotendeels vanwege de hoge gevoeligheid van de laatste voor hyperparameterkeuzes. Onder de klassieke methoden vertoonden EGMM, DTE-NP en LOF de beste prestatie-runtime afwegingen.
3. Hyperparameter Gevoeligheid: Deep modellen vertoonden een hoge variantie in prestaties over verschillende hyperparameterconfiguraties. In tegen plaats vertoonden ensemble methoden (zoals EGMM) en foundation modellen een grotere robuustheid, waarbij foundation modellen het volledig elimineren van tuning mogelijk maken.
4. ADBench Beperkingen Bevestigd: De resultaten valideerden de hypothese van de auteurs dat de bias van ADBench naar Gaussische-achtige globale outliers eenvoudige methoden (KNN) en Gaussisch-voorgetrainde foundation modellen een state-of-the-art resultaat laat behalen, wat mogelijk niet generaliseert naar complexere, real-world semantische anomalieën.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

• "Demystificeren" van ADBench: Het werk analyseert kritisch de beperkingen van de huidige standaard benchmark, waarbij de bias naar Gaussische ruis en globale outliers wordt onthuld, wat de waargenomen effectiviteit van moderne algoritmen vertekent.
• Nieuwe Grootschalige Benchmarks: De introductie van macrOData biedt de eerste benchmark-suite van deze schaal (2.446 datasets) met diverse semantische en statistische outliers, gestandaardiseerde splits en public/private partities.
• Uitgebreide Evaluatie & Richtlijnen: De uitgebreide evaluatie stelt vast dat foundation modellen momenteel de meest effectieve en efficiënte aanpak zijn voor tabulaire OD, met plug-and-play mogelijkheden zonder hyperparameter tuning.
• Onderzoeksenabler: Door een robuuste, diverse testomgeving te bieden, beoogt macrOData toekomstig onderzoek naar meta-learning en foundation modellen voor OD te stimuleren, waardoor het vakgebied voorbij de beperkingen van kleinschalige, laag-diverse datasets wordt bewogen.

De auteurs benadrukken dat macrOData open-source is, inclusief code voor curatie, datasetconstructie en individuele prestatieresultaten, naast een publiek toegankelijk leaderboard om toekomstige vooruitgang te volgen.