Technische Samenvatting: Vooruitgang in Zero-Shot Foundation Models voor Tabulaire Outlier Detectie

Probleemstelling

Outlier detectie (OD) is cruciaal voor toepassingen in de financiële sector, de geneeskunde en beveiliging, maar de praktische inzet ervan wordt gehinderd door de schaarste of de volledige afwezigheid van gelabelde outliers. Dit gebrek aan grondwaarheid maakt de selectie van geschikte algoritmen en hyperparameters berucht moeilijk. Hoewel foundation models (FMs) het gesuperviseerde tabulaire leren hebben gerevolutioneerd (bijv. TabPFN) door te fungeren als "algoritmen-in-een-doos" via in-context learning (ICL), blijft hun toepassing op ongesuperviseerde OD nog in een pril stadium. Het eerdere werk, FOMO-0D (Shen et al., 2025), introduceerde het eerste FM voor zero-shot OD, maar vertrouwde uitsluitend op Gaussian Mixture Model (GMM) priors, wat de mogelijkheid beperkt om de diverse generatieve mechanismen die in real-world data worden gevonden, te vatten.

Methodologie

Het artikel introduceert OUTFORMER, een foundation model dat zero-shot tabulaire OD vooruit helpt door twee kerninnovaties: een mixture of synthetic priors en een self-evolving curriculum training strategie.

1. Mixed Synthetic Priors

Om te generaliseren over diverse real-world distributies, is OUTFORMER voorgetraind op een bibliotheek van synthetische datasets gegenereerd uit drie verschillende families van priors, wat vijf verschillende outlier-archetypen oplevert:

• Gaussian Mixture Models (GMMs): Simuleren multi-modaliteit en subspace outliers.
• Structural Causal Models (SCMs): Modelleren generatieve relaties via causale grafen. Deze familie genereert:
  • Measurement Outliers: Exogene schokken die door de causale structuur worden gepropageerd.
  • Structural Outliers: Endogene veranderingen waarbij causale randen worden verbroken of omgedraaid.
• Copulas: Maakt onafhankelijke specificatie van marginale distributies (bijv. scheefheid, power-law) en afhankelijkheidsstructuren mogelijk. Deze familie genereert:
  • Probabilistic Outliers: Perturbaties die data naar de grenzen van de distributie duwen.
  • Dependence Outliers: Schendingen van de oorspronkelijke afhankelijkheidsstructuur (bijv. geïnverteerde of gepermuteerde coördinaten).

2. Self-Evolving Curriculum (SEC)

Trainen op een heterogene mix van priors en dimensionaliteit vormt een uitdaging: naïeve menging leidt vaak tot suboptimale prestaties waarbij gradiënten van complexe priors domineren, waardoor het model "vergeet" van simpelere distributies (zoals GMMs). Om dit aan te pakken, gebruikt OUTFORMER een Multi-Armed Bandit (MAB) gebaseerd curriculum:

• Arms: Gedefinieerd door combinaties van data-priors en dimensionaliteitsbins.
• Reward Function: Een reward op categorieniveau gebaseerd op de variantie van point-wise cross-entropy losses. Dit geeft prioriteit aan datasets waar het model een hoge mate van vertrouwen heeft maar een gemengde correctheid vertoont (hoge nut voor leren), terwijl datasets die te makkelijk zijn (lage loss-variantie) of te moeilijk/ruisachtig zijn (hoge onzekerheid) worden afgewogen.
• Mechanisme: De bandit past de sampling-gewichten adaptief aan om te focussen op taken die de leerprogressie maximaliseren, waardoor het model leert van diverse distributies zonder handmatige ordening.

3. Architectuur en Inferentie

• Architectuur: Een 10-laagse Transformer met 512 verborgen dimensies en 8 attention heads (45.1M parameters). Het maakt gebruik van cross-attention om gelabelde trainingsdata als context te verwerken en ongelabelde testdata als queries.
• Inferentie: OUTFORMER werkt op een zero-shot wijze. Gegeven een nieuwe taak met enkel inlier trainingsdata (context), extraheert het testlabels via een enkele forward pass. Geen gradiënt-updates of hyperparameter-tuning zijn vereist.
• Ensembling: Om datasets te verwerken die de contextlimieten overschrijden en de robuustheid te verbeteren, gebruikt het model subsampling en feature bagging tijdens de inferentie, waarbij scores over 50 gerandomiseerde contexten worden gemiddeld.

Belangrijkste Bijdragen

1. Nieuw FM voor Tabulaire OD: OUTFORMER is het eerste foundation model dat state-of-the-art (SOTA) prestaties bereikt op tabulaire OD zonder dat gelabelde outliers of modelselectie nodig zijn.
2. Mixed Synthetic Priors: De constructie van een diverse bibliotheek van priors (GMMs, SCMs, Copulas) die complexe outlier-archetypen (structureel, meting, probabilistisch, afhankelijkheid) vangen, verder reikend dan eenvoudige Gaussische aannames.
3. Self-Evolving Curriculum: Een nieuwe trainingsstrategie gebruikmakend van multi-armed bandits om dynamisch trainingstaken te selecteren, wat het conflict tussen het leren van diverse priors en het voorkomen van catastrofale vergetelheid oplost.
4. Grootschalige Benchmarks: De introductie van OddBench (690 datasets met semantische anomalieën) en OvRBench (756 datasets met statistische outliers), wat het evaluatielandschap uitbreidt voorbij de standaard ADBench (57 datasets).

Experimentele Resultaten

OUTFORMER werd geëvalueerd op meer dan 1.500 datasets over drie benchmarks: ADBench, OddBench en OvRBench.

• Prestaties: OUTFORMER bereikt SOTA-prestaties en presteert significant beter dan gevestigde baselines, waaronder klassieke shallow methoden (kNN, LOF, IForest), diepe modellen (DeepSVDD, DDPM) en het vorige FM (FOMO-0D).
  • Op ADBench behaalt OUTFORMER de hoogste gemiddelde rang (4.02) en ELO-score (1235), waarmee het FOMO-0D significant overtreft (p ≤ 0.01).
  • Over alle 1.500+ datasets behoudt OUTFORMER een winrate van 0.60 tegenover baselines en behaalt de beste prestaties in termen van AUPRC, waarbij het alle concurrenten significant overtreft (p ≤ 0.00).
• Ablatie-studies:
  • Het verwijderen van de Self-Evolving Curriculum leidt tot prestatieverlies, wat bevestigt dat naïeve menging van priors inferieur is aan curriculum-gebaseerde training.
  • Het verwijderen van Mixed Priors (trainen op enkel GMMs) degradeert de prestaties op real-world data aanzienlijk, wat de noodzaak van diverse synthetische priors aantoont.
  • Ensembling biedt een gunstige afweging tussen nauwkeurigheid en inferentie-latentie, waarbij de prestatiewinsten verzadigen bij kleine datasets maar schalen bij grotere datasets.
• Efficiëntie: OUTFORMER biedt snelle inferentie (alleen een forward pass), waardoor de trainingstijd die vereist is voor deep learning baselines wordt omzeild. Het behoudt concurrerende inferentietijden, zelfs met ensembling.

Betekenis en Claims

Het artikel claimt dat OUTFORMER foundation models vestigt als een "vruchtbare en veelbelovende grens" voor outlier detectie. De primaire betekenis ligt in het mogelijk maken van echte plug-and-play implementatie:

• Zero Effort: Het elimineert de noodzaak voor algoritme-selectie, hyperparameter-tuning en toegang tot gelabelde outliers.
• Generalisatie: Door gebruik te maken van synthetische priors en ICL, generaliseert het effectief naar nieuwe, ongeziene real-world taken zonder extra training.
• Schaalbaarheid: De aanpak schaalt naar grote datasets via ensembling terwijl een lage latentie behouden blijft.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige priors niet expliciet zijn ontworend voor data met een hoge cardinaliteit van categorische variabelen (hoewel voorlopige resultaten een redelijke transfer laten zien) en dat het model momenteel geen rekening houdt met eerlijkheid (fairness) of bias. Echter, het werk demonstreert dat synthetische pretraining gecombineerd met adaptieve curriculum learning de schaarste aan data en de selectieproblemen kan overwinnen die de praktische OD-implementatie lange tijd hebben gehinderd.