Technische Samenvatting: Kurtosis-geleide Denoising Score Matching voor Tabulaire Anomaliedetectie

Probleemstelling

Anomaliedetectie in tabulaire data vereist het identificeren van waarnemingen die afwijken van de verwachte verdeling. Hoewel Denoising Score Matching (DSM) een krachtig kader biedt voor het modelleren van hoogdimensionale verdelingen door het leren van de scorefunctie (de gradiënt van de log-dichtheid), staat het voor een kritieke praktische uitdaging: selectie van de ruis-schaal.

Standaard DSM vertrouwt op een enkele, vaste ruis-schaal ($\sigma$) die globaal wordt toegepast op alle kenmerken. Dit creëert een afweging:

• Te weinig ruis: De geleerde score-schattingen zijn instabiel in schaarse gebieden, waardoor ze de structuur niet vastleggen waar anomalieën doorgaans voorkomen.
• Te veel ruis: De verstoring wist lokale structuur, verwatert de verschillen tussen normale en anormale steekproeven en verzwakt de gevoeligheid.

Bestaande oplossingen, zoals Multi-Scale Score Matching (MSM) of Noise Conditional Score Networks (NCSN), proberen dit op te lossen door modellen te trainen over meerdere ruis-schalen. Deze benaderingen introduceren echter aanzienlijke computerefficiëntie, vereisen complexe selectie van ruis tijdens de inferentie en presteren vaak niet beter dan eenvoudigere basismodellen wanneer de architecturen niet zorgvuldig zijn afgestemd. Bovendien faalt standaard DSM in volledig onbewaakte (gecontamineerde) settings waar trainingsdata anomalieën bevat, omdat het denoising-doel de model expliciet leert om lage score-normen toe te wijzen aan de verontreinigingen.

Methodologie

De auteurs stellen K-DSM (Kurtosis-geleide Denoising Score Matching) voor, een methode die de globale ruis-schaal vervangt door een data-adaptieve, per-kenmerk ruis-schaalstrategie.

1. Per-kenmerk Verstoring

In plaats van een globale $\sigma$ toe te passen, gebruikt K-DSM een diagonale ruis-covariantiematrix $\Sigma = \text{diag}(\sigma_1^2, \dots, \sigma_d^2)$. De objectief Functie wordt aangepast om de ruis met eenheidvariantie $\varepsilon$ te voorspellen in plaats van de ruwe score, waardoor de gradiëntbijdrage wordt ontkoppeld van de ruis-schaal:
$$\mathcal{L}_{\text{per-kenmerk}}^{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{x \sim p_{\text{data}}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \Sigma)} \left[ \| s_\theta(\tilde{x}) + \Sigma^{-1/2}(\tilde{x} - x) \|_2^2 \right]$$
Dit zorgt ervoor dat kenmerken met kleinere ruis-schalen de verliesfunctie niet domineren.

2. Kurtosis-geleide Ruis-schaal

De kerninnovatie is het bepalen van $\sigma_j$ voor elk kenmerk $j$ op basis van de statistische vorm van zijn marginale verdeling. De auteurs gebruiken kurtosis (het vierde gestandaardiseerde moment) als proxy voor extremiteit van de staart.

• Redenering: Lichtstaartige of platte verdelingen (lage kurtosis) dekken hun effectieve draagwijdte al en vereisen kleinere verstoringen. Zwaarstaartige of scherp geconcentreerde verdelingen (hoge kurtosis) laten de omringende ruimte ondervertegenwoordigd en vereisen grotere verstoringen om het netwerk bloot te stellen aan gebieden met lage dichtheid.
• Histogram-herschikking: Om ervoor te zorgen dat kurtosis de staartgeweicht weerspiegelt in plaats van artefacten zoals scheefheid of bimodaliteit, passen de auteurs een symmetrische afnemende histogram-herschikking toe voordat de kurtosis wordt berekend. Deze stap symmetriseert de empirische verdeling rond zijn dominante modus, waardoor het verval van piek tot staart wordt geïsoleerd.
• De Schaalregel: De ruis-schaal wordt berekend via een affiene regel afgeleid uit de Cornish–Fisher-expansie:
  $$\sigma_j = \sigma_{\text{base}} \cdot (1 + c \cdot (\kappa_j^* - 3))$$
  waarbij $\kappa_j^*$ de kurtosis is van de herschikte $j$-de kenmerk, $\sigma_{\text{base}}$ een globale hyperparameter is, en $c$ een gevoeligheidscoëfficiënt is (empirisch ingesteld op 0,33). Het resultaat wordt afgeknipt tot een geldig bereik $[\sigma_{\min}, \sigma_{\max}]$.

3. Theoretische Rechtvaardiging

Het artikel bewijst dat voor symmetrische unimodale verdelingen de stastraal (de afstand die een trainingspunt moet worden verplaatst om een specifieke staartwaarschijnlijkheid te bereiken) strikt toenemend is in kurtosis. Bijgevolg wordt aangetoond dat de affiene regel in vergelijking (5) de unieke eerste-orde optimale ruis-schaal is voor staartdekking, en biedt een principieel alternatief voor heuristische afstelling.

4. Uitbreiding voor Onbewaakte Settings (EMA-leraar Filtering)

Om de "gecontamineerde" setting aan te pakken waar trainingsdata anomalieën bevat, introduceren de auteurs een lichtgewicht filtermechanisme. Ze onderhouden een Exponentiële Beweeglijk Gemiddelde (EMA) van de gewichten van het online model (een "leraar"). Tijdens het trainen worden steekproeven met een hoge score-norm volgens de leraar geïdentificeerd als waarschijnlijke verontreinigingen en uit de gradiënt-update verwijderd. Dit voorkomt dat het model leert om lage anomalie-scores toe te wijzen aan de verontreinigingen zelf.

Belangrijkste Bijdragen

1. Herbeoordeling van Single-Scale DSM: De auteurs tonen aan dat een single-scale DSM-model, wanneer uitgerust met een moderne MLP-architectuur (ResNet-achtig), al beter presteert dan multi-scale methoden (MSM) en andere diepe basismodellen (DTE, SLAD) op tabulaire benchmarks. Dit daagt de heersende aanname uit dat multi-scale conditionering strikt noodzakelijk is voor effectieve op scores gebaseerde anomaliedetectie.
2. K-DSM met Theoretische Garanties: Het voorstellen van een per-kenmerk ruis-schaalregel gebaseerd op marginale kurtosis, ondersteund door een bewijs dat de affiene mapping de unieke eerste-orde optimale oplossing is voor staartdekking.
3. State-of-the-Art Prestaties: K-DSM bereikt de beste gemiddelde AUC-PR (0,627) op de ADBench (57 datasets) in de semi-bewaakte setting, en overtreft de vorige beste baseline (0,594).
4. Robuuste Onbewaakte Detectie: Door K-DSM te combineren met de EMA-leraar filterregel, bereikt de methode state-of-the-art prestaties (0,343 gemiddelde AUC-PR) in de volledig onbewaakte (gecontamineerde) setting, waardoor de door data-verontreiniging verloren prestaties aanzienlijk worden hersteld.
5. Efficiëntie: In tegenstelling tot multi-scale benaderingen die inferentie op meerdere ruisniveaus vereisen, behoudt K-DSM de inferentiesnelheid van een enkele forward pass, waardoor het aanzienlijk sneller is dan MSM en DDAE.

Experimentele Resultaten

• Semi-bewaakte Setting (Schone Trainingsdata): Op ADBench bereikt K-DSM een gemiddelde AUC-PR van 0,627, wat de tweede beste baseline (0,594) en de single-scale DSM baseline (0,584) overtreft. De methode is ook robuust ten opzichte van de keuze van de basisruis-schaal $\sigma_{\text{base}}$, terwijl standaard DSM hier zeer gevoelig voor is.
• Onbewaakte Setting (Gecontamineerde Trainingsdata): Standaard DSM en K-DSM zakken in deze setting in (tot ~0,188 AUC-PR) omdat ze leren om anomalieën als normaal te behandelen. De EMA-leraar uitbreiding herstelt de prestaties, waardoor K-DSM-EMA stijgt naar 0,343 AUC-PR, het beste resultaat onder 14 vergeleken methoden.
• Beeldbenchmarks: Op MVTec-AD en VisA (met DINOv3-embeddings) is K-DSM concurrerend maar niet dominant. De auteurs merken op dat dit te verwachten is omdat gestandaardiseerde diepe visuele kenmerken per coördinaat ongeveer Gaussiaans zijn, waardoor de op kurtosis gebaseerde schaling ineffectief wordt (aangezien $\kappa \approx 3$). Dit schetst het gebied van geldigheid voor de methode: het blinkt uit waar marginale staartheterogeniteit bestaat.
• Inferentiesnelheid: K-DSM is de snelste deep learning-methode tijdens inferentie, waarbij slechts één forward pass nodig is (~0,02–0,03s per dataset), vergeleken met seconden voor multi-scale of op diffusie gebaseerde methoden.

Betekenis en Claims

Het artikel betoogt dat de langdurige uitdaging van ruis-schaalselectie in DSM kan worden aangepakt zonder terug te grijpen op computerefficiëntie multi-scale modellen. Door het ruisniveau aan te passen aan de intrinsieke geometrie van de verdeling van elk kenmerk, verbetert K-DSM de dekking van gebieden met lage dichtheid terwijl de gevoeligheid in gebieden met hoge dichtheid behouden blijft.

De auteurs claimen dat zorgvuldige, data-adaptieve ruis-schaal in combinatie met een trainingsrecept dat robuust is tegen verontreiniging, een praktische, schaalbare en state-of-the-art alternatief biedt voor zwaardere ensemble- of multi-scale benaderingen voor real-world tabulaire anomaliedetectie. De methode vermindert de afhankelijkheid van hyperparameter-aanpassing en validatiestellingen, waardoor het geschikt is voor scenario's waarin anomalieën onbekend zijn en data schaars of verontreinigd is.

Erkende Beperkingen:

• Het voordeel van de methode neemt af wanneer kenmerken worden gestandaardiseerd tot bijna-Gaussische marginals (bijvoorbeeld diepe visuele embedings), omdat de kurtosis-regel dan instort tot een enkele schaal.
• In de onbewaakte setting vertrouwt de EMA-leraar filter op een vaste percentiel-cutoff, wat impliciet aanneemt dat het verontreinigingspercentage onder een bepaalde drempel ligt (bijvoorbeeld <20%). De prestaties verslechteren als de verontreinigingspercentages extreem hoog zijn.