Technische Samenvatting: Gemaskerde Diffusiemodellering voor Anomaliedetectie (MaskDiff-AD)

Probleemstelling

Anomaliedetectie heeft tot doel steekproeven te identificeren die aanzienlijk afwijken van de nominale datagenererende verdeling. Hoewel dit cruciaal is voor veiligheidskritische toepassingen in de gezondheidszorg, financiën en cyberveiligheid, ondervinden bestaande methoden aanzienlijke beperkingen bij toepassing op categorische, gemengde en discrete sequentiedata. Klassieke methoden die vertrouwen op Euclidische meetkunde of continue dichtheden, worstelen met deze datatypen. Bovendien, hoewel diffusiemodellen veelbelovend blijken in het modelleren van complexe verdelingen, richt het grootste deel van het onderzoek zich op continue domeinen (bijvoorbeeld afbeeldingen) of op de efficiëntie van generatieve steekproeven.

Een specifieke uitdaging doet zich voor bij het aanpassen van Diffusion Time Estimation (DTE) — een succesvol kader voor continue anomaliedetectie — aan discrete data. DTE schat de posterieure verdeling over diffusietijd om een anomaliescore af te leiden. Zoals echter in dit artikel wordt aangetoond, zorgt het absorberende maskeringmechanisme inherent aan Masked Diffusion Models (MDM) ervoor dat de DTE-stijl posterior in discrete ruimten degenereren. Specifiek, voor schone categorische steekproeven, collapseert de posterior naar identieke waarden of hangt deze uitsluitend af van het maskeringpatroon in plaats van van de onderliggende dataverdeling, waardoor deze niet-discriminerend wordt.

Methodologie: MaskDiff-AD

De auteurs stellen MaskDiff-AD voor, een enkelrichtings (forward-only) kader voor anomaliedetectie gebaseerd op Masked Diffusion Models die uitsluitend zijn getraind op nominale (normale) data. In plaats van diffusietijd te schatten, maakt MaskDiff-AD gebruik van de moeilijkheid om gemaskerde coördinaten te reconstrueren vanuit de zichtbare context.

Kernmechanisme

1. Training: Een gemaskerd diffusiemodel $p_\theta$ wordt getraind op nominale data $q_0$ met behulp van een standaard objectief voor gemaskerde reconstructie. Het model leert schone categorische waarden te voorspellen vanuit gedeeltelijk gemaskerde observaties.
2. Proefmaskering: Gegeven een teststeekproef $x$, genereert de methode meerdere "proefweergaven" door willekeurig coördinaten te maskeren op verschillende niveaus $\tau_1, \dots, \tau_L$. Dit simuleert het voorwaartse diffusieproces.
3. Reconstructiescoring: Voor elke gemaskerde weergave probeert het getrainde model de gemaskerde waarden te reconstrueren. De anomaliescore wordt gedefinieerd als de gemiddelde reconstructie-verbazing (negatieve log-waarschijnlijkheid) van de ware gemaskerde waarden gegeven de zichtbare context.
   • Normale steekproeven: Coördinaten zijn onderling consistent met de geleerde nominale verdeling, waardoor ze eenvoudig te voorspellen zijn vanuit de context (lage verbazing).
   • Anomale steekproeven: Coördinaten schenden de geleerde afhankelijkheidsstructuur, waardoor reconstructie moeilijk wordt (hoge verbazing).
4. Aggregatie: De uiteindelijke score $S_{rec}(x)$ middelt de reconstructiemoeilijkheden over meerdere proefniveaus en meerdere onafhankelijke maskeringweergaven om robuustheid te waarborgen.

Varianties

Het artikel introduceert twee implementaties:

• Parametrisch MaskDiff-AD: Gebruikt een neurale netwerken (bijvoorbeeld Transformer of MLP) die is getraind om de conditionele verdeling $p_\theta(\cdot | x_{masked})$ te benaderen.
• Niet-parametrisch MaskDiff-AD: Schat conditionele kansen direct uit de trainingsset met behulp van een met een kernel gesmoothde empirische verdeling gebaseerd op de Hamming-afstand in de zichtbare coördinaten. Dit vermijdt modeltraining, maar brengt hogere inferentiekosten met zich mee op grote datasets.

Theoretische Waarborgen

De auteurs bieden theoretische analyse die Type-I (vals positief) en Type-II (vals negatief) fouten karakteriseert. Zij tonen aan dat, onder een goed gespecificeerd reconstructiemodel, de anomaliescore normale en anomale verdelingen scheidt. De kloof tussen de verwachte scores voor normale en anomale data wordt gedreven door de KL-divergentie tussen de ware conditionele verdeling en de reconstructieverdeling van het model.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert anomaliedetectie op discrete toestandsruimten met behulp van gemaskerde diffusiemodellen en toont rigoureus aan waarom een directe uitbreiding van het DTE-kader in deze setting faalt vanwege het absorberende karakter van discrete maskering.
2. Algoritme: Het introduceert MaskDiff-AD, een computatie-efficiënte, enkelrichtingsmethode die content-gevoelige anomaliescores genereert zonder dure reverse-time steekproeven of iteratieve imputatie te vereisen.
3. Varianten & Theorie: Het werk ontwikkelt zowel parametrische als niet-parametrische varianten en biedt theoretische waarborgen met betrekking tot detectieprestaties (Type-I/II-fouten) onder vaste drempelwaarden.
4. Empirische Validatie: Uitgebreide experimenten zijn uitgevoerd op 18 real-world datasets, waaronder 14 categorische/gemengde tabulaire datasets (van ADBench en UADAD) en 4 tekst-anomaliedetectiedatasets (van NLP-ADBench).

Experimentele Resultaten

• Tabulaire Data: MaskDiff-AD behaalt de beste algehele gemiddelde rang (3,93) over 12 tabulaire baseline-methoden, waaronder klassieke benaderingen (Isolation Forest, COPOD, ECOD) en recente deep learning-methoden (DTE-varianten, MCM, DRL). De parametrische variant presteert beter dan alle baselines, terwijl de niet-parametrische variant ook hoog scoort. Opmerkelijk is dat het DTE-Gaussian overtreft, wat discrete data in een continue ruimte moet embedden, wat de voordelen benadrukt van direct werken in de discrete toestandsruimte.
• Tekstdata: De methode presteert uitzonderlijk goed op korte tekstsequenties (Email Spam, SMS Spam) en overtreft end-to-end detectoren (DATE) en op embedding gebaseerde baselines. Echter, op langere of semantisch rijkere sequenties (AGNews, YelpReview) is het minder concurrerend dan sterke op embedding gebaseerde baselines, wat suggereert dat er behoefte is aan meer gespecialiseerde sequentie-architecturen voor lange teksten.
• Efficiëntie: De parametrische variant biedt een gunstige balans tussen trainingskosten en inferentiesnelheid en presteert aanzienlijk beter dan diepe baselines zoals GOAD en ICL in totale runtime op grote datasets.

Betekenis en Claims

Het artikel claimt dat MaskDiff-AD een natuurlijke en effectieve oplossing biedt voor anomaliedetectie in discrete domeinen door gebruik te maken van de reconstructiemoeilijkheid van gemaskerde diffusiemodellen. De betekenis hiervan ligt in:

• Directe Discrete Modellering: Het vermijdt de valkuilen van het forceren van discrete data in continue embeddings, waardoor de oorspronkelijke structurele kenmerken en inter-feature afhankelijkheden behouden blijven.
• Computationele Efficiëntie: Door gebruik te maken van een enkelrichtings scoringsmechanisme, vermijdt het de hoge computatiekosten die geassocieerd zijn met reverse-time steekproeven in generatieve anomaliedetectie.
• Robuustheid: De strategie voor het middelen over meerdere proeven vermindert de gevoeligheid voor specifieke maskerniveaus of willekeurige variaties.

De auteurs erkennen bescheiden beperkingen, waarbij zij opmerken dat de prestaties op lange tekstsequenties momenteel suboptimaal zijn en dat de effectiviteit van de methode afhangt van de kwaliteit van de geleerde gemaskerde conditionelen en de keuze van proefniveaus. Voor toekomstig werk wordt voorgesteld adaptieve proefselectie op te nemen en architecturen die zijn toegespitst op gestructureerde discrete objecten zoals grafen en moleculen.