Revisiting Energy-based Tabular Anomaly Detection: Energy and Reconstruction are Complementary

Technische Samenvatting: Een herwaardering van Energy-Based Tabulaire Anomaliedetectie

Probleemstelling
Tabulaire anomaliedetectie wordt momenteel gedomineerd door drie methodologische lineages: klassieke dichtheids-proxy methoden (bijv. Isolation Forest, OCSVM, LOF), reconstructie-gebaseerde detectoren (bijv. Autoencoders, VAE's) en moderne niet-parametrische scorers (bijv. COPOD, ECOD, Deep SVDD). Een kritieke beperking die deze benaderingen delen, is dat ze de inlier-distributie slechts indirect benaderen—via geometrische partitionering, ondersteuningsgrenzen, lokale dichtheidsratio's of coördinaat-gewijze reconstructiefouten. Geen van deze methoden biedt een expliciete, differentieerbare scalaire energiefunctie gedefinieerd over de gezamenlijke configuratie van alle invoerkenmerken. Hoewel Energy-Based Models (EBM's) een revival hebben gezien in deep learning (bijv. Energy-Based Transformers, JEPA), blijven klassieke EBM's grotende-els afwezig uit het gereedschapskistje voor tabulaire anomaliedetectie. Dit artikel onderzoekt of de Deep Boltzmann Machine (DBM), een canonieke meerlaagse bidirectionele EBM, als een concurrerende en complementaire detector kan dienen in dit domein.

Methodologie
De studie evalueert een DBM met twee verborgen lagen, getraind op twee verschillende tabulaire benchmarks: UCI Bank Marketing (direct marketing data) en NSL-KDD (netwerkinbraakdetectie, beperkt tot normaal vs. DoS-aanvallen). Het experimentele protocol omvat 20 willekeurige seeds om statistische robuustheid te waarborgen, waarbij de DBM wordt vergeleken met acht gevestigde baselines.

• Modelarchitectuur: De DBM bestaat uit een zichtbare laag (binair gecodeerde kenmerken) en twee verborgen lagen ($H_1=48, H_2=24$). De DBM wordt getraind via greedy layer-wise pretraining van Restricted Boltzmann Machines (RBM's) met behulp van Persistent Contrastive Divergence (PCD), gevolgd door gezamenlijke fine-tuning van het volledige netwerk.
• Scoringmechanisme: De primaire anomaliescore is de mean-field energie, aangeduid als $F_{before}(v) = E_\theta(v, \mu)$. Deze score wordt verkregen door de verborgen eenheden te vervangen door hun mean-field verwachtingswaarden ($\mu$) na 10 iteraties van inferentie. Cruciaal is dat de auteur vindt dat het gebruik van de juiste variationele vrije energie ($E - H$, waarbij $H$ de entropie van de posterior is) de prestaties verslechtert, omdat de entropieterm systematisch groter is voor anomalieën, waardoor het discriminerende signaal gedeeltelijk wordt gecompenseerd. Daarom wordt de ruwe energie $E$ gebruikt als de score.
• Hybride Strategieën: Het onderzoek test de complementariteit van de DBM-energie en de Autoencoder (AE) reconstructiefout via:
  1. Rank Fusion: Het middelen van de percentiel-rangen van beide scores.
  2. Convex Combinatie: Een gewogen som $S_\alpha = \alpha F_{DBM} + (1-\alpha) F_{AE}$, met gewichten getuned via leave-one-seed-out cross-validatie.
• Ablatie en Controle: De studie bevat een uitputtende vergelijking waarbij de AE wordt gekoppeld aan elke andere baseline. Het vergelijkt ook de DBM-energiescore met de DBM-reconstructiefout (berekend door de zichtbare laag te 'clampen' en binaire cross-entropie te berekenen) om de waarde van het energieperspectief versus het reconstructieperspectief binnen dezelfde modelfamilie te isoleren.

Belangrijkste Bijdragen en Resultaten

1. Concurrerende Prestaties van Enkele Methoden:

   • Op de Bank Marketing dataset is de DBM mean-field energie ($F_{before}$) statistisch niet te onderscheiden van de sterkste baseline, de Autoencoder (AUROC 0,713 vs. 0,731, $p=0,10$), terwijl het de andere zeven baselines significant overtreft.
   • Op de NSL-KDD dataset (een regime met hoge verzadiging waar de meeste methoden de AUROC-plafond naderen), verslaat de DBM de Autoencoder statistisch op alle metrieken (AUROC +0,0016, $p < 0,002$) en presteert het significant beter dan alle andere baselines.

2. Complementariteit van Energie en Reconstructie:

   • Het combineren van de DBM-energie met de Autoencoder-reconstructiefout levert statistisch significante verbeteringen op op beide datasets.
   • Bank Marketing: Rank fusion bereikt een AUROC van 0,745 (+0,014 t.o.v. AE, $p < 0,01$).
   • NSL-KDD: Rank fusion bereikt een AUROC van 0,9953 (+0,0021 t.o.v. AE, $p < 0,001$).
   • De curves van de convexe combinaties vertonen een duidelijk piekpunt strikt boven de individuele eindpunten, wat bevestigt dat de twee scores werkelijk verschillende aspecten van de inlier-distributie vastleggen.

3. Specificiteit van de DBM-bijdrage:

   • Wanneer de Autoencoder wordt gekoppeld aan andere baselines (VAE, LOF, Isolation Forest, etc.), leidt dit ofwel tot geen verbetering of tot een significante verslechtering van de prestaties.
   • Alleen DBM-afgeleide scores (de DBM mean-field energie $F_{before}$ en de DBM-reconstructiefout) slagen erin de Autoencoder succesvol aan te vullen. Dit geeft aan dat de DBM een niet-redundant "gezamenlijke configuratie"-perspectief biedt dat structureel verschillend is van het "coördinaat-gewijze" perspectief van feed-forward reconstructienetwerken.

4. Computationele Trade-offs:

   • Training: De DBM is aanzienlijk duurder om te trainen (ongeveer 11–17$\times$ de kosten van een Autoencoder) vanwege de vereisten van Gibbs sampling en mean-field inferentie tijdens PCD.
   • Inference: Eenmaal getraind, is het scoren met de DBM computationeel efficiënt (ongeveer 1,5–2,0 ms per 1k samples), wat ongeveer 2–3$\times$ sneller is dan de Autoencoder en een orde van grootte sneller dan OCSVM.

Betekenis en Claims
Het artikel betoogt dat klassieke Energy-Based Models, gesymboliseerd door de DBM, een plek verdienen in het instrumentarium voor tabulaire anomaliedetectie, niet als vervanging voor reconstructie-gebaseerde methoden, maar als een niet-redundant complementair perspectief.

De kernclaim is dat de DBM mean-field energie bewijs aggregeert over de gezamenlijke configuratie van verborgen eenheden via mean-field inferentie, terwijl de reconstructiefout coördinaat-gewijs wordt berekend op een feed-forward bottleneck. Dit structurele verschil stelt de DBM in staat om anomalieën te detecteren die globaal plausibel maar lokaal ongebruikelijk zijn (of vice versa), zaken die reconstructie-gebaseerde methoden mogelijk missen. De auteur stelt dat de recente revival van EBM's in taal en beeld zich moet uitstrekken tot tabulaire data, om een expliciet energie-gebaseerd perspectief te bieden dat betrouwbaar complementair is aan de dominante reconstructie-gebaseerde benaderingen.

De studie is bescheiden in haar reikwijdte en erkent dat de resultaten gebaseerd zijn op twee specifieke datasets en dat de zichtbare laag kwantiel-binning van continue attributen vereist. Echter, de consistente superioriteit van de DBM–AE hybride over verschillende domeinen en het feit dat alle andere niet-DBM koppelingen de Autoencoder niet verbeteren, levert sterk bewijs voor de unieke waarde van het energie-gebaseerde perspectief in tabulaire anomaliedetectie.