Revisiting Energy-based Tabular Anomaly Detection: Energy and Reconstruction are Complementary

Sintesi Tecnica: Ritorno ai Modelli Basati sull'Energia per il Rilevamento di Anomalie Tabulari

Definizione del Problema
Il rilevamento di anomalie tabulari è attualmente dominato da tre linee metodologiche: i metodi classici basati su proxy di densità (es. Isolation Forest, OCSVM, LOF), i rilevatori basati sulla ricostruzione (es. Autoencoder, VAE) e i moderni scorer non parametrici (es. COPOD, ECOD, Deep SVDD). Un limite critico condiviso da questi approcci è che approssimano la distribuzione degli inlier solo indirettamente — tramite partizionamento geometrico, confini di supporto, rapporti di densità locale o errori di ricostruzione coordinata. Nessuno di essi fornisce una funzione scalare di energia esplicita e differenziabile definita sulla configurazione congiunta di tutte le feature di input. Sebbene gli Energy-Based Models (EBM) abbiano visto una rinascita nel deep learning (es. Energy-Based Transformers, JEPA), i classici EBM rimangono ampiamente assenti dal toolkit del rilevamento di anomalie tabulari. Questo articolo investiga se il Deep Boltzmann Machine (DBM), un EBM canonico multi-strato bidirezionale, possa servire come rilevatore competitivo e complementare in questo dominio.

Metodologia
Lo studio valuta un DBM a due strati nascosti addestrato su due benchmark tabulari distinti: UCI Bank Marketing (dati di marketing diretto) e NSL-KDD (rilevamento delle intrusioni di rete, limitato a normal vs. attacchi DoS). Il protocollo sperimentale prevede 20 seed casuali per garantire la robustezza statistica, confrontando il DBM con otto baseline consolidate.

• Architettura del Modello: Il DBM consiste in uno strato visibile (feature codificate in binario) e due strati nascosti ($H_1=48, H_2=24$). Viene addestrato tramite pre-addestramento layer-wise greedy di Restricted Boltzmann Machines (RBM) utilizzando la Persistent Contrastive Divergence (PCD), seguito dal fine-tuning congiunto dell'intera rete.
• Meccanismo di Scoring: Lo score primario è l'energia a campo medio, denotata come $F_{before}(v) = E_\theta(v, \mu)$. Questo score viene ottenuto sostituendo le unità nascoste con le loro aspettative a campo medio ($\mu$) dopo 10 iterazioni di inferenza. Fondamentalmente, l'autore riscontra che l'utilizzo della corretta energia libera variazionale ($E - H$, dove $H$ è l'entropia della distribuzione posteriore) degrada le prestazioni perché il termine di entropia è sistematicamente maggiore per le anomalie, annullando parzialmente il segnale discriminativo. Pertesi, viene utilizzato lo score dell'energia grezza $E$.
• Strategie Ibride: Il paper testa la complementarità dell'energia del DBM e dell'errore di ricostruzione di un Autoencoder attraverso:
  1. Rank Fusion: Media dei ranghi percentili di entrambi gli score.
  2. Combinazione Convessa: Una somma pesata $S_\alpha = \alpha F_{DBM} + (1-\alpha) F_{AE}$, con pesi ottimizzati tramite leave-one-seed-out cross-validation.
• Ablazione e Controllo: Lo studio include un confronto esaustivo in cui l'AE è accoppiato con ogni altra baseline. Confronta inoltre lo score di energia del DBM rispetto all'errore di ricostruzione del DBM stesso (calcolato bloccando il layer visibile e calcolando la cross-entropy binaria) per isolare il valore della prospettiva energetica rispetto alla prospettiva di ricostruzione all'interno della stessa famiglia di modelli.

Contributi Chiave e Risultati

1. Prestazioni Competitive del Metodo Singolo:

   • Sul dataset Bank Marketing, l'energia a campo medio del DBM ($F_{before}$) è statisticamente indistinguibile dalla baseline più forte, l'Autoencoder (AUROC 0.713 vs. 0.731, $p=0.10$), superando significativamente le altre sette baseline.
   • Sul dataset NSL-KDD (un regime ad alta saturazione dove la maggior parte dei metodi si avvicina al soffitto di AUROC), il DBM batte statisticamente l'Autoencoder su tutte le metriche (AUROC +0.0016, $p < 0.002$) e supera significativamente tutte le altre baseline.

2. Complementarità tra Energia e Ricostruzione:

   • Combinare l'energia del DBM con l'errore di ricostruzione dell'Autoencoder produce miglioramenti statisticamente significativi su entrambi i dataset.
   • Bank Marketing: La rank fusion raggiunge un'AUROC di 0.745 (+0.014 rispetto ad AE, $p < 0.01$).
   • NSL-KDD: La rank fusion raggiunge un'AUROC di 0.9953 (+0.0021 rispetto ad AE, $p < 0.001$).
   • Le curve di combinazione convessa mostrano un picco chiaro strettamente superiore ai singoli endpoint, confermando che i due score catturano aspetti genuinamente diversi della distribuzione degli inlier.

3. Specificità del Contributo del DBM:

   • Quando l'Autoencoder è accoppiato con altre baseline (VAE, LOF, Isolation Forest, ecc.), le prestazioni o non migliorano o degradano significativamente.
   • Solo gli score derivati dal DBM (l'energia a campo medio $F_{before}$ e l'errore di ricostruzione del DBM) riescono ad aumentare l'Autoencoder. Ciò indica che il DBM fornisce una visione della "configurazione congiunta" che è strutturalmente distinta dalla visione "per coordinata" delle reti di ricostruzione feed-forward.

4. Compromessi Computazionali:

   • Addestramento: Il DBM è significativamente più costoso da addestrare (circa 11–17$\times$ il costo di un Autoencoder) a causa dei requisiti di Gibbs sampling e dell'inferenza a campo medio durante la PCD.
   • Inferenza: Una volta addestrato, lo scoring con il DBM è computazionalmente efficiente (circa 1.5–2.0 ms per 1k campioni), circa 2–3$\times$ più veloce dell'Autoencoder e di un ordine di grandezza più veloce di OCSVM.

Significatività e Rivendicazioni
Il paper sostiene che i classici Modelli Basati sull'Energia, esemplificati dal DBM, meritino un posto nel toolkit del rilevamento di anomalie tabulari non come sostituti dei metodi basati sulla ricostruzione, ma come una prospettiva complementare non ridondante.

La rivendicazione centrale è che l'energia a campo medio del DBM aggrega l'evidenza sulla configurazione congiunta delle unità nascoste tramite inferenza a campo medio, mentre l'errore di ricostruzione è calcolato per coordinata su un collo di bottiglia feed-forward. Questa differenza strutturale permette al DBM di catturare anomalie che sono plausibili globalmente ma insolite localmente (o viceversa), che i metodi basati sulla ricostruzione potrebbero mancare. L'autore ipotizza che la recente rinascita degli EBM nel linguaggio e nella visione debba estendersi ai dati tabulari, fornendo una prospettiva esplicita basata sull'energia che sia affidabilmente complementare agli approcci basati sulla ricostruzione dominanti.

Lo studio è modesto nella sua portata, riconoscendo che i risultati si basano su due dataset specifici e che il layer visibile richiede la binning quantilica degli attributi continui. Tuttavia, la superiorità costante dell'ibrido DBM–AE attraverso domini distinti e il fallimento di tutte le altre combinazioni non-DBM nel migliorare l'Autoencoder forniscono una forte evidenza del valore unico della prospettiva basata sull'energia nel rilevamento di anomalie tabulari.