Riepilogo Tecnico: Denoising Score Matching Guidato dalla Curtosi per il Rilevamento di Anomalie in Dati Tabellari

Enunciato del Problema

Il rilevamento di anomalie in dati tabellari richiede l'identificazione di osservazioni che si discostano dalla distribuzione attesa. Sebbene il Denoising Score Matching (DSM) offra un quadro potente per modellare distribuzioni ad alta dimensionalità apprendendo la funzione di punteggio (il gradiente della log-densità), affronta una sfida pratica critica: la selezione della scala del rumore.

Il DSM standard si basa su una singola scala di rumore fissa ($\sigma$) applicata globalmente a tutte le caratteristiche. Ciò crea un compromesso:

• Rumore troppo basso: Le stime del punteggio apprese sono instabili nelle regioni sparse, fallendo nel catturare la struttura dove risiedono tipicamente le anomalie.
• Rumore troppo alto: La perturbazione cancella la struttura locale, appiattendo le distinzioni tra campioni normali e anomali e indebolendo la sensibilità.

Le soluzioni esistenti, come il Multi-Scale Score Matching (MSM) o le Noise Conditional Score Networks (NCSN), tentano di risolvere ciò addestrando modelli su multiple scale di rumore. Tuttavia, questi approcci introducono un significativo sovraccarico computazionale, richiedono una complessa selezione del rumore al momento dell'inferenza e spesso non superano baselines più semplici quando le architetture non sono attentamente sintonizzate. Inoltre, in contesti completamente non supervisionati (contaminati) dove i dati di addestramento contengono anomalie, il DSM standard fallisce perché l'obiettivo di denoising insegna esplicitamente al modello ad assegnare norme di punteggio basse ai contaminanti.

Metodologia

Gli autori propongono K-DSM (Kurtosis-Guided Denoising Score Matching), un metodo che sostituisce la scala globale del rumore con una strategia di scalatura del rumore adattiva ai dati e per caratteristica.

1. Perturbazione per Caratteristica

Invece di applicare un $\sigma$ globale, K-DSM impiega una matrice di covarianza del rumore diagonale $\Sigma = \text{diag}(\sigma_1^2, \dots, \sigma_d^2)$. La funzione obiettivo è modificata per prevedere il rumore a varianza unitaria $\varepsilon$ piuttosto che il punteggio grezzo, disaccoppiando il contributo del gradiente dalla scala del rumore:
$$\mathcal{L}_{\text{per-feature}}^{\text{DSM}}(\theta) = \frac{1}{2} \mathbb{E}_{x \sim p_{\text{data}}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \Sigma)} \left[ \| s_\theta(\tilde{x}) + \Sigma^{-1/2}(\tilde{x} - x) \|_2^2 \right]$$
Ciò garantisce che le caratteristiche con scale di rumore più piccole non dominino la funzione di perdita.

2. Scalatura del Rumore Guidata dalla Curtosi

L'innovazione centrale consiste nel determinare $\sigma_j$ per ogni caratteristica $j$ basandosi sulla forma statistica della sua distribuzione marginale. Gli autori utilizzano la curtosi (il quarto momento standardizzato) come proxy per l'estremità della coda.

• Razionale: Distribuzioni a code leggere o piatte (bassa curtosi) coprono già il loro supporto efficace e richiedono perturbazioni più piccole. Distribuzioni a code pesanti o fortemente concentrate (alta curtosi) lasciano lo spazio circostante sottorappresentato e richiedono perturbazioni più ampie per esporre la rete a regioni a bassa densità.
• Riorganizzazione dell'Istogramma: Per garantire che la curtosi rifletta il peso della coda piuttosto che artefatti come asimmetria o bimodalità, gli autori applicano una riorganizzazione simmetrica decrescente dell'istogramma prima di calcolare la curtosi. Questo passo simmetrizza la distribuzione empirica attorno alla sua moda dominante, isolando il tasso di decadimento dal picco alle code.
• La Regola di Scalatura: La scala del rumore è calcolata tramite una regola affine derivata dall'espansione di Cornish–Fisher:
  $$\sigma_j = \sigma_{\text{base}} \cdot (1 + c \cdot (\kappa_j^* - 3))$$
  dove $\kappa_j^*$ è la curtosi della $j$-esima caratteristica riorganizzata, $\sigma_{\text{base}}$ è un iperparametro globale e $c$ è un coefficiente di sensibilità (impostato empiricamente a 0.33). Il risultato viene limitato a un intervallo valido $[\sigma_{\min}, \sigma_{\max}]$.

3. Giustificazione Teorica

Il documento dimostra che per distribuzioni unimodali simmetriche, il raggio della coda (la distanza che un punto di addestramento deve essere spostato per raggiungere una specifica probabilità di coda) è strettamente crescente in funzione della curtosi. Di conseguenza, la regola affine nell'Eq. (5) è mostrata essere la scala di rumore ottimale unica del primo ordine per la copertura della coda, fornendo un'alternativa fondata alla sintonizzazione euristica.

4. Estensione Non Supervisionata (Filtraggio con Insegnante EMA)

Per affrontare il contesto "contaminato" dove i dati di addestramento contengono anomalie, gli autori introducono un meccanismo di filtraggio leggero. Mantengono una Media Mobile Esponenziale (EMA) dei pesi del modello online (un "insegnante"). Durante l'addestramento, i campioni con una norma di punteggio elevata secondo l'insegnante sono identificati come probabili contaminanti e rimossi dall'aggiornamento del gradiente. Ciò impedisce al modello di imparare ad assegnare punteggi di anomalie bassi ai contaminanti stessi.

Contributi Chiave

1. Rivalutazione del DSM a Scala Singola: Gli autori dimostrano che un modello DSM a scala singola, quando dotato di un'architettura MLP moderna (simile a ResNet), supera già i metodi multi-scala (MSM) e altre baselines profonde (DTE, SLAD) su benchmark tabellari. Ciò sfida l'assunto prevalente secondo cui la condizionamento multi-scala è strettamente necessario per un rilevamento di anomalie basato su punteggio efficace.
2. K-DSM con Garanzie Teoriche: La proposta di una regola di scalatura del rumore per caratteristica basata sulla curtosi marginale, supportata da una prova che la mappatura affine è la soluzione ottimale unica del primo ordine per la copertura della coda.
3. Prestazioni all'Avanguardia: K-DSM raggiunge la migliore media AUC-PR (0.627) su ADBench (57 dataset) nel contesto semi-supervisionato, superando la baseline runner-up (0.594).
4. Rilevamento Non Supervisionato Robusto: Combinando K-DSM con la regola di filtraggio EMA-teacher, il metodo raggiunge prestazioni all'avan-guardia (0.343 media AUC-PR) nel contesto completamente non supervisionato (contaminato), recuperando significativamente le prestazioni perse a causa della contaminazione dei dati.
5. Efficienza: A differenza degli approcci multi-scala che richiedono inferenza a più livelli di rumore, K-DSM mantiene la velocità di inferenza di un singolo passaggio in avanti, rendendolo significativamente più veloce di MSM e DDAE.

Risultati Sperimentali

• Contesto Semi-Supervisionato (Dati di Addestramento Puliti): Su ADBench, K-DSM raggiunge una media AUC-PR di 0.627, superando la baseline runner-up (0.594) e la baseline DSM a scala singola (0.584). Il metodo è anche robusto rispetto alla scelta della scala di rumore di base $\sigma_{\text{base}}$, mentre il DSM standard è altamente sensibile a questo iperparametro.
• Contesto Non Supervisionato (Dati di Addestramento Contaminati): Il DSM standard e K-DSM collassano in questo contesto (scendendo a ~0.188 AUC-PR) perché imparano a trattare le anomalie come normali. L'estensione EMA-teacher ripristina le prestazioni, portando K-DSM-EMA a 0.343 AUC-PR, il miglior risultato tra 14 metodi confrontati.
• Benchmark di Immagini: Su MVTec-AD e VisA (utilizzando embedding DINOv3), K-DSM è competitivo ma non dominante. Gli autori notano che ciò è atteso perché le caratteristiche di visione profonda standardizzate sono approssimativamente Gaussiane per coordinata, rendendo inefficace la scalatura basata sulla curtosi (poiché $\kappa \approx 3$). Questo delimita il regime di validità del metodo: eccelle dove esiste eterogeneità delle code marginali.
• Velocità di Inferenza: K-DSM è il metodo di deep learning più veloce all'inferenza, richiedendo solo un singolo passaggio in avanti (~0.02–0.03s per dataset), rispetto ai secondi necessari per metodi multi-scala o basati su diffusione.

Significato e Affermazioni

Il documento sostiene che la sfida di lunga data della selezione della scala del rumore nel DSM può essere affrontata senza ricorrere a modelli multi-scala computazionalmente costosi. Adattando il livello di rumore alla geometria intrinseca della distribuzione di ogni caratteristica, K-DSM migliora la copertura delle regioni a bassa densità preservando al contempo la sensibilità nelle aree ad alta densità.

Gli autori affermano che una attenta scalatura del rumore adattiva ai dati combinata con una ricetta di addestramento robusta alla contaminazione offre un'alternativa pratica, scalabile e all'avanguardia agli approcci più pesanti basati su ensemble o multi-scala per il rilevamento di anomalie in dati tabellari reali. Il metodo riduce la dipendenza dalla sintonizzazione degli iperparametri e dai set di validazione, rendendolo adatto a scenari in cui le anomalie sono sconosciute e i dati sono scarsi o contaminati.

Limitazioni Riconosciute:

• Il vantaggio del metodo diminuisce quando le caratteristiche sono standardizzate verso marginali quasi Gaussiane (ad esempio, embedding di visione profonda), poiché la regola della curtosi collassa in una scala singola.
• Nel contesto non supervisionato, il filtro EMA-teacher si basa su una soglia di percentile fissa, assumendo implicitamente che il tasso di contaminazione sia al di sotto di una certa soglia (ad esempio <20%). Le prestazioni peggiorano se i tassi di contaminazione sono estremamente elevati.