🤖 machine learning

DQS: A Low-Budget Query Strategy for Enhancing Unsupervised Data-driven Anomaly Detection Approaches

Questo articolo introduce la Dissimilarity-based Query Strategy (DQS), un nuovo approccio di apprendimento attivo che migliora l'individuazione non supervisionata di anomalie in serie temporali selezionando campioni diversificati per l'etichettatura da parte dell'oracle al fine di perfezionare la selezione della soglia, dimostrando prestazioni superiori in scenari a basso budget nonostante il potenziale errato etichettamento.

Autori originali: Lucas Correia, Jan-Christoph Goos, Thomas Bäck, Anna V. Kononova

Pubblicato 2026-08-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lucas Correia, Jan-Christoph Goos, Thomas Bäck, Anna V. Kononova

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il guardiano di una enorme fabbrica di macchine ronzanti. Ogni giorno, migliaia di sensori registrano il battito cardiaco delle macchine: temperatura, vibrazione, pressione e velocità. La maggior parte del tempo, queste macchine procedono con un ritmo "nominale" (normale). Ma a volte, un ingranaggio scivola o un cuscinetto si surriscalda, creando un glitch anomalo e strano. Se riesci a cogliere questi glitch precocemente, salvi la fabbrica; se li perdi, le cose si rompono. Il problema è che i dati sono così vasti e complessi che gli esseri umani non possono osservare ogni singolo secondo. Così, usiamo i computer per ascoltare i battiti strani.

Ma ecco il problema: i computer sono bravissimi a individuare la stranezza, ma sono terribili nel capire quanto una stranezza sia "troppo strana". È come un rilevatore di fumo che suona per l'odore del pane tostato ma resta in silenzio durante un incendio perché non gli è mai stato detto che odore ha un vero incendio. Per risolvere questo, di solito dobbiamo mostrare al computer esempi di macchine "normali" e "guaste" affinché possa imparare la linea di demarcazione. Ma nel mondo reale, raramente abbiamo a disposizione un mucchio di esempi etichettati di macchine "guaste" pronte all'uso. Questo articolo vive in un angolo della scienza chiamato apprendimento non supervisionato per l'anomalia (unsupervised anomaly detection), dove cerchiamo di trovare le mele marce senza una lista predefinita di cosa siano le mele marce. La grande domanda è: se non possiamo etichettare tutto, come facciamo a insegnare al computer il giusto per ottenere il risultato senza spendere una fortuna in esperti umani?

Gli autori di questo articolo, Lucas Correia e il suo team, hanno deciso di affrontare questa sfida mescolando due idee: l'apprendimento non supervisionato (lasciare che il computer indovini da solo) e l'apprendimento attivo (chiedere aiuto a un esperto umano solo quando è assolutamente necessario). Chiamano il loro nuovo metodo DQS (Strategia di Query basata sulla Dissimilarità).

Pensa al computer come a un detective che cerca di trovare un ladro in mezzo a una folla. Il detective ha un "punteggio di sospetto" per tutti. Se il punteggio è troppo alto, la persona è un ladro; se è basso, è innocente. Ma il detective non sa dove tracciare la linea. Di solito, il detective tira a indovinare la linea, il che spesso porta a errori. Gli autori suggeriscono un modo più intelligente: invece di chiedere all'esperto umano di etichettare persone a caso, o solo le persone che il detective ritiene siano più sospette, il detective dovrebbe chiedere di persone che sono completamente diverse tra loro.

Ecco come funziona la loro nuova strategia, DQS: Immagina che il detective abbia una lista di "punteggi di sospetto" per tutti. Per scegliere la prossima persona da sottoporre all'esperto umano, DQS guarda i punteggi e chiede: "Chi qui è il più diverso dalle persone di cui ho già chiesto?". Usano uno strumento matematico chiamato Dynamic Time Warping (DTW) per misurare questa "diversità". Puoi pensare al DTW come a un modo per confrontare due canzoni che potrebbero essere suonate a velocità diverse. Anche se una canzone è veloce e l'altra è lenta, il DTW può capire se sono la stessa melodia o totalmente diverse. DQS usa questo per trovare punteggi di anomalia che siano il più diversi possibile da quelli già controllati. Scegliendo i campioni più diversificati e "stranamente differenti" da mostrare all'umano, il detective impara la linea di demarcazione molto più velocemente e con maggiore precisione.

L'articolo testa questa idea su un dataset chiamato PATH, che simula il comportamento complesso e variabile del motore di un'auto nel tempo. Hanno confrontato DQS con altri tre modi di chiedere aiuto:

Random (Casuale): Scegliere persone a caso lanciando un dado.
Top: Chiedere solo informazioni sulle persone con i punteggi di sospetto più alti.
Uncertainty (Incertezza): Chiedere informazioni sulle persone i cui punteggi si trovano proprio sul limite della previsione attuale.

I risultati, misurati da un punteggio chiamato F1 (che bilancia il trovare tutte le mele marce senza dare troppo allarme), hanno mostrato alcune cose interessanti. Quando l'esperto umano ha un budget molto piccolo (ovvero può etichettare solo pochi campioni, come 1 o 5), DQS è il vincitore assoluto. Trova la soglia migliore molto meglio degli altri metodi. Tuttavia, gli autori hanno anche testato cosa succede se l'esperto umano commette errori (errori di etichettatura). Hanno simulato scenari in cui l'esperto sbagliava il 10%, il 20% o persino il 30% delle volte. In queste situazioni disordinate e realistiche, DQS ha comunque performato bene, ma la strategia "Top" (chiedere informazioni sui più sospetti) si è rivelata un po' più ostinata e robusta contro gli errori dell'umano.

Fondamentalmente, l'articolo dimostra che nessuna singola strategia è perfetta in ogni situazione. DQS non è una bacchetta magica che batte tutto per sempre. Infatti, quando il budget è enorme (10 campioni), gli altri metodi a volte raggiungono o addirittura superano DQS in giorni specifici. Ma il dato più importante è che qualsiasi di queste strategie intelligenti di richiesta è migliore del semplice tirare a indovinare la linea senza chiedere a nessuno. Anche quando l'esperto umano commette errori, usare una strategia per scegliere chi interrogare porta comunque a risultati migliori rispetto al computer che prova a indovinare da solo.

Gli autori concludono che, se hai la possibilità di chiedere aiuto a un esperto umano, dovresti assolutamente farlo, ma devi essere intelligente su chi chiedere. Se hai pochissimo tempo o denaro per l'etichettatura, usa il metodo DQS per scegliere i campioni più diversificati. Se temi che il tuo esperto possa stancarsi e commettere errori, la strategia "Top" potrebbe essere più sicura. L'articolo non sostiene di aver risolto il problema della rilevazione delle anomalie per sempre, ma suggerisce che, essendo strategici nel modo in cui chiediamo aiuto, possiamo avvicinarci molto di più alla risposta perfetta senza aver bisogno di una montagna di dati etichettati.

Riepilogo Tecnico: DQS – Una Strategia di Query a Basso Budget per Migliorare gli Approcci di Rilevamento delle Anomalie Non Supervisionati Basati sui Dati

1. Definizione del Problema

Gli approcci veramente non supervisionati per il rilevamento delle anomalie nelle serie temporali sono scarsi nella letteratura scientifica. I metodi esistenti soffrono spesso di soglie impostate in modo errato, il che compromette significativamente le prestazioni di rilevamento. Sebbene alcuni approcci dichiarino di essere non supervisionati, essi si affidano frequentemente a sottoinsiemi di dati etichettati per la calibrazione o la sintonizzazione degli iperparametri, una risorsa spesso non disponibile negli scenari reali. Anche quando esistono metodi veramente non supervisionati (ad esempio, utilizzando un Temporal Variational Autoencoder, TeVAE), il processo di selezione della soglia rimane un collo di bottiglia critico. Correia et al. [12] hanno dimostrato un divario significativo di prestazioni tra la soglia non supervisionata e una soglia ottimale, indicando un potenziale inespresso.

Inoltre, la letteratura esistente sull'apprendimento attivo (active learning) in questo dominio assume tipicamente un "oracolo perfetto" (accuratezza di etichettatura del 100%), un'ipotesi idealizzata che ignora la realtà dell'errore umano, della fatica e della difficoltà di etichettare determinati campioni. Vi è una mancanza di ricerca che indaghi come i tassi di errata etichettatura influenzino le prestazioni del rilevamento delle anomalie quando si utilizza l'apprendimento attivo per la selezione della soglia.

2. Metodologia

2.1 Framework di Apprendimento Attivo

L'approccio proposto integra l'apprendimento attivo in un esistente pipeline di rilevamento delle anomalie non supervisionato. Il sistema opera in un ciclo che coinvolge:

L'Oracolo: Un esperto di dominio che etichetta i campioni non etichettati come nominali o anomali.
Il Modello: Un rilevatore di anomalie non supervisionato (specificamente TeVAE) addestrato su dati non etichettati.
La Strategia di Query: Un meccanismo per selezionare quali campioni da un pool di candidati debbano essere inviati all'oracolo per l'etichettatura, vincolato da un budget di query $B$ .
La Strategia di Feedback: Il processo di utilizzo dei nuovi dati etichettati per raffinare la soglia decisionale, migliorando così le prestazioni di rilevamento.

2.2 Strategia di Query Basata sulla Dissimilarità (DQS)

Il contributo principale di questo lavoro è la Strategia di Query Basata sulla Dissimilarità (DQS). Questa è una strategia non parametrica progettata per massimizzare la diversità dei campioni interrogati senza richiedere una parametrizzazione preventiva.

Meccanismo: DQS valuta la similarità tra i punteggi di anomalia di diverse serie temporali utilizzando il Dynamic Time Warping (DTW). A differenza di metriche come l'Errore Quadratico Medio, il DTW può gestire sequenze di lunghezze variabili e tiene conto del disallineamento temporale.
Logica di Selezione:
1. Inizializzazione: Per la prima query di un round, viene selezionato un campione casuale dall'insieme dei punteggi candidati ( $C_{as}$ ).
2. Massimizzazione della Diversità: Per le query successive all'interno di un round, l'algoritmo identifica il campione candidato che è più dissimile dal campione più simile già presente nell'insieme di query ( $Q_{as}$ ).
3. Processo:
  - Calcola la distanza DTW tra tutti i candidati in $C_{as}$ e tutti i campioni in $Q_{as}$ .
  - Identifica il candidato ( $o$ ) in $C_{as}$ che ha la distanza minima rispetto a qualsiasi campione in $Q_{as}$ (il "più simile").
  - Identifica il candidato ( $r$ ) in $C_{as}$ che ha la distanza massima rispetto a $o$ (il "più dissimile").
  - Sposta $r$ in $Q_{as}$ .
Raffinamento della Soglia: Una volta esaurito il budget $B$ per un round, i campioni etichettati in $Q_{as}$ vengono utilizzati per eseguire una ricerca a griglia (grid search) per una soglia ottimale $\tau$ , sostituendo la soglia non supervisionata standard ( $\tau_{us}$ ).

2.3 Configurazione Sperimentale

Dataset: È stato utilizzato il dataset PATH, che rappresenta la dinamica del gruppo motopropulsore automobilistico. Consiste in serie temporali multivariate con anomalie non banali.
Simulazione di Condizioni Reali: I dati sono stati suddivisi in finestre temporali crescenti (da 1 giorno a 28 giorni) per simulare l'accumulo graduale dei dati.
Simulazione di Errata Etichettatura: Per testare la robustezza, le etichette di ground-truth sono state invertite in base a una distribuzione di Bernoulli con probabilità di errata etichettatura ( $p_m$ ) di 0,1, 0,2 e 0,3.
Baseline:
- Soglia Non Supervisionata ( $\tau_{us}$ ): Errore massimo dal set di validazione.
- Ipotesi della Migliore Soglia ( $\tau_{best}$ ): La soglia ottimale trovata tramite ricerca a griglia sul set di test (non osservabile nella pratica).
- Strategia di Query Casuale (RQS): Selezione casuale.
- Strategia di Query Top-Based (TQS): Selezione di campioni con i punteggi di anomalia più elevati (basata sull'incertezza in parte della letteratura).
- Strategia di Query Basata sull'Incertezza (UQS): Selezione di campioni più vicini alla soglia attuale.

3. Contributi Chiave

Nuova Strategia di Query (DQS): Introduzione di una strategia di query non parametrica che sfrutta il DTW per massimizzare la diversità dei campioni nel contesto del rilevamento di anomalie su sequenze discrete.
Analisi dell'Errata Etichettatura: Una metodologia di test innovativa che tiene esplicitamente conto delle probabilità di errata etichettatura dell'oracolo, affrontando una lacuna nella letteratura dove viene spesso assunta un'etichettatura perfetta.
Integrazione dell'Apprendimento Attivo: Dimostrazione di un framework pratico per combinare l'apprendimento attivo con modelli non supervisionati specificamente per raffinare la selezione della soglia, piuttosto che il riaddestramento del modello stesso.

4. Risultati

4.1 Prestazioni vs. Budget di Query

Piccoli Budget ( $B < 10$ ): DQS ha superato costantemente RQS, TQS e UQS in vari split temporali (da 1 a 28 giorni). Ha raggiunto punteggi F1 significativamente più vicini alla ipotetica migliore soglia ( $\tau_{best}$ ) rispetto alla baseline non supervisionata.
Budget Maggiori ( $B = 10$ ): DQS è rimasta competitiva, spesso eguagliando o superando altre strategie, sebbene TQS abbia mostrato prestazioni solide in specifici split.
Tendenza Generale: Tutte le strategie di query hanno superato la soglia non supervisionata ( $\tau_{us}$ ) una volta che il sottoinsieme di addestramento è diventato sufficientemente grande affinché il modello apprendesse rappresentazioni significative.

4.2 Impatto dell'Errata Etichettatura

Robustezza: Mentre DQS ha performato meglio in scenari a basso budget e con etichette pulite, TQS ha dimostrato una maggiore robustezza di fronte a tassi di errata etichettatura più elevati ( $p_m = 0,2, 0,3$ ).
Sensibilità di DQS: Le prestazioni di DQS sono degradate in modo più evidente con l'aumentare dei tassi di errata etichettatura rispetto a TQS, specialmente negli split temporali più avanzati.
Risultato Complessivo: Nonostante l'errata etichettatura, tutte le strategie di apprendimento attivo hanno superato la soglia puramente non supervisionata ( $\tau_{us}$ ). Anche con un tasso di errore del 30%, le soglie basate sull'apprendimento attivo hanno prodotto punteggi F1 migliori rispetto alla baseline non supervisionata.

5. Significato e Rivendicazioni

Gli autori affermano che questo lavoro fornisce una soluzione pratica per scenari in cui i dati etichettati sono scarsi ma un oracolo (esperto umano) è disponibile per query limitate. La significatività risiede in:

Efficienza a Basso Budget: DQS è particolarmente efficace quando il costo dell'etichettatura è elevato (piccolo budget), massimizzando il guadagno di informazioni per ogni query garantendo la selezione di campioni diversificati.
Fattibilità dell'Apprendimento Attivo: Lo studio valida il fatto che l'impiego di una soglia basata sull'apprendimento attivo è raccomandato ogni volta che sia possibile, poiché supera costantemente il dimensionamento della soglia non supervisionata anche in presenza di etichettatura imperfetta.
Valutazione Realistica: Introducendo probabilità di errata etichettatura, il documento offre una valutazione più realistica delle strategie di apprendimento attivo nel rilevamento delle anomalie nelle serie temporali, andando oltre l'ipotesi idealizzata dell' "oracolo perfetto".

Il documento conclude che, sebbene nessuna singola strategia domini tutte le categorie (DQS eccelle in scenari a basso budget/etichette pulite; TQS in scenari ad alta errata etichettatura), l'integrazione dell'apprendimento attivo per la selezione della soglia è un approccio pratico e superiore ai metodi puramente non supervisionati. Il lavoro futuro suggerito si concentra sulla standardizzazione delle procedure di benchmarking e sullo sviluppo di strategie di query che bilancino l'efficienza a basso budget con la robustezza all'errata etichettatura.