Sintesi Tecnica: Continual-MEGA: Un benchmark su larga scala per l'Anomaly Detection generalizzabile

Problematica

L'anomaly detection (AD) è fondamentale per il controllo qualità in diversi domini, tuttavia i modelli esistenti faticano negli scenari di implementazione dinamici del mondo reale. Gli approoli tradizionali spesso assumono impostazioni statiche, non supervisionate o per singola classe, fallendo nell'adattarsi a task che arrivano sequenzialmente in cui emergono nuove categorie di oggetti o tipi di difetti. Riaddestrare i modelli da zero per ogni nuovo task è computazionalmente costoso e spesso impraticabile a causa delle politiche di conservazione dei dati e delle regolamentazioni sulla privacy. Inoltre, l'estrema rarità dei campioni di anomalia rende difficile la ri-raccolta di pattern di difetti storici, portando al catastrofico oblio (catastrophic forgetting).

Sebbene i recenti progressi nel Continual Learning (CL) e nello Zero-Shot Learning (ZSL) offrano potenziali soluzioni, i benchmark di valutazione esistenti (ad es., MVTec-AD, VisA) sono limitati in scala e diversità. Essi non testano adeguatamente la capacità di un modello di generalizzare a classi non viste dopo l'adattamento continuo (Continual Zero-Shot Learning, o CZSL) o di gestire l'alta varianza presente negli ambienti industriali reali. Vi è una mancanza di benchmark su larga scala che integrino dataset pubblici diversificati con nuovi dati ad alta varianza per valutare rigorosamente la generalizzabilità e l'adattabilità dei sistemi di AD.

Metodologia

Il Benchmark Continual-MEGA

Gli autori introducono Continual-MEGA, un benchmark su larga scala progettato per valutare le capacità continue e zero-shot nell'anomaly detection. Esso integra sette dataset pubblici esistenti (MVTec-AD, VisA, Real-IAD, VIADUCT, BTAD, MPDD) con un dataset curato di nuova creazione, ContinualAD.

Dataset ContinualAD:

• Scala e Diversità: Comprende 30 classi con 14.655 immagini normali e 15.827 immagini anomale.
• Alta Varianza: A differenza dei dataset precedenti dove le immagini all'interno di una classe sono visivamente simili, ContinualAD presenta una varianza a livello di pixel significativamente più alta. Ciò è ottenuto catturando gli oggetti in condizioni diverse utilizzando 10 dispositivi differenti (che vanno dagli smartphone ai tablet) e inducendo vari tipi di difetti (crepe, buchi, marciume, graffi, ecc.).
• Annotazione: Le regioni di anomalia sono annotate a livello di pixel utilizzando maschere poligonali.

Scenari di Valutazione:
Il benchmark definisce tre distinti scenari per testare diversi aspetti delle prestazioni del modello:

1. Scenario 1 (Standard CL): Pre-addestramento su 85 classi base seguito da continual learning con 60 nuove classi introdotte in incrementi (5, 10 o 30 classi per task).
2. Scenario 2 (CZSL): Pre-addestramento su 58 classi base (escludendo MVTec-AD e VisA) seguito da continual learning su 60 nuove classi. La generalizzazione zero-shot viene quindi valutata sui dataset MVTec-AD e VisA tenuti da parte (held-out).
3. Scenario 3 (Efficacia di ContinualAD): Simile allo Scenario 2, ma esclude il dataset ContinualAD dallo stream di addestramento per misurare specificamente l'impatto del nuovo dataset sulla generalizzazione zero-shot.

Metriche:
Le prestazioni sono misurate utilizzando l'Accuratezza Media (ACC) basata su AUROC a livello di immagine e Precision Average (AP) a livello di pixel, insieme a una Misura di Oblio (FM) per quantificare la degradazione delle prestazioni sui task precedenti.

Baseline Proposta: ADCT

Per affrontare il benchmark, gli autori propongono Anomaly Detection across Continual Tasks (ADCT), un metodo di baseline costruito sul framework CLIP (Contrastive Language-Image Pre-training). I componenti chiave includono:

• Adapter Mixture-of-Experts (MoE): Adapter MLP leggeri vengono inseriti in quattro blocchi specifici dell'encoder visivo di CLIP. Adapter separati vengono addestrati per ogni task (e per l'insieme base). Durante l'inferenza, viene utilizzato un valore medio di tutti gli adapter ($A_{avg}$) per preservare la conoscenza attraverso i task.
• Generazione di Feature Sintetiche: Per superare la scarsità di dati e migliorare la localizzazione a livello di pixel, il metodo genera feature di anomalia sintetiche aggiungendo rumore Gaussiano alle feature visive prima di passarle attraverso gli adapter. Ciò consente al modello di apprendere diversi pattern di anomalia senza richiedere estesi dati reali di anomalia.
• Prompt Testuali: Prompt testuali generalizzati vengono utilizzati per estrarre le feature testuali sia per gli stati normali che per quelli anomali, facilitando le capacità zero-shot.

Contributi Chiave

1. Benchmark Continual-MEGA: L'introduzione di un nuovo benchmark su larga scala che combina i dataset pubblici esistenti con l'alto-varianza ContinualAD, espandendo significativamente il volume e la diversità dei dati disponibili per la ricerca sull'AD continua.
2. Valutazione Comprensiva: Una valutazione estesa di vari metodi AD all'avanguardia (inclusi quelli basati su VLM, specifici per il continual learning e approcci basati solo su campioni normali) rivela un ampio margine di miglioramento, in particolare nella localizzazione dei difetti a livello di pixel e nella generalizzabilità a classi non viste.
3. Baseline ADCT: La proposta di un metodo di baseline semplice ma efficace che combina adapter in stile MoE leggeri con la sintesi delle feature. Questo approccio dimostra che un adattamento minimo a CLIP pre-addestrato, piuttosto che un fine-tuning esteso, può produrre prestazioni robuste sia in contesti continui che zero-shot.

Risultati

Esperimenti estesi sul benchmark Continual-MEGA producono tre scoperte primarie:

1. Limitazioni dei Metodi Esistenti: Gli attuali metodi di AD mostrano cali di prestazioni significativi, specialmente nella localizzazione a livello di pixel, quando valutati sotto i proposti setting continui su larga scala. I metodi che performano bene sugli standard benchmark (come MVTec-AD) spesso falliscono nel generalizzare alle diverse condizioni di Continual-MEGA.
2. Efficacia di ContinualAD: L'inclusione del dataset ContinualAD nello stream di addestramento (Scenario 2 vs. Scenario 3) migliora significativamente le prestazioni di generalizzazione zero-shot per la maggior parte dei metodi. Al contrario, escluderlo porta a una degradazione evidente della generalizzazione, evidenziandone il valore per l'addestramento di modelli robusti.
3. Superiorità di ADCT: Il baseline proposto ADCT raggiunge prestazioni complessivamente superiori rispetto agli altri metodi in tutti gli scenari. Mantiene un'alta accuratezza minimizzando l'oblio (basso FM). Lo studio di ablazione conferma che la combinazione di adapter, generazione di feature sintetiche e lo schema di inferenza mixture-of-experts è cruciale per bilanciare stabilità e plasticità. Nello specifico, le feature sintetiche si dimostrano vitali per le prestazioni a livello di pixel, mentre la strategia dell'adapter MoE è fondamentale per ridurre l'oblio catastrofico.

Significato e Rivendicazioni

Il paper sostiene che Continual-MEGA stabilisca un nuovo ordine del giorno per il campo dell'anomaly detection affrontando il divario tra le valutazioni statiche dei benchmark e le realtà dinamiche del deployment industriale. Gli autori affermano che il loro lavoro evidenzia la necessità pratica di modelli che possano adattarsi incrementalmente a nuovi task pur generalizzando a classi interamente non viste (CZSL).

La significatività della baseline proposta (ADCT) risiede nella sua dimostrazione che l'adattamento leggero combinato con la sintesi delle feature è una direzione promettente per progettare framework continui generalizzabili. I risultati suggeriscono che un adattamento eccessivo o una guida pesante ai modelli pre-addestrati come CLIP possa portare all'overfitting sugli oggetti precedentemente visti, mentre una strategia che preserva la conoscenza pre-addestrata sintetizzando al contempo diverse feature di anomalia offre una soluzione più stabile e generalizzabile.

Gli autori concludono che il loro lavoro contribuisce alla sostenibilità e alla riproducibilità manifatturiera riducendo il costo computazionale e l'impronta di carbonio associati al riaddestramento di modelli di deep learning in ambienti dinamici, senza introdurre rischi etici relativi a dati personali o sorveglianza.