Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models

1. Il Problema

I modelli visione-linguaggio (VLM) su larga scala hanno dimostrato capacità eccezionali nel riconoscimento zero-shot e nell'allineamento cross-modale. Tuttavia, il loro utilizzo per la Rilevazione delle Anomalie (Anomaly Detection - AD) presenta limiti significativi:

• Approccio "Black-Box": I metodi attuali trattano i VLM pre-addestrati come estrattori di feature opachi, assumendo che la conoscenza specifica per le anomalie debba essere acquisita tramite adattatori esterni, banche di memoria o prompt tuning.
• Ignoranza dei Meccanismi Interni: Questi approcci bypassano la dinamica interna del modello, non spiegando come o dove risieda la capacità di discriminare le anomalie all'interno dello spazio latente del modello.
• Mancanza di Interpretabilità: Le tecniche esistenti offrono spesso spiegazioni post-hoc o basate sul linguaggio, ma non identificano le unità interne specifiche (neuroni) che trasportano la conoscenza delle anomalie.
• Dipendenza dai Dati: Molti metodi richiedono grandi quantità di dati o adattamenti pesanti, ignorando il potenziale intrinseco dei modelli pre-addestrati.

2. Metodologia: Il Framework LAKE

Gli autori propongono LAKE (Latent Anomaly Knowledge Excavation), un framework senza addestramento (training-free) che sfida l'ipotesi secondo cui la conoscenza delle anomalie sia assente nei modelli pre-addestrati. La tesi centrale è che tale conoscenza è intrinsecamente codificata ma "latente" e sotto-attivata, concentrata in un sottoinsieme sparso di neuroni sensibili alle anomalie.

Il processo si articola in tre fasi principali:

A. Rilevazione dei Neuroni Sensibili alle Anomalie

Invece di utilizzare tutte le dimensioni delle feature, LAKE identifica un sottospazio critico:

1. Viene calcolata la varianza di ciascun canale (neurone) su un piccolo set di supporto di immagini normali.
2. Si selezionano i Top-K canali con la varianza più alta. L'ipotesi è che i neuroni con alta varianza su dati normali rappresentino gli assi principali della varietà "normale" e siano quindi i più reattivi alle deviazioni strutturali quando si verifica un'anomalia.
3. Questo crea una rappresentazione interna compatta, eliminando il rumore di fondo e le ridondanze tipiche dei modelli foundation.

B. Sondaggio a Livello di Patch (Rappresentazione Visiva)

Una volta isolato il sottospazio sensibile:

1. Le feature delle patch (token visivi) vengono proiettate in questo sottospazio.
2. Si costruisce una "galleria di riferimento" con le feature delle immagini normali proiettate.
3. Per un'immagine di test, si calcola la distanza di vicinanza (nearest-neighbor) tra ogni patch e la galleria normale.
4. Il punteggio visivo ($S_{vis}$) è dato dalla massima deviazione trovata, permettendo una localizzazione fine-granulare delle anomalie.

C. Sondaggio Cross-Modale (Attivazione Semantica)

Per verificare se una deviazione visiva corrisponde anche a un'anomalia semantica:

1. Si estraggono feature più profonde da un layer successivo.
2. Si confrontano con embedding testuali generati da prompt come "una foto di un [classe] normale" e "una foto di un [classe] anomalo".
3. Si calcola la probabilità semantica di anomalia ($S_{text}$) per ogni token.

D. Punteggio Unificato

Il punteggio finale di anomalia è una combinazione pesata dei segnali visivi e semantici:
$$S(x) = (1 - \alpha) S_{vis}(x) + \alpha S_{text}(x)$$
Dove $\alpha$ bilancia la deviazione strutturale e l'incongruenza semantica.

3. Contributi Chiave

1. Ridefinizione Paradigmatica: Sposta il focus dall'adattamento esterno (adattatori, memory bank) all'escavazione e attivazione della conoscenza latente già presente nel modello congelato.
2. Interpretabilità Microscopica: Fornisce una spiegazione a livello di neurone, identificando esattamente quali unità interne guidano la rilevazione, senza ricorrere a metodi post-hoc.
3. Efficienza e Generalizzazione: Dimostra che un piccolo set di supporto (es. 64 immagini normali) è sufficiente per attivare la conoscenza del modello, ottenendo prestazioni superiori senza gradienti o ottimizzazione dei parametri.
4. Modulo Plug-and-Play: Il meccanismo di escavazione può essere integrato in altri modelli esistenti (come WinCLIP o ReMP-AD) per migliorarne le prestazioni.

4. Risultati Sperimentali

Il framework è stato valutato su benchmark industriali (MVTec-AD, VisA, BTAD) e su un dataset medico (Brain-AD).

• Prestazioni di Stato dell'Arte (SOTA):
  • Su MVTec-AD, LAKE raggiunge un AUROC del 94.7% (livello immagine) e un PRO del 88.9% (livello pixel), superando significativamente i metodi precedenti come VisualAD e WinCLIP.
  • Su VisA, ottiene un AUROC del 89.4%.
  • Su BTAD, mostra un miglioramento drastico rispetto alla baseline OpenCLIP (+70.5% di AUROC).
• Generalizzazione Cross-Dominio:
  • Sul dataset medico Brain-AD, LAKE ottiene risultati SOTA (AUROC 97.2% a livello pixel), dimostrando che la conoscenza estratta non è sovrapposta alle texture industriali ma è universale.
• Analisi di Ablazione:
  • L'uso di un set di supporto di sole 64 immagini è sufficiente per raggiungere prestazioni vicine al full-shot.
  • La selezione dei Top-100 neuroni è cruciale: una selezione casuale degrada le prestazioni, confermando che la conoscenza è concentrata in un sottospazio sparso.
  • L'analisi della sovrapposizione dei neuroni tra diverse categorie industriali mostra che i neuroni sensibili sono universali e condivisi.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nella ricerca sulla rilevazione delle anomalie:

• Trasparenza: Trasforma i VLM da "scatole nere" a sistemi interpretabili a livello neurale, rivelando che la logica per il rilevamento delle anomalie è già presente nel modello pre-addestrato.
• Efficienza: Elimina la necessità di costosi adattamenti, banche di memoria voluminose o grandi quantità di dati di addestramento, rendendo la soluzione ideale per scenari industriali con risorse limitate.
• Robustezza: La capacità di generalizzare da settori industriali a quello medico suggerisce che i modelli foundation possiedono una comprensione profonda e trasversale del concetto di "normalità" e "anomalia", che può essere sbloccata con tecniche mirate di attivazione neurale.

In sintesi, LAKE dimostra che non è necessario "insegnare" a un modello a rilevare anomalie, ma piuttosto "svegliare" la conoscenza che possiede già, isolando e attivando i neuroni specifici responsabili di tale capacità.