Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models

Titel: Latente Anomalie Kennis Excavatie: Het Blootleggen van Sparse Sensitieve Neuronen in Vision-Language Modellen

Auteurs: Shaotian Li, Shangze Li, Chuancheng Shi, et al. (Macquarie University, NUST, Universiteit van Sydney, NUS).

---

1. Het Probleem

Grootschalige Vision-Language Models (VLMs), zoals CLIP, tonen indrukwekkende zero-shot capaciteiten. Echter, de interne mechanismen die hun prestaties in anomaliedetectie (AD) drijven, blijven slecht begrepen.

• Huidige benadering: Bestaande methoden behandelen VLMs vaak als "black-box" feature-extractors. Ze gaan ervan uit dat kennis over anomalieën extern moet worden aangeleerd via adapters, prompt-tuning, of grote geheugenbanken (memory banks) met synthetische data.
• Beperkingen: Deze benaderingen negeren de interne dynamiek van het model. Ze opereren op macro-niveau en missen mechanistische interpretatie. Ze vragen zich niet af of de kennis voor anomaliedetectie niet al latent is opgeslagen in het voorgeöordeelde model, maar ondergeactiveerd blijft tijdens standaard inferentie.
• Doel: Het is nodig om te bepalen of anomaliedetectie expliciete fine-tuning vereist, of dat het een kwestie is van het activeren van bestaande, hoge-dimensionale verdelingen van "normaliteit" die al in het model zitten.

2. Methodologie: LAKE Framework

De auteurs introduceren LAKE (Latent Anomaly Knowledge Excavation), een trainingsvrij framework dat ervan uitgaat dat anomaliekennis intrinsiek aanwezig is in een sparselijke subset van "anomalie-sensitieve neuronen" binnen het bevroren VLM.

Het proces verloopt in drie kernstappen:

A. Detectie van Anomalie-Sensitieve Neuronen

In plaats van alle feature-dimensies te gebruiken, identificeert LAKE welke neuronen het meest informatief zijn voor het onderscheiden van anomalieën.

• Hypothese: Neuronen met een hoge variantie over normale steekproeven vertegenwoordigen de actieve assen van de "normale manifold". Anomalieën manifesteren zich als afwijkingen langs deze actieve assen, niet als pieken in dode neuronen.
• Implementatie: De variantie ($\sigma^2_d$) van elk kanaal wordt berekend over een kleine set normale steekproeven. De top-$K$ kanalen met de hoogste variantie worden geselecteerd als de sensitive subspace ($I_{sens}$). Dit reduceert feature-redundantie drastisch.

B. Probing op Patches-niveau (Visuele Afwijking)

Om lokale defecten te detecteren, worden de patch-tokens van een testafbeelding geprojecteerd naar deze sensitive subspace.

• Er wordt een referentie-galerij ($G$) opgebouwd uit de geprojecteerde features van normale steekproeven.
• Voor elke patch in een testafbeelding wordt de afstand tot de dichtstbijzijnde normale patch in de galerij berekend (gebaseerd op cosine-afstand).
• De visuele anomalie-score ($S_{vis}$) is de maximale afstand over alle patches (max-pooling), wat zorgt voor gevoeligheid voor kleine, lokale defecten.

C. Cross-Modale Activering (Semantische Verificatie)

Om te voorkomen dat visuele variaties (zoals tekstuurverschillen) ten onrechte als defect worden gemarkeerd, wordt een semantische verificatie toegevoegd.

• Diepere features worden vergeleken met tekst-embeddings voor "normale [klasse]" en "anomalie [klasse]".
• Er wordt een semantische anomalie-score ($S_{text}$) berekend op basis van de kans dat een patch bij het concept "anomalie" hoort.

D. Geünificeerde Score

De finale anomalie-score is een gewogen som van de visuele en semantische scores:
$$S(x) = (1 - \alpha) S_{vis}(x) + \alpha S_{text}(x)$$
Waarbij $\alpha$ de balans bepaalt tussen structurele afwijking en semantische inconsistentie.

---

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: De auteurs bewijzen dat anomaliedetectie niet afhankelijk hoeft te zijn van zware externe adapters of grote geheugenbanken. In plaats daarvan kan het worden gereduceerd tot het gerichte activeren van latent aanwezige kennis in bevroren VLMs.
2. LAKE Framework: Een trainingsvrij, interpreteerbaar framework dat visuele structurele afwijkingen combineert met cross-modale semantische activering via een sparselijke neuron-selectie.
3. Mechanistische Interpretatie: Het biedt inzicht op microscopisch niveau (neuronen-niveau) in waarom een model een anomalie detecteert, in plaats van alleen post-hoc attributie te gebruiken.
4. State-of-the-Art (SOTA) Prestaties: Het framework behaalt nieuwe records op industriële en medische benchmarks zonder enige gradient-based training.

---

4. Resultaten

De methode is getest op industriële benchmarks (MVTec-AD, VisA, BTAD) en een medische dataset (Brain-AD).

• Kwantitatieve Prestaties:
  • Op MVTec-AD (image-level) bereikt LAKE een AUROC van 94.7%, wat een aanzienlijke verbetering is ten opzichte van de beste bestaande methoden (bijv. VisualAD met 92.2%).
  • Op BTAD toont LAKE een enorme verbetering (+70.5% AUROC ten opzichte van de ruwe OpenCLIP baseline).
  • Voor pixel-level localisatie (PRO-score) behaalt LAKE 88.9% op MVTec-AD, wat de huidige SOTA-methoden overtreft.
• Data-efficiëntie: Het framework presteert uitstekend met slechts 64 shots (normale steekproeven). De prestaties stabiliseren bij dit aantal, wat aantoont dat geen grote datasets nodig zijn.
• Cross-Domein Generalisatie: Op de medische dataset Brain-AD behaalt LAKE SOTA-resultaten (97.2% AUROC), wat bewijst dat de geëxcaveerde kennis domein-agnostisch is en niet alleen werkt op industriële texturen.
• Plug-and-Play: Wanneer LAKE als module wordt toegevoegd aan andere modellen (zoals WinCLIP of ReMP-AD), verbetert het hun prestaties aanzienlijk, wat aantoont dat het een universele versterker is.

Interpretatie-analyse:
Experimenten tonen aan dat het willekeurig selecteren van neuronen de prestaties drastisch verlaagt (van 94.7% naar 81.6% AUROC), terwijl de door LAKE geselecteerde "Top-K" neuronen zeer specifieke en nauwkeurige warmtekaarten genereren die perfect overeenkomen met de defecten.

---

5. Betekenis en Conclusie

Dit werk biedt een fundamenteel nieuw perspectief op anomaliedetectie. Het weerlegt de noodzaak van complexe downstream training en bewijst dat pre-trained foundation models al rijk zijn aan kennis over wat "normaal" en "abnormaal" is.

De kernboodschap is dat anomaliedetectie niet moet worden gezien als het leren van een nieuwe taak, maar als het excaveren en activeren van latent aanwezige kennis door de juiste, sparselijke neuronen te isoleren. Dit leidt tot systemen die niet alleen nauwkeuriger zijn, maar ook transparanter en interpreteerbaar op het niveau van individuele neuronen, wat cruciaal is voor betrouwbare toepassingen in industrie en geneeskunde.