VMAD: Visual-enhanced Multimodal Large Language Model for Zero-Shot Anomaly Detection

1. Probleemstelling

Industriële afwijkingsdetectie (Industrial Anomaly Detection - IAD) is cruciaal voor kwaliteitsborging, maar het verzamelen van defecte data is moeilijk vanwege de zeldzaamheid en onvoorspelbaarheid van defecten.

• Beperkingen van bestaande methoden: Traditionele methoden zijn vaak ongesuperviseerd en vereisen veel trainingsdata voor specifieke objectklassen. Nieuwere "Zero-Shot" methoden (ZSAD) gebruiken tekstuele prompts (bijv. via CLIP) om defecten op onbekende objecten te detecteren. Deze werken echter binnen een "gesloten wereld": ze zijn beperkt tot vooraf gedefinieerde prompts en kunnen geen open-ended analyse of uitleg geven.
• Uitdagingen voor Multimodale Large Language Models (MLLMs): Hoewel MLLMs open-ended tekstinterpretatie en generatie bieden, hebben ze moeite met industriële afwijkingen. Deze defecten manifesteren zich vaak in fijnkorrelige gebieden met minimale visuele verschillen ten opzichte van normale monsters. Bestaande MLLMs missen vaak de fijnkorrelige perceptie en de specifieke kennis om subtiele structurele afwijkingen te onderscheiden.

2. Methodologie: VMAD Framework

De auteurs stellen VMAD (Visual-enhanced MLLM Anomaly Detection) voor, een raamwerk dat een MLLM combineert met een visuele tak om zowel de locatie van defecten te bepalen als uitleggenende tekst te genereren.

Het framework bestaat uit drie kerncomponenten:

A. Defect-Sensitive Structure Learning (DSSL)

DSSL is een cross-modale leerstrategie die visuele "patch-similariteit" (gelijkheid van beeldplekjes) overbrengt naar de MLLM-ruimte om de discriminatie van afwijkingen te verbeteren.

• Principe: Normale patches vertonen vaak visuele parallellen met andere normale monsters, terwijl defecte patches deze correlatie missen.
• Implementatie:
  1. In de visuele tak wordt de gelijkenis berekend tussen lokale patches en globale normale kenmerken.
  2. In de MLLM-ruimte wordt de gelijkenis berekend tussen visuele patch-tokens en semantische tokens (die zowel tekstuele als visuele informatie combineren).
  3. Een Patch-Based Similarity Distribution (PBSD) loss aligneert deze twee verdelingen. Hierdoor leert de MLLM om normale en abnormale patronen consistent te onderscheiden, zelfs zonder specifieke trainingsdata voor dat defect.

B. Locality-enhanced Token Compression (LTC)

Dit is een nieuwe visuele projector die visuele signalen omzet in tokens voor de LLM, met een focus op het behoud van fijnkorrelige details.

• Probleem: Bestaande projectors gebruiken vaak abstractors die informatie samenvatten, wat leidt tot verlies van ruimtelijke details die essentieel zijn voor kleine defecten.
• Oplossing: LTC gebruikt een grof-naar-fijn (coarse-to-fine) schema:
  1. Locality-enhanced downsampling: Gebruikt een resampler met vervormbare aandacht (deformable attention) om lokale context te behouden terwijl het aantal tokens wordt gereduceerd.
  2. Multi-level Feature Integration: Integreert kenmerken uit verschillende lagen van de visuele encoder (bijv. CLIP). Schuine lagen vangen lage-niveau details, terwijl diepere lagen semantische informatie bevatten. Deze worden samengevoegd om de ruwe representatie te verrijken.

C. Algehele Architectuur

• Input: Een afbeelding en een tekstuele instructie (bijv. "Zijn er afwijkingen in dit metaalplaatje?").
• Verwerking: De MLLM genereert een tekstueel antwoord en een speciaal [seg] token.
• Segmentatie: Het [seg] token wordt gebruikt om een maskerdecoder (zoals SAM) aan te sturen voor de pixel-precieze lokalisatie van het defect.
• Training: Het model wordt getraind met een combinatie van tekstgeneratie-verlies, segmentatie-verlies (BCE + DICE) en de DSSL-verliesfunctie.

3. Belangrijkste Bijdragen

1. VMAD Framework: Een nieuw raamwerk dat zero-shot afwijkingsdetectie combineert met uitleggenende tekst en interactieve analyse, waardoor het geschikt is voor dynamische industriële omgevingen.
2. DSSL (Defect-Sensitive Structure Learning): Een innovatieve cross-modale leerstrategie die visuele structuurkennis overbrengt naar de taalmodelruimte voor betere discriminatie van subtiele defecten.
3. LTC (Locality-enhanced Token Compression): Een efficiënte visuele projector die fijnkorrelige details behoudt door multi-level kenmerken te integreren, essentieel voor de detectie van kleine industriële fouten.
4. RIAD Dataset: De auteurs hebben Real Industrial Anomaly Detection (RIAD) verzameld en gepubliceerd. Dit is een uitgebreide dataset met:
   • 28.040 afbeeldingen over 24 objectcategorieën en 15 defecttypes.
   • Gekoppelde beeld-tekst data met gedetailleerde beschrijvingen, impactanalyses en aanbevelingen (gegenereerd door GPT-4).
   • Semantische maskers voor verschillende defecttypes (niet alleen binair normaal/abnormaal).

4. Resultaten

De prestaties van VMAD zijn getest op meerdere zero-shot benchmarks, waaronder MVTec-AD, VisA, WFDD en de nieuwe RIAD dataset.

• Prestaties: VMAD overtreft de state-of-the-art methoden (zoals WinCLIP, AnomalyGPT, Myriad) significant.
  • Op de MVTec-AD dataset bereikte VMAD een beeldniveau AUROC van 95.8% en een pixelniveau AUROC van 96.1%.
  • Op VisA en WFDD werden eveneens de beste resultaten behaald, met name op het gebied van pixel-precieze segmentatie.
• Kwalitatieve Analyse: Het model toont niet alleen een hoge nauwkeurigheid in het lokaliseren van defecten, maar kan ook complexe vragen beantwoorden over de aard van het defect, de mogelijke impact op de productie en suggesties doen voor oplossing.
• Ablatiestudies:
  • Het activeren van DSSL verbeterde de prestaties aanzienlijk (bijv. +3.1% op RIAD beeldniveau).
  • LTC bleek superieur aan andere projectors (zoals MLP, Resampler, LDP-v2) wat betreft zowel nauwkeurigheid als doorvoersnelheid (tokens per seconde).

5. Betekenis en Impact

Dit paper markeert een belangrijke stap in de automatisering van industriële inspectie:

• Van Gesloten naar Open Wereld: Het verlegt de grens van gesloten wereld-detectie (vastgestelde prompts) naar open-ended analyse, waardoor systemen flexibeler kunnen omgaan met nieuwe defecttypes en scenario's.
• Interpretbaarheid: Door de combinatie van visuele lokalisatie en natuurlijke taal, biedt VMAD "uitlegbaar AI" (Explainable AI), wat essentieel is voor menselijke operators om vertrouwen te krijgen in de beslissingen van het systeem.
• Rijk Data-ecosysteem: De introductie van de RIAD dataset met gedetailleerde tekstuele annotaties en maskers biedt een waardevolle basis voor toekomstig onderzoek in multimodale industriële AI.

Kortom, VMAD combineert de kracht van Large Language Models met gespecialiseerde visuele verwerking om een robuust, flexibel en interpreteerbaar systeem te creëren voor zero-shot afwijkingsdetectie in complexe industriële omgevingen.