LADMIM: Logical Anomaly Detection with Masked Image Modeling in Discrete Latent Space

Probleemstelling

In de industriële visuele inspectie is Anomaly Detection (AD) cruciaal voor het waarborgen van kwaliteit. Traditionele AD-methoden zijn voornamelijk gericht op het detecteren van structurele anomalieën (lokale afwijkingen zoals krassen of vlekken). Echter, in scenario's met meerdere objecten in één afbeelding, treden ook logische anomalieën op. Deze betreffen globale afwijkingen in de relaties tussen objecten, zoals verkeerde combinaties van objecten of verkeerde posities (bijv. een ontbrekende schroef in een set).

Bestaande methoden hebben moeite met deze logische anomalieën omdat ze vaak louter focussen op lokale patronen of afhankelijk zijn van vooraf getrainde segmentatiemodellen. Masked Image Modeling (MIM) is een veelbelovende zelflerende aanpak, maar traditionele MIM-methoden kampen met het probleem van onduidelijkheid in positie (positional uncertainty) in de gemaskerde gebieden. Dit leidt tot wazige reconstructies en slechte prestaties bij het detecteren van logische fouten die niet in de lokale pixelwaarden, maar in de globale relaties zitten.

Methodologie: LADMIM

De auteurs stellen LADMIM (Logical Anomaly Detection with Masked Image Modeling) voor, een nieuw raamwerk dat Masked Image Modeling combineert met discrete representatieleren. Het systeem bestaat uit twee hoofdcomponenten die respectievelijk structurele en logische anomalieën detecteren:

1. HVQ-Trans (voor Structurele Anomalieën):

   • Dit is een reconstructie-gebaseerd model gebaseerd op een Hiërarchische Vector Quantized Transformer.
   • Het werkt in de feature-ruimte van een backbone-netwerk (PDN).
   • Het gebruikt een encoder-decoder ViT-structuur met vector-kwantisering op meerdere niveaus.
   • Werking: Het model traint om de features te reconstrueren. Omdat kwantisatie continue afwijkende latenten vervangt door discrete "normale" codes, ontstaan er grote reconstructiefouten op plekken met structurele anomalieën (zoals krassen).
   • Rol: Het fungeert ook als tokenizer voor het tweede deel van het systeem.

2. ViT met MIM (voor Logische Anomalieën):

   • Een Vision Transformer (ViT) die wordt getraind met een MIM-doelstelling.
   • Innovatie: In plaats van de pixelwaarden of ruwe features van het gemaskerde gebied te voorspellen (wat leidt tot positie-afhankelijke fouten), voorspelt het model de kansverdeling (histogram) van de discrete latenten die door HVQ-Trans zijn gegenereerd voor dat gebied.
   • Voordeel: De verdeling van discrete latenten is invariant voor de exacte positie van de features binnen het gemaskerde gebied. Hierdoor kan het model zich focussen op de logische relaties tussen objecten zonder te worden verward door kleine verschuivingen of rotaties.
   • Training: De ViT leert de verdeling van de discrete tokens in het gemaskerde gebied te voorspellen op basis van de zichtbare gebieden.

3. Integratie en Inferentie:

   • Tijdens inferentie worden twee scores berekend: de reconstructiefout van HVQ-Trans (voor structurele fouten) en de voorspellingsfout van de ViT (voor logische fouten).
   • Deze scores worden genormaliseerd (Z-score) en opgeteld om een totale anomalie-score te krijgen.

Belangrijkste Bijdragen

• Nieuw Raamwerk (LADMIM): Een hybride architectuur die HVQ-Trans en een ViT combineert om zowel structurele als logische anomalieën te detecteren zonder gebruik te maken van vooraf getrainde segmentatiemodellen.
• Oplossing voor Positie-Onzekerheid: Door te voorspellen in de ruimte van discrete latenten-verdelingen (histogrammen) in plaats van pixel- of token-positie, wordt het probleem van wazige reconstructies in MIM opgelost. Dit maakt het model robuust voor logische relaties.
• Schaalbaarheid: Het raamwerk vermijdt de "ID-shortcut" (waarbij een model simpelweg de input kopieert) die vaak voorkomt bij reconstructiemethoden zonder informatie-bottleneck. Hierdoor kan het model schalen naar grotere maten zonder dat de prestaties dalen.
• Uitgebreide Validatie: Het paper biedt een grondige analyse van de invloed van verschillende factoren, zoals maskeringstrategieën, keuze van voorspellingsdoelen en aggregatiemethoden.

Resultaten

De methode is geëvalueerd op de MVTec LOCO (specifiek voor logische anomalieën met meerdere objecten) en MVTec AD (voor structurele anomalieën) datasets.

• Prestaties op MVTec LOCO: LADMIM bereikt state-of-the-art prestaties onder MIM-gebaseerde methoden en presteert beter dan traditionele reconstructie- en memory-bank methoden (zoals PatchCore) in het detecteren van logische anomalieën.
• Vergelijking met SOTA: Hoewel er nog een klein gat is met de absolute top-methoden (zoals EfficientAD en PUAD) die vaak gebruikmaken van segmentatie of complexe informatie-bottlenecks, presteert LADMIM zeer competitief.
  • Belangrijk: LADMIM behoudt zijn prestaties beter bij een multi-class setting (één model voor alle categorieën) dan methoden die afhankelijk zijn van strakke informatie-bottlenecks, die dan vaak in prestatie dalen.
• Ablatie Studies:
  • Het combineren van HVQ-Trans en ViT levert betere resultaten op dan het gebruik van één van beide alleen.
  • Het voorspellen van de kansverdeling van discrete latenten (in plaats van pixels of features) bleek cruciaal voor het detecteren van logische anomalieën.
  • Maskering: Block-random masking met een bepaalde dekking bleek effectiever dan puur willekeurige masking voor logische anomalieën.

Betekenis en Toekomstperspectief

Dit paper markeert een verschuiving in het domein van Anomaly Detection door aan te tonen dat Masked Image Modeling effectief kan worden ingezet voor het detecteren van complexe, logische fouten in industriële beelden, mits de juiste representatie (discrete latenten) wordt gebruikt.

• Onafhankelijkheid: Het elimineert de noodzaak voor dure, vooraf getrainde segmentatiemodellen, wat de toepasbaarheid in nieuwe industriële scenario's vergroot.
• Robuustheid: De aanpak is minder gevoelig voor hyperparameter-tuning van informatie-bottlenecks dan bestaande methoden.
• Beperkingen en Richting: De huidige methose heeft moeite met het lokaliseren van specifieke logische fouten (locatie) en kan problemen hebben met logische relaties die strikt afhankelijk zijn van de volgorde van objecten (aangezien histogrammen volgorde negeren). De auteurs suggereren dat toekomstig werk kan focussen op stochastische voorspellingsmodulen (zoals diffusion) en semantische masking-strategieën om deze beperkingen op te lossen.

Kortom, LADMIM biedt een krachtige, schaalbare en eenheidsvormige aanpak voor de uitdagingen van moderne industriële inspectie waarbij zowel lokale defecten als globale logische fouten moeten worden opgespoord.