LiZAD: A Lightweight Zero-Shot Anomaly Detection Framework for Industrial Manufacturing

Technische Samenvatting: LiZAD – Een Lichtgewicht Zero-Shot Anomaly Detection Framework

Probleemstelling
In de moderne hoogproductieve industriële productie veranderen productconfiguraties en visuele kenmerken frequent. Traditionele supervised anomaliedetectie vereist uitgebreide gegevensverzameling en annotatie voor elk nieuw scenario, wat vaak kostbaar en onhaalbaar is. Hoewel Zero-Shot Anomaly Detection (ZSAD) een oplossing biedt door defecten in ongeziene categorieën te detecteren zonder doelgerichte trainingsdata, kampen bestaande ZSAD-benaderingen met een kritieke bottleneck: ze zijn computationeel intensief. Gebouwd op grote visuele-talige backbones, vereisen deze modellen veel geheugen en rekenkracht, waardoor ze ongeschikt zijn voor implementatie op resource-beperkte edge-apparaten of real-time productielijnen waar de inferentiesnelheid essentieel is.

Methodologie
De auteurs stellen LiZAD voor, een lichtgewicht framework dat specifiek is ontworpen voor real-time ZSAD op edge-apparaten. De architectuur adresseert de afweging tussen computationele efficiëntie en fijnmazige lokalisatie via drie kerncomponenten:

1. Visuele Backbone (DINOv3): In plaats van standaard CLIP-stijl visuele encoders die geoptimaliseerd zijn voor globale semantische uitlijning, gebruikt LiZAD DINOv3 (specifiek de compacte ViT-S/16 variant). Deze keuze wordt gedreven door het vermogen van DINOv3 om dichte, ruimtelijk bewuste visuele kenmerken te leveren die cruciaal zijn voor precieze pixel-niveau anomalielokalisatie. Het model gebruikt een bevroren encoder om globale tokens en patch-level embeddings te extraheren.
2. Tekst Encoder (MobileCLIP2): Voor de teksttak maakt het framework gebruik van MobileCLIP2, een architectuur die is ontworpen voor lage latentie-executie op edge-hardware. Het maakt gebruik van een hoog geoptimaliseerd convolutie-transformer ontwerp en multi-modale versterkte training om expressieve tekst-embeddings te extraheren met een minimaal geheugenspoor.
3. Gedeelde Latente Ruimte & Projectie: Omdat de visuele en tekst encoders in verschillende dimensionale ruimtes opereren en niet gezamenlijk getraind zijn, introduceert LiZAD lichtgewicht, trainbare lineaire projectiekoppen. Deze koppen mappen de visuele patch-embeddings, globale tokens en tekst-embeddings naar een gedeelde latente ruimte.
   • Prompting: Het systeem gebruikt standaard sjablonen ("an image of a {state} {object}") om normale en abnormale tekst-embeddings te genereren.
   • Scoring: Anomalie-scores worden berekend via cosinus-gelijkenis tussen geprojecteerde visuele patches en de normale/abnormale tekst-embeddings. Een softmax-functie zet deze gelijkenissen om in anomaliekansen.
   • Regularisatie: Een global-context regularisator gebaseerd op de geprojecteerde globale token wordt toegevoegd om de embedding-ruimte te stabiliseren en richtingen te kalibreren buiten de schaarse patch-level supervisie.
   • Output: De resulterende grove anomaliekaart wordt via bilineaire interpolatie upgesampled om een dichte, pixel-niveau anomalie-heatmap te genereren.

Belangrijkste Bijdragen

• Eerste Lichtgewicht ZSAD voor de Edge: LiZAD wordt gepresenteerd als het eerste snelle, lichtgewicht en nauwkeurige ZSAD-framework dat expliciet is gebouwd voor real-world deployment op resource-beperkte apparaten.
• Architecturale Efficiëntie: Door DINOv3 te combineren met MobileCLIP2 en uitsluitend lichtgewicht projectiekoppen te gebruiken voor training (waarbij de encoders bevroren blijven), vermindert het framework de computationele overhead drastisch.
• Validatie in de Praktijk: Het framework is succesvol geïmplementeerd op NVIDIA Jetson NX en Jetson AGX edge-apparaten en getest op een echte productielijn bij het Industrial Computer Engineering Laboratory (ICE Lab) aan de Universiteit van Verona.

Experimentele Resultaten
De auteurs hebben LiZAD geëvalueerd tegen zes state-of-the-art ZSAD-modellen (CLIP, WinCLIP, APRILGAN, AnomalyCLIP, AdaCLIP, Bayes-PFL) over vier industriële datasets: VisA, BTAD, MPDD en MVTec-AD.

• Efficiëntiewinst:
  • Geheugen: Gemiddeld verminderd met 61,5% (gedaald naar 1,01 GB).
  • Parameters: Verminderd met 74,6% (gedaald naar 97,44 M parameters).
  • Latentie: Bereikte een 3,02× versnelling (69,9% reductie in inferentie-latentie) vergeleken met het gemiddelde van de concurrerende modellen. Op Jetson NX bereikte het 754,6 ms per sample; op Jetson AGX 554,4 ms.
• Performance Trade-off: Ondanks de significante reducties in complexiteit behoudt LiZAD een concurrerende detectieprestatie.
  • Het behaalde een gemiddelde pixel-wise AUROC van 88,05%.
  • Dit vertegenwoordigt een daling van slechts 6,4% ten opzichte van het best presterende state-of-the-art model over de geteste datasets.
  • Specifiek bleef het binnen 1,3% van het beste resultaat op VisA en 5,2% op MVTec-AD.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat LiZAD scherpe en geconcentreerde anomalie-responsen produceert over diverse texturen en defectpatronen, wat de robuuste lokalisatiecapaciteiten bevestigt.

Betekenis
Het artikel beweert dat LiZAD erin slaagt de kloof te overbruggen tussen hoogwaardige zero-shot anomaliedetectie en de strikte real-time, resource-beperkte eisen van industriële omgevingen. Door aan te tonen dat substantiële reducties in geheugen en parameters kunnen worden bereikt met slechts een minimale trade-off in lokalisatienauwkeurigheid, maakt het framework de implementatie van geavanceerde anomaliedetectiesystemen op edge-platforms mogelijk waar voorheen zware modellen onpraktisch waren. De succesvolle test op een echte productielijn onderstreept het potentieel voor directe industriële toepassing.