Leveraging Unsupervised Learning for Cost-Effective Visual Anomaly Detection

Technische Samenvatting: Toepassing van Ongeleerd Leren voor Kosteneffectieve Visuele Anomaliedetectie

Probleemstelling
Traditionele visuele inspectiesystemen op basis van machine learning voor Kleine en Middelgrote Ondernemingen (KMO's) stuiten op aanzienlijke adoptiebarrières. Deze systemen vereisen doorgaans uitgebreide dataverzameling, repetitieve modeltraining, dure hardware (high-end GPU's en camera's) en gespecialiseerde expertise op het gebied van machine learning. Bovendien vertrouwen deep learning-benaderingen vaak op grote, gelabelde datasets van zowel normale als defecte producten. In industriële omgevingen maken de diversiteit aan defecten en de noodzaak tot continue data-annotatie deze eisen belastend voor KMO's, die vaak niet over de capaciteit beschikken om voldoende beeldgegevens te verzamelen en te onderhouden. Daarnaast hebben standaard deep learning-modellen moeite om te generaliseren naar nieuwe producten of defecttypen zonder hertraining, wat hun praktische bruikbaarheid in flexibele productieomgevingen verder beperkt.

Methodologie
Deze studie stelt een kosteneffectief visueel anomaliedetectiesysteem voor dat is ontworpen voor omgevingen met beperkte middelen, waarbij specifiek gebruik wordt gemaakt van een Raspberry Pi 4B (8 GB RAM) en een goedkope camera. De kernmethodiek maakt gebruik van ongeleerd leren, waarbij modellen uitsluitend worden getraind op afbeeldingen van "normale" producten, waardoor de noodzaak voor gelabelde defectdata wordt geëlimineerd.

• Algoritmen: Het onderzoek evalueert vier algoritmen voor ongeleerd leren uit de Anomalib-bibliotheek: PaDiM (Patch-wise Anomaly Detection via Density Modeling), PatchCore, CFlow-AD en FastFlow.
• Implementatie: De modellen zijn geoptimaliseerd voor edge-implementatie met behulp van de OpenVINO-toolkit, wat de modelgrootte en rekenkosten verlaagt terwijl de nauwkeurigheid behouden blijft.
• Experimentele Opstelling: Het systeem werd getest op tandwielkastcomponenten. De workflow omvatte het vastleggen van afbeeldingen van normale onderdelen om de modellen te trainen.
  • Trainingsdata: Aanvankelijk werden 20 afbeeldingen van normale producten gebruikt, waarvan er 15 willekeurig werden geselecteerd voor training en 5 voor testen.
  • Testomstandigheden: Het systeem werd geëvalueerd onder diverse "productconditie"-anomalieën (bijvoorbeeld ontbrekende tanden, ontbrekende onderdelen, extra tandwielen, niet-geanodiseerde behuizingen) en "opstelconditie"-anomalieën (bijvoorbeeld lichtveranderingen, verkeerde uitlijning van de lade, kantelende onderdelen).
• Metingen: De prestaties werden gemeten met behulp van AUROC (Area Under the Receiver Operating Characteristic Curve) en F1 Macro-scores. Er werd een ablatiestudie uitgevoerd om de prestaties te vergelijken over verschillende datasetgroottes (20, 50 en 80 afbeeldingen) en hardwareplatforms (Raspberry Pi versus Intel i7-pc).

Belangrijkste Bijdragen

1. Ontwikkeling van een Laagkosten-Systeem: De creatie van een functioneel visueel anomaliedetectiesysteem met behulp van een Raspberry Pi 4B, wat een betaalbare methode demonstreert voor het detecteren van defecten in tandwielkastonderdelen zonder high-end rekeninfrastructuur.
2. Algoritme-evaluatie: Een vergelijkende analyse van meerdere vooringestelde algoritmen voor ongeleerd leren (PaDiM, PatchCore, CFlow-AD, FastFlow), specifiek voor implementatie op goedkope hardware.
3. Prestatievalidatie: Empirische validatie van het vermogen van het systeem om diverse defecttypen en opstelfactoren te detecteren in een laboratoriumomgeving, inclusief het genereren van warmtekaarten voor defectlocalisatie en betrouwbaarheidsscores voor besluitvorming.

Resultaten

• Hoge Nauwkeurigheid met Minimale Data: Op de Raspberry Pi behaalde het systeem een F1-macro-score van meer dan 0,95 en een AUROC van 1,0 voor alle geteste product- en opstelcondities, wanneer getraind op slechts 10 normale afbeeldingen (met 15 gebruikt voor training in de initiële opstelling). Het systeem onderscheidde succesvol tussen normale en anomalie-onderdelen zonder voorafgaande labeling van defecten.
• Hardware-beperkingen:
  • PaDiM bleek het meest efficiënte model, met training in ongeveer 1 minuut en 9 seconden op de Raspberry Pi met 20 afbeeldingen, wat resulteerde in een F1-score van 0,95.
  • PatchCore presteerde ook goed op kleine datasets (20 afbeeldingen), maar ondervond systeemcrashes wanneer de trainingsdatasetgrootte werd verhoogd naar 50 of 80 afbeeldingen vanwege geheugenbeperkingen.
  • CFlow-AD en FastFlow slaagden er niet in om succesvol te trainen op de Raspberry Pi voor alle datasetgroottes, wat resulteerde in systeemcrashes.
• Inferentiesnelheid: Hoewel training voor PaDiM snel was, waren de inferentietijden relatief hoog voor de beoogde toepassing: ongeveer 24 seconden voor PaDiM en 70 seconden voor PatchCore op de Raspberry Pi.
• Gevoeligheid voor Omgeving: Het systeem toonde gevoeligheid voor omgevingsveranderingen. Bijvoorbeeld, onder extreem donkere omstandigheden classificeerde het model een normaal onderdeel als anomalie met slechts 50% betrouwbaarheid. Bovendien had het systeem moeite om subtiele defecten nauwkeurig te localiseren (bijvoorbeeld licht vervaagde ontbrekende tanden) en verward het soms opstelveranderingen (zoals licht of ladebeweging) met productdefecten.

Betekenis en Claims
Het artikel claimt een baanbrekende verkenning te presenteren van het implementeren van state-of-the-art ongeleerde deep learning-modellen op goedkope, beperkte hardware. Het demonstreert dat KMO's hoge nauwkeurigheid in anomaliedetectie (F1 > 0,95) kunnen bereiken met minimale data (zoveel als 10 normale afbeeldingen) en betaalbare hardware, waardoor de instapdrempel voor geautomatiseerde visuele inspectie aanzienlijk wordt verlaagd.

Echter, handhaven de auteurs een bescheiden standpunt ten aanzien van de huidige beperkingen van het systeem. Zij erkennen dat het systeem nog niet geschikt is voor productielijnen met hoge frequentie vanwege de inferentietijden (24–70 seconden) en de gevoeligheid voor omgevingsruis (licht, positionering). De studie concludeert dat, hoewel de aanpak snel en economisch is, toekomstig werk vereist is om de betrouwbaarheid te verbeteren via modeldistillatie of datacompressie om beter om te gaan met de grote hoeveelheid data en de beperkte resolutie die inherent zijn aan goedkope edge-apparaten. Het systeem wordt gepositioneerd als een haalbare oplossing voor KMO's waarbij snelle inspectie met hoge doorvoer niet de primaire beperkende factor is, of als een aanvullende controle in plaats van een zelfstandige vervanging voor menselijke inspectie in complexe, variabele omgevingen.