Incremental dimension reduction for efficient and accurate visual anomaly detection

Deze paper introduceert een incrementeel dimensiereductie-algoritme dat door het verwerken van beelden in batches en het updaten van singuliere waarden, de training van visuele anomaliedetectiemodellen versnelt zonder significant in te leveren op de nauwkeurigheid.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljoenen foto's van perfecte producten, zoals een fabriek die duizenden perfecte hamers of broodjes produceert. Je doel is om in een nieuwe foto direct te zien: "Aha! Hier is er eentje die niet klopt!" (bijvoorbeeld een hamer met een kras of een broodje dat platgedrukt is). Dit noemen we visuele anomaliedetectie.

Vroeger deden computers dit door elke foto in duizenden kleine stukjes te knippen en elk stukje te analyseren met een zeer slimme, maar zware "AI-brein" (een diep neuronaal netwerk). Het probleem? Dit AI-brein is zo slim dat het voor elk stukje foto een enorme lijst met getallen maakt (een vector) om te beschrijven hoe het eruit ziet.

Het Probleem: De Overvolle Koffer

Stel je voor dat je voor elke foto een koffer moet vullen met deze lijsten van getallen. Als je duizenden foto's hebt, heb je duizenden zware koffers.

• De ruimte: Je computergeheugen (RAM) is als een kleine auto. Je kunt niet duizenden zware koffers in één keer in die auto proppen.
• De snelheid: Om te controleren of een nieuwe foto goed is, moet de computer elke nieuwe koffer vergelijken met alle oude koffers. Dat is als proberen elke nieuwe bezoeker in een drukke club te vergelijken met elke persoon die er ooit is geweest. Het duurt eeuwen.

De beste bestaande methode (PatchCore) probeert dit op te lossen door maar een klein deel van de koffers te bewaren, maar zelfs dat is soms te veel of te traag.

De Oplossing: De Slimme Samenvatting

De auteur van dit paper, Teng-Yok Lee, heeft een slimme truc bedacht: Incrementele Dimensiereductie.

Laten we dit uitleggen met een analogie:

1. De "Groepsfoto" aanpak (Batches)

In plaats van alle duizenden koffers tegelijk te proberen te verwerken (wat de auto platdrukt), doet de computer dit in groepen (batches).

• Hij pakt eerst 100 koffers.
• Dan nog 100.
• Dan nog 100.

2. De "Samenvatting" (SVD)

Voor elke groep van 100 koffers maakt de computer een slimme samenvatting.
Stel je voor dat je een groep van 100 mensen hebt. In plaats van hun volledige biografieën (1000 pagina's per persoon) te bewaren, maak je een kort profiel van 5 regels dat de belangrijkste kenmerken van de hele groep samenvat.

• De computer doet dit met wiskunde (Singular Value Decomposition, of SVD). Hij haalt de "ruis" en de onbelangrijke details weg en houdt alleen de kern van de informatie over.
• Dit is alsof je van een 4K-foto een scherpe, maar veel kleinere JPEG maakt. De details zijn er nog steeds, maar de bestandsgrootte is enorm kleiner.

3. Het "Opbouwen" zonder alles opnieuw te doen

Hier is de echte genialiteit van deze methode:
Bij oude methoden moest je, zodra je een nieuwe groep koffers toevoegde, alle oude samenvattingen opnieuw berekenen. Dat is als elke keer dat je een nieuw lid aan je club toevoegt, alle oude leden hun profiel opnieuw moeten schrijven. Dat is veel te traag.

Deze nieuwe methode doet het anders:

• Hij werkt de samenvatting van de nieuwe groep bij met de oude samenvatting.
• Hij slaat de oude, zware gegevens direct weer op (of verwijdert ze) en houdt alleen de compacte samenvattingen bij.
• Pas aan het einde, als alle groepen zijn verwerkt, zet hij alle kleine samenvattingen weer in één groot, perfect overzicht.

Waarom is dit geweldig?

1. Snelheid: Omdat de computer niet hoeft te wachten tot alle data er is, en niet alles opnieuw hoeft te berekenen, gaat het trainen van het systeem veel sneller.
2. Geheugen: Je hebt geen supercomputer nodig om de data te bewaren. De "koffers" zijn nu zo klein dat ze in een gewone laptop passen, zelfs als je duizenden foto's hebt.
3. Nauwkeurigheid: Het mooie is dat de computer de foto's niet "verkeerd" begrijpt. De samenvatting is zo slim gemaakt dat de computer nog steeds precies weet wat een perfecte hamer is en wat een gebroken hamer is. De nauwkeurigheid blijft bijna hetzelfde als bij de zware, trage methode.

Conclusie

Dit paper presenteert een manier om een zeer slimme, maar zware AI te "verkleinen" terwijl hij leert. Het is alsof je een enorme bibliotheek van boeken omzet in een set van slimme samenvattingenkaarten. Je kunt nu sneller zoeken, je hebt minder ruimte nodig, en je vindt nog steeds precies wat je zoekt. Hierdoor kunnen fabrieken met duizenden foto's van producten eindelijk snel en goedkoop defecten opsporen.

Technische samenvatting

Probleemstelling

Visuele anomaliedetectie (het vinden van defecten in afbeeldingen) maakt tegenwoordig veel gebruik van diepe neurale netwerken (zoals WideResNet50) om saliente kenmerken uit afbeeldingen te extraheren. Een veelgebruikte methode, PatchCore, verdeelt afbeeldingen in patches en vergelijkt de kenmerken van deze patches met een "memory bank" van trainingskenmerken.

De huidige uitdagingen zijn:

1. Hoge dimensionaliteit: De geëxtraheerde kenmerken hebben vaak honderden tot duizenden dimensies.
2. Geheugenverbruik: Het opslaan van alle kenmerkvectoren van duizenden afbeeldingen is zeer geheugenintensief.
3. Snelheidsproblemen: Het berekenen van afstanden tussen vectoren is tijdrovend ($O(m)$, waarbij $m$ de dimensie is). Het samplen van een subset (zoals PatchCore doet) vereist het berekenen van afstanden tussen alle paren, wat traag wordt bij hoge dimensies en grote datasets.
4. Beperkingen van bestaande oplossingen:
   • Standaard SVD (Singular Value Decomposition) vereist dat alle vectoren tegelijk in het geheugen staan, wat onhaalbaar is voor grote datasets.
   • Bestaande incrementele methoden (zoals Incremental SVD of PCA) zijn vaak traag omdat ze bij elke nieuwe batch alle eerder verwerkte vectoren opnieuw moeten transformeren, of ze vereisen extra I/O-passes om kenmerken opnieuw te extraheren.

Methodologie

De auteurs presenteren een nieuw incrementeel dimensiereductie-algoritme dat specifiek is ontworpen om PatchCore efficiënter te maken zonder in te leveren op nauwkeurigheid. Het algoritme combineert ideeën uit Incremental SVD en Incremental PCA.

Het proces verloopt als volgt:

1. Batch-verwerking: In plaats van alle kenmerkvectoren tegelijk te verwerken, worden de vectoren opgedeeld in batches ($X_1, X_2, ..., X_b$).
2. Incrementele SVD-update:
   • Voor elke batch $X_b$ wordt een afgeknotte SVD berekend: $X_b \approx U_b S_b V_b^T$.
   • De auteurs gebruiken een Gram-matrix benadering om de basisvectoren te updaten. Ze combineren de bestaande basis ($U_{1,b-1}S_{1,b-1}$) met de nieuwe batch $X_b$ en berekenen de SVD van deze combinatie.
   • Dit resulteert in geüpdatete singuliere waarden ($S_{1,b}$) en linker singuliere vectoren ($U_{1,b}$) die de ruimte van alle tot nu toe bezochte batches vertegenwoordigen.
   • Belangrijk: De vorige $U$ en $S$ worden direct na de update verwijderd uit het geheugen, wat het geheugenverbruik laag houdt.
3. Lokale reductie: Elke batch wordt direct gereduceerd met zijn eigen singuliere vectoren, zodat deze compact in het geheugen kan worden opgeslagen.
4. Eindtransformatie (Rotatie): Na het verwerken van alle batches worden de gereduceerde vectoren van elke batch ($V_b$) getransformeerd naar de ruimte die wordt opgespannen door de finale singuliere vectoren ($U_{1,B}$).
   • Dit gebeurt via een rotatiematrix $R_b = (U_{1,B})^T U_b S_b$.
   • Dit vermijdt het opnieuw reconstrueren van de volledige dataset (wat veel geheugen zou kosten) en zorgt ervoor dat alle vectoren in dezelfde ruimte zitten voor de verdere verwerking door PatchCore.
5. Toepassing: De gereduceerde vectoren worden gebruikt om de memory bank te bouwen en anomalieën te detecteren door de afstand te berekenen in de gereduceerde ruimte.

Belangrijkste Bijdragen

• Efficiënt Incrementeel Algoritme: Een nieuwe methode die SVD toepast in batches zonder de noodzaak om alle data tegelijk in het geheugen te hebben of alle data bij elke stap opnieuw te transformeren.
• Geheugen- en Snelheidsoptimalisatie: Het algoritme vermindert het geheugenverbruik aanzienlijk en elimineert de "re-transformatie" bottleneck van eerdere incrementele methoden.
• Behoud van Nauwkeurigheid: Het algoritme behoudt de prestaties van state-of-the-art methoden (zoals PatchCore) bijna volledig, zelfs bij sterke dimensiereductie.
• Scalabiliteit: Het maakt het toepassen van PatchCore mogelijk op datasets met duizenden tot tienduizenden afbeeldingen, wat zonder dimensiereductie vaak onmogelijk is vanwege geheugenlimieten.

Resultaten

De auteurs hebben hun methode getest op twee datasets: MVTec AD en Eyecandies, met backbones zoals WideResNet50 en ResNet18.

• Nauwkeurigheid (MVTec AD):
  • Bij reductie naar 128 dimensies ($k=128$) en een batchgrootte van 16K, daalde de image-level AUROC slechts marginaal van 99.0% (originele PatchCore) naar 98.9%.
  • De pixel-level AUROC bleef zeer dicht bij het origineel (97.9% vs 97.8%).
  • Object-categorieën lieten nauwelijks verlies zien, terwijl textuur-categorieën (zoals 'carpet') iets meer verlies vertoonden, maar nog steeds hoge scores behaalden.
• Snelheid en Geheugen:
  • CPU: De trainingstijd was evenredig met de lengte van de gereduceerde vectoren ($k$). Voor de categorie 'hazelnut' daalde de trainingstijd van ~24.000 seconden (zonder reductie) naar ~3.000 seconden (met reductie).
  • GPU: De trainingstijd daalde van 130 seconden naar 37 seconden.
  • Geheugen: Op de Eyecandies-dataset (6600 afbeeldingen) zou het zonder reductie 25 GB geheugen vereisen. Met dimensiereductie naar 128 dimensies werd dit haalbaar en daalde de trainingstijd op een GPU naar slechts 3 uur.
• Vergelijking met PaDiM: Op de Eyecandies-dataset presteerde PatchCore met hun dimensiereductie-algoritme beter dan de state-of-the-art PaDiM-methode, vooral wanneer er gebruik werd gemaakt van meerdere verlichtingsomstandigheden in de training.

Betekenis en Conclusie

Dit paper biedt een praktische oplossing voor het schaalbaarheidsprobleem van visuele anomaliedetectie. Door een slimme combinatie van incrementele SVD en batch-verwerking, kunnen onderzoekers en ingenieurs nu grote datasets verwerken die anders te groot zouden zijn voor het geheugen.

De belangrijkste implicaties zijn:

1. Toepasbaarheid in de Industrie: Het maakt het mogelijk om PatchCore toe te passen op zeer grote productiedatasets met duizenden afbeeldingen, wat essentieel is voor industriële kwaliteitscontrole.
2. Efficiëntie: Het reduceert zowel de trainingsduur als het geheugenverbruik drastisch, zonder de detectienauwkeurigheid significant te beïnvloeden.
3. Toekomstperspectief: De auteurs wijzen erop dat verdere versnelling mogelijk is door redundante kenmerken te elimineren vóór het samplen, wat een richting is voor toekomstig onderzoek.

Kortom, het algoritme maakt state-of-the-art visuele anomaliedetectie haalbaar voor grootschalige toepassingen met beperkte hardware-resources.