When More References Hurt: Contamination-Aware DINOv2 Memory Banks for Few-Shot Steel Defect Detection

In de enorme, zoemende fabrieken waar staal wordt gewalst tot dunne, glanzende platen, moet het oppervlak vlekkeloos zijn. Zelfs een klein krasje of een microscopisch putje kan een partij metaal dat bestemd is voor auto's of apparaten verpesten. Decennialang hebben fabrieken vertrouwd op geautomatiseerde systemen om deze gebreken te detecteren, maar een computer leren om ze te zien is een lastig proces. Meestal laten ingenieurs de machine duizenden foto's van perfect staal zien en duizenden meer van staal met specifieke, gelabelde scheuren en deuken. De computer leert het verschil te herkennen. Echter, in de echte wereld zijn perfecte labels duur en traag om te maken. Defecten zijn zeldzaam, subtiel en voortdurend veranderend. Dit heeft geleid tot een andere aanpak voor onderzoekers: in plaats van de machine te leren hoe een defect eruitziet, leren ze de machine hoe "normaal" eruitziet. Het systeem krijgt een bibliotheek van perfecte voorbeelden, en als een nieuw stuk staal niet overeenkomt met de bibliotheek, wordt het als defect gemarkeerd. Deze methode werkt prachtig wanneer de bibliotheek perfect is, maar het kampt met een gevaarlijke kwetsbaarheid: wat als de bibliotheek zelf besmet is met verborgen gebreken?

Dit is precies het probleem waar een team onderzoekers van de Universiteit van Padua en de Universiteit van Wenen zich mee bezighoudt. Zij onderzochten een moderne techniek die gebruikmaakt van een krachtig, vooraf getraind kunstmatige intelligentie-model om deze bibliotheek van "normale" staalpatches op te bouwen. Het model breekt een afbeelding op in duizenden kleine vierkantjes, of patches, en slaat deze op in een geheugenbank. Wanneer een nieuwe afbeelding arriveert, vergelijkt het systeem de patches met de bank. Als een patch te veel afwijkt van alles in de bank, wordt het als een defect gemarkeerd. Het gevaar schuilt in de manier waarop de bank wordt opgebouwd. In een fabriek is het gemakkelijk om honderden afbeeldingen van staal te verzamelen, maar het is moeilijk om te verifiëren dat elke pixel in elke afbeelding werkelijk perfect is. Als een onderzoeker honderd ongeverifieerde afbeeldingen aan de bank toevoegt, in de hoop het systeem meer variatie te geven, kan hij per ongeluk afbeeldingen met verborgen defecten opnemen. Het systeem, dat vertrouwt op zijn nieuwe bibliotheek, zou deze defecten dan als normaal leren beschouwen, en zou stoppen met het signaleren ervan. De onderzoekers stelden een kritische vraag: kunnen we deze ongeverifieerde afbeeldingen veilig gebruiken om onze bibliotheek uit te breiden zonder de slechte patches binnen te laten?

Om dit te beantwoorden, maakte het team gebruik van een dataset van afbeeldingen van staalstroken die vier soorten defecten bevatten. Ze begonnen met een kleine, vertrouwde set afbeeldingen die gegarandeerd vrij waren van defecten. Deze kleine set vormde een "zaad"-geheugen (seed memory). Vervolgens namen ze een grotere set ongeverifieerde afbeeldingen — waarvan sommige verborgen defecten bevatten — en probeerden deze te ontginnen voor nuttige, normale patches. Hun eerste poging was simpel: ze voegden elke patch uit de ongeverifieerde afbeeldingen toe aan de zaad-set. Het resultaat was een ramp. Hoewel het meeste staal in die afbeeldingen er prima uitzag, waren de enkele verborgen defecten genoeg om het systeem in verwarring te brengen. Wanneer ze het vermogen van het systeem om gebreken te vinden maten, daalde de prestatie aanzienlijk. Sterker nog, ze ontdekten dat het vervangen van slechts een klein fractie van de geheugenbank door slechte patches — minder dan één procent — de nauwkeurigheid van het systeem met meer dan een kwart deed kelderen. Dit bewees dat de zuiverheid van de referentielibliotheek de belangrijkste factor is; een grotere bibliotheek vol verborgen fouten is slechter dan een kleinere, schone bibliotheek.

De onderzoekers ontwikkelden vervolgens een methode om de ongeverifieerde afbeeldingen te filteren voordat ze de geheugenbank überhaupt aanraken. Ze gebruikten de vertrouwde zaad-afbeeldingen als meetlat. Elke patch uit de ongeverifieerde afbeeldingen werd vergeleken met de zaad-set. Als een patch sterk afweek van de vertrouwde normale voorbeelden, was het waarschijnlijk een defect en werd het weggegooid. Ze ontdekten dat door simpelweg de twintig procent van de patches die het meest verschilden van de vertrouwde zaad-set te verwerpen, ze de overgrote meerderheid van de verborgen defecten konden verwijderen. Dit proces, dat ze "distance-trimmed purification" noemden, was opmerkelijk effectief. Het verwierp bijna tachtig procent van de afwijkende patches die verborgen zaten in de ongeverifieerde afbeeldingen, terwijl het de overgrote meerderheid van de goede behield. De resterende patches werden vervolgens samengevoegd met de zaad-set en gecomprimeerd in een definitieve geheugenbank van een vaste grootte, om een eerlijke vergelijking met andere methoden te garanderen.

De resultaten lieten zien dat deze zorgvuldige filtering het verschil maakte. Wanneer de onderzoekers hun gefilterde bank vergeleken met een bank die werd opgebouwd door simpelweg alle ongeverifieerde afbeeldingen toe te voegen, was de gefilterde versie veel superieur in het opsporen van defecten. Het presteerde ook beter dan een bank die werd opgebouwd door willekeurig patches te verwijderen, wat bewees dat de verbetering voortkwam uit de slimme filtering en niet alleen uit het hebben van minder afbeeldingen. De onderzoekers waren echter voorzichtig om te vermelden dat deze methode een hulpmiddel is voor situaties waarin schone afbeeldingen schaars zijn. Op de apart gehouden data die werd gebruikt voor de uiteindelijke tests, bleef een bank opgebouwd uit acht volledig schone afbeeldingen de sterkste presteerder. De voorgestelde methode is ontworpen voor het moeilijke, realistische scenario waarbij ingenieurs beschikken over een kleine, vertrouwde kern maar een berg ongeverifieerde data die ze willen gebruiken, wat een manier biedt om nuttige normale verschijningsvormen te herstellen uit risicovolle beeldmateriaal wanneer geverifieerde referenties te weinig zijn om in hun eentje een grote bibliotheek op te bouwen.

Uiteindelijk laat de studie zien dat in de wereld van automatische inspectie meer data niet altijd beter is. Het toevoegen van ongeverifieerde afbeeldingen zonder een manier om ze te controleren, kan het systeem leren om echte problemen te negeren. De onderzoekers toonden aan dat door een kleine, vertrouwde groep voorbeelden te gebruiken om de grotere groep te toetsen, het mogelijk is om de kennis van het systeem veilig uit te breiden. Ze ontdekten dat een simpele regel — het weggooien van de patches die het meest afwijken van de vertrouwde normale voorbeelden — de contaminatie kan verwijderen en de nuttige informatie verborgen in risicovolle data kan herstellen. Deze aanpak stelt fabrieken in staat om de overvloed aan goedkope, ongeverifieerde afbeeldingen die ze dagelijks verzamelen te benutten, waardoor een potentiële aansprakelijkheid wordt omgezet in een betrouwbare activa, mits ze bereid zijn de ruis te filteren voordat deze het systeem binnentreedt.