💻 computer science

Advancing Metallic Surface Defect Detection via Anomaly-Guided Pretraining on a Large Industrial Dataset

Dit artikel introduceert Anomaly-Guided Self-Supervised Pretraining (AGSSP), een nieuw tweestapskader dat gebruikmaakt van een nieuwe industriële dataset van 120.000 afbeeldingen en anomalie-priors om domeinverschillen en inefficiënte zelftoezicht te overwinnen, waardoor de prestaties bij het detecteren van defecten op metalen oppervlakken aanzienlijk worden verbeterd in vergelijking met traditionele op ImageNet gebaseerde voortraining.

Oorspronkelijke auteurs: Chuni Liu, Hongjie Li, Jiaqi Du, Yangyang Hou, Qian Sun, Lei Jin, Ke Xu

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chuni Liu, Hongjie Li, Jiaqi Du, Yangyang Hou, Qian Sun, Lei Jin, Ke Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiliger huurt om kleine krassen op een glanzend, complex metalen oppervlak te detecteren. Dit is een moeilijke taak, omdat het metaal veel natuurlijke bulten, spiraalvormige patronen en reflecties heeft die er veel op lijken.

Het Probleem: Training op de "Verkeerde School"
Meestal gebruiken we een methode genaamd "pretraining" om een computer dit te leren. Denk hierbij aan het sturen van de computer naar een algemene school voordat het zijn specifieke baan begint.

De Oude Manier: De meeste computers worden getraind op een enorme bibliotheek met alledaagse foto's (zoals katten, auto's en landschappen). Dit is alsof je je beveiliger stuurt naar een school voor parkwachters. Ze leren bomen en dieren herkennen, maar wanneer ze bij de metaalfabriek aankomen, zijn ze in de war. De "school" (ImageNet) heeft hen niet geleerd hoe een kras eruitziet op staal.
De Gefaalde Alternatief: Sommige onderzoekers probeerden de computer alleen te trainen op fabrieksfoto's zonder labels. Maar dit is alsof je de beveiliger zegt: "Kijk gewoon naar deze metalen platen en bedenk zelf wat er mis is." Zonder een leraar die de krassen aanwijst, raakt de computer afgeleid door de glanzende texturen en ruis, en faalt hij om te leren wat een echt defect is.

De Oplossing: De "Anomalie-gids"
De auteurs van dit artikel hebben een nieuwe trainingsmethode ontwikkeld genaamd AGSSP (Anomaly-Guided Self-Supervised Pretraining). Ze beseften dat de computer een specifieke "spiekbrief" nodig heeft om te weten waar hij moet kijken.

Hier is hoe hun twee-staps trainingskamp werkt:

Stap 1: De "Warmtekaart"-leraar (Backbone Pretraining)
Eerst gebruikten ze een slimme tool (genaamd KeAD) om duizenden ongelabelde metaalfoto's te scannen. Deze tool heeft geen mens nodig om elke kras te labelen. In plaats daarvan gebruikt het een "few-shot"-truc: je toont hem een paar voorbeelden van hoe een kras eruitziet, en hij gebruikt zijn kennis van taal en afbeeldingen om te raden waar andere krassen zich zouden kunnen bevinden.

De Metafoor: Stel je een leraar voor die een vaag, gloeiende warmtekaart tekent over de metaalfoto's. De rode vlekken tonen waar de computer misschien een defect zal vinden.
De Training: Vervolgens trainden ze het "brein" van de computer (de backbone) om zijn aandacht te richten op deze gloeiende rode vlekken. Zelfs als de warmtekaart niet perfect is, leert het de computer om te stoppen met het negeren van de vreemde plekken en begint hij er aandacht aan te besteden.

Stap 2: De "Kader"-trainer (Detector Pretraining)
Zodra het brein is getraind om naar de juiste plaatsen te kijken, moeten ze de computer leren hoe hij een kader om het defect moet trekken.

De Metafoor: Met behulp van dezelfde warmtekaarten uit Stap 1 trokken ze automatisch begrenzingskaders om de verdachte gebieden. Ze vertelden de computer: "Behandel deze kaders alsof het echte defecten zijn."
De Training: De computer oefende met het trekken van kaders rond deze "pseudo-defecten". Dit zorgt ervoor dat wanneer hij eindelijk de echte baan begint, hij al weet hoe hij een defect moet omlijsten, niet alleen hoe hij ernaar moet zoeken.

De Resultaten: Een Supergesterkte Beveiliger
De auteurs testten dit op een enorme dataset van 120.000 industriële afbeeldingen (de grootste van zijn soort die ze konden vinden).

De Uitkomst: Toen ze hun nieuwe "afgestudeerden" testten op echte datasets van metaaldefecten, verpletterden ze de concurrentie.
De Cijfers: In vergelijking met de oude "parkwachter"-modellen (getraind op ImageNet), verbeterden hun nieuwe modellen de nauwkeurigheid met tot 10% tot 11%. In de moeilijkste scenario's (waar zeer weinig voorbeelden zijn om van te leren) was de verbetering nog dramatischer, soms verdubbelde het succespercentage.
Veelzijdigheid: Deze methode werkte goed op verschillende soorten metaal (staalpijpen, gietblokken) en zelfs op niet-metalen oppervlakken zoals stof, wat bewijst dat de "warmtekaart"-strategie een universele sleutel is om defecten te vinden.

In het Korte Bestek
In plaats van te raden hoe een defect eruitziet of te trainen op het verkeerde soort data, geeft dit artikel de computer een slimme, geautomatiseerde gids (de anomaliekaart) die de probleemgebieden benadrukt. Door de computer eerst te leren zich te richten op deze plekken, en vervolgens te leren ze in te kaderen, creëerden ze een veel scherpere en betrouwbaardere defectdetector. Ze maakten ook al hun data en code publiek zodat anderen deze "spiekbrief" kunnen gebruiken om betere industriële inspecteurs te bouwen.

Technische Samenvatting: Vooruitgang in Detectie van Defecten op Metalen Oppervlakken via Anomalie-Gestuurde Pretraining

1. Probleemstelling

Detectie van defecten op metalen oppervlakken is cruciaal voor industriële kwaliteitscontrole, maar staat voor ernstige uitdagingen door schaarste aan data en hoge variabiliteit. In realistische scenario's, zoals de productie van stalen buizen, vormen defecten vaak minder dan 0,1% van de dagelijkse afbeeldingen, wat leidt tot extreme klasse-ongelijkheid en kostbare datacollectie.

Bestaande oplossingen staan voor een "kritiek dilemma":

Pretraining op Natuurlijke Afbeeldingen: Modellen die zijn voorgeïmplementeerd op grote schaal natuurlijke datasets (bijv. ImageNet, COCO) lijden onder een significante domeinkloof wanneer ze worden toegepast op industriële afbeeldingen.
Naïeve Zelftoezichthoudende Leer (SSL): Standaard SSL-methoden (contrastief leren of reconstructie) toegepast op domeinspecifieke industriële data falen vaak. Bestaande leerdoelen hebben moeite om subtiele, laag-contrast defectpatronen te onderscheiden van complexe achtergrondruis, texturen en variabele verlichting. Bijgevolg levert het simpelweg vergroten van domeinspecifieke datasets zonder specifieke begeleiding suboptimale resultaten op, soms zelfs onderpresterend ten opzichte van ImageNet-baselines.
Initialisatie van Detector: De meeste SSL-benaderingen pretrainen alleen de modelruggengraat (backbone), waardoor de detectorkop (nek en kop) willekeurig wordt geïnitieerd. Deze misalignatie verslechtert de prestaties, vooral in scenario's met schaarste aan data.

2. Methodologie: Anomalie-Gestuurde Zelftoezichthoudende Pretraining (AGSSP)

De auteurs stellen AGSSP voor, een nieuw tweestaps pretrainingparadigma dat representatieleren expliciet stuurt met behulp van anomalie-priors. Het framework werkt op een grote, ongelabelde industriële dataset (120.000 afbeeldingen, 61 categorieën) en bestaat uit drie kerncomponenten:

A. Kennis-Verrijkte Anomaliedetectie (KeAD)

Om de benodigde supervisiesignalen (anomaliekaarten) te genereren zonder handmatige labels, ontwikkelden de auteurs KeAD, een onbewaakte methode gebaseerd op het few-shot, multi-modale WinCLIP-model.

Prompt Engineering: In tegenstelling tot generieke prompts (bijv. "Beschadigd"), gebruikt KeAD gedetailleerde, defectspecifieke tekstbeschrijvingen gegenereerd via GPT-4o en verfijnd door expertkennis (bijv. "Een foto van {object} met {defecttype} defect, het verschijnt als {defectkenmerken}").
Visuele Verbetering: Om ruimtelijke lokalisatie te verbeteren, integreert de methode Clip Surgery (V-V attention), waarbij Query- en Key-componenten worden vervangen door Value-componenten in het attentiemechanisme. Dit vangt lokale ruimtelijke informatie efficiënter op dan de schuifvensterbenadering van WinCLIP.
Output: KeAD genereert pixelgewijze anomaliewarmtekaarten (zero-shot en few-shot modi) die potentiële defectgebieden aangeven.

B. Stap 1: Anomaliekaart-Gestuurde Backbone Pretraining (AGBP)

Deze stap distilleert kennis uit de gegenereerde anomaliekaarten in de modelruggengraat.

Distillatieverlies: De hoogwaardige feature maps van de backbone worden afgestemd op de anomaliekaarten met behulp van een L2-verlies (voor ViT-architecturen) of een cosine-afstandsverlies (voor heterogene architecturen zoals ResNet).
Strategie: Laagwaardige features worden behouden uit standaard op ImageNet voorgeïmplementeerde modellen (aangezien deze universele patronen vastleggen), terwijl hoogwaardige features worden gestuurd door de anomaliekaarten om zich te richten op defect-saliente gebieden.
Integratie: Dit distillatieverlies ( $L_{distill}$ ) wordt gecombineerd met bestaande pretrainingtaken (bijv. classificatie, MoCov3, SimMIM) via een gewogen som ( $L_{total} = L_{distill} + \lambda L_{task}$ ).

C. Stap 2: Anomalie-Box-Gestuurde Detector Pretraining (AGDP)

Deze stap adresseert de misalignatie van de detectorkop door deze te pretrainen met behulp van pseudo-labels afgeleid van de anomaliekaarten.

Generatie van Pseudo-Boxen: Afbeeldingen met hoge anomaliescores worden geïdentificeerd. Een dynamische drempelstrategie (aangepast per objectcategorie) converteert anomaliekaarten naar binaire maskers. Verbindingselementen worden geëxtraheerd en de top 10 bounding boxes met de hoogste anomaliescores worden behouden als pseudo-defectlabels.
Training: De detector (nek en kop) wordt getraind op deze pseudo-boxen terwijl de backbone bevroren blijft. Dit stelt het model in staat het concept van "anomalie objecten" te leren en aligneert de detectiecomponenten met de downstream-taak.

3. Belangrijkste Bijdragen

AGSSP Framework: Een tweestaps pretrainingparadigma dat anomaliekaarten gebruikt om zowel de representatie van de backbone als de taakalignatie van de detector holistisch af te stemmen, wat de prestaties in scenario's met schaarste aan data aanzienlijk verbetert.
KeAD-methode: Een kennis-verbeterde anomaliedetectietechniek die gebruikmaakt van gedetailleerde defectbeschrijvingen en V-V attention om hoogwaardige anomaliekaarten te genereren voor gestuurde pretraining, met sterke few-shot prestaties.
Grootschalige Dataset: De verzameling en publicatie van een grootschalige, ongelabelde industriële dataset met 120.000 afbeeldingen over 61 categorieën, samen met twee kleinschalige, pixel-niveau gelabelde datasets voor defecten op metalen oppervlakken (Casting Billet en Steel Pipe) voor validatie.
Uitgebreide Validatie: Uitgebreide experimenten tonen aan dat AGSSP ImageNet- en COCO-baselines overtreft over meerdere backbones (CSPDarknet, ResNet, Swin-Base) en detectoren (YOLOv8, Faster R-CNN, DINO).

4. Experimentele Resultaten

De auteurs hebben AGSSP geëvalueerd op vier datasets voor defecten op metalen oppervlakken (Casting Billet, Steel Pipe, GC10-Mini, GC10-DET) en een niet-metalen dataset (Fabric Defects).

Prestatiewinst: AGSSP verbeterde consistent de detectiemetrics. In vergelijking met op ImageNet gebaseerde modellen werd tot 10% verbetering in mAP@0.5 en 11,4% in mAP@0.5:0.95 bereikt.
Few-Shot Leren: In het extreme few-shot scenario (Casting Billet-Mini50, 50 trainingsstalen) leverde AGSSP een enorme winst op van +41,0% in mAP@0.5 en +24,5% in mAP@0.5:0.95 ten opzichte van de SimMIM-baseline.
Cross-Domein Generalisatie: Op de niet-metalen Fabric Defects-dataset verbeterde AGSSP de prestaties met +3,2% (mAP@0.5) en +5,2% (mAP@0.5:0.95), wat robuuste generaliseerbaarheid aantoont.
Ablatiestudies:
- KeAD: Gedetailleerde defectbeschrijvingen en V-V attention verbeterden de nauwkeurigheid van anomaliedetectie aanzienlijk (bijv. 93,5% image-level AUROC op Steel Pipe).
- Pretrainingstrategie: Het pretrainen van zowel de backbone als de detector (AGSSP) presteerde consistent beter dan alleen het pretrainen van de backbone (AGBP) of standaard SSL-methoden.
- Efficiëntie: De methode behoudt real-time inferentiecapaciteiten (bijv. YOLOv8s met AGSSP bereikt 94,5 FPS) terwijl het de nauwkeurigheid van grotere modellen zoals YOLOv12s evenaart of overtreft.

5. Betekenis en Claims

Het artikel beweert dat AGSSP de domeinkloof en objectieve misalignatie oplost die inherent zijn aan huidige pretrainingstrategieën voor industriële defectdetectie. Door het model expliciet te sturen om zich te richten op anomaliegebieden via een geünificeerde, anomalie-gestuurde aanpak, maakt de methode het leren van robuuste, domeinrelevante representaties mogelijk zonder dat er tijdens de pretrainingsfase kostbare bounding-box-annotaties nodig zijn.

De auteurs benadrukken dat terwijl standaard domeinspecifiek SSL vaak faalt vanwege het onvermogen om subtiele defecten van ruis te onderscheiden, hun anomalie-gestuurde aanpak succesvol de aandacht van het model richt op defect-saliente kenmerken. Het framework wordt gepresenteerd als architectuur-agnostisch en in staat om te worden geïntegreerd met bestaande gespecialiseerde architecturen, wat een schaalbare oplossing biedt voor industriële kwaliteitscontrole waar data schaars en ongelijk is.

Beschikbaarheid: Alle code, voorgeïmplementeerde modellen en datasets zijn publiek beschikbaar op de projectpagina die in het artikel wordt verstrekt.