Template-Based Feature Aggregation Network for Industrial Anomaly Detection

Deze paper introduceert TFA-Net, een efficiënt en real-time model voor industriële anomaliedetectie dat kortsluitlearning voorkomt door hiërarchische kenmerken te aggregeren op basis van een template om defecten nauwkeurig te lokaliseren.

De kern

🛠️ De "Magische Stempel" voor Productkwaliteit: TFA-Net

Stel je voor dat je in een enorme fabriek werkt waar duizenden perfecte producten langs een lopende band gaan. Je taak is om elk product te controleren op kleine krassen, gaten of andere fouten. Maar er is een probleem: de fouten zijn heel verschillend, en je hebt geen foto's van alle mogelijke fouten om ze te leren herkennen. Je hebt alleen foto's van de perfecte producten.

Dit is het probleem dat TFA-Net oplost. Het is een slim computerprogramma dat leert om fouten te vinden zonder ooit een fout te hebben gezien.

1. Het oude probleem: De "Kopieer- en Plak"-Fout

Vroeger gebruikten computersystemen een trucje: ze keken naar een product en probeerden het exact na te tekenen (reconstrueren). Als het product een kras had, hoopte de computer dat hij de kras niet kon natekenen, zodat de computer dacht: "Hé, hier klopt iets niet!"

Maar de computer was te slim voor zijn eigen bestwil. Hij leerde een "snelkookpad" (shortcut learning). Hij dacht: "Ik zie een kras? Geen probleem, ik teken gewoon de kras na." Het resultaat? De computer zag de fout, maar dacht dat het een perfect product was, omdat hij het zo goed had nagebootst. Dit is alsof je een schilderij probeert te kopiëren, maar per ongeluk de vlek op het doek ook perfect overneemt.

2. De nieuwe oplossing: TFA-Net met een "Magische Stempel"

De onderzoekers van TFA-Net bedachten een nieuwe manier. In plaats van te proberen het product exact na te tekenen, gebruiken ze een stempel.

• De Stempel (Template): Ze nemen één perfecte, onbeschadigde foto van een product en maken er een "stempel" van. Dit is hun referentie voor "perfect".
• Het Proces: Als er een nieuw product (met of zonder fout) langs komt, probeert de computer niet het product zelf na te tekenen. In plaats daarvan probeert hij de nieuwe foto te "plakken" op de stempel.

3. Hoe werkt de "Magische Stempel" precies?

Hier komt de magie van de Template-based Feature Aggregation (TFAM) om de hoek kijken.

Stel je voor dat de computer de foto's in duizenden kleine puzzelstukjes verdeelt.

• Perfecte stukjes: Als een stukje van het nieuwe product perfect is, past het naadloos op de stempel. De computer zegt: "Ja, dit hoort hier!" en plakt het stevig vast.
• Fouten stukjes: Als er een kras of gat is, past dat stukje niet op de stempel. De stempel heeft immers geen kras. De computer zegt: "Nee, dit past niet op mijn perfecte stempel!" en gooit dat stukje weg.

Dit is alsof je een stempel van een schoon gezicht hebt. Als je een foto van iemand met een snorplakje probeert te stempelen, past de snor niet op de stempel en valt hij er af. De computer ziet dan alleen het schone gezicht.

4. De "Slimme Vertaler" (Vision Transformer)

Om dit te doen, gebruiken ze een heel slim type computerbrein genaamd Vision Transformer (ViT).

• Oude manier (CNN): Dit is alsof je een foto bekijkt door een klein raampje en alleen kijkt naar wat er direct om je neus gebeurt. Je mist het grote plaatje.
• Nieuwe manier (ViT): Dit is alsof je een panoramische foto hebt en je kunt overal tegelijk naar kijken. De computer begrijpt de "sfeer" en de context van het hele product. Hierdoor is hij veel beter in het zien of een stukje echt bij de stempel hoort of niet.

5. Het Resultaat: Een "Gezuiverde" Foto

Na het plakken op de stempel, heeft de computer een nieuwe foto gemaakt.

• De perfecte delen van het product zijn overgebleven.
• De fouten (de krassen, gaten) zijn verdwenen omdat ze niet op de stempel pasten.

Vervolgens vergelijkt de computer de oorspronkelijke foto met deze nieuwe, gezuiverde foto.

• Waar ze verschillen, is er een fout!
• Omdat de computer de fouten heeft "weggefilterd" in plaats van ze na te tekenen, is het verschil heel duidelijk zichtbaar.

6. Waarom is dit zo goed?

• Snelheid: Het werkt razendsnel, perfect voor fabrieken waar producten in een stroom langs gaan.
• Betrouwbaarheid: Het maakt geen fouten door "snelkookpaden". Het ziet echt wat er mis is.
• Flexibiliteit: Het maakt niet uit welke perfecte foto je als stempel kiest; het werkt altijd goed, zelfs als de producten een beetje gedraaid staan.

Samenvatting in één zin

TFA-Net is als een slimme inspecteur die een "ideale versie" van een product in zijn hoofd heeft; als hij een nieuw product ziet, probeert hij het op die ideale versie te projecteren, en waar het niet past (de fouten), springt het eruit als een felrode vlag.

Dit systeem zorgt ervoor dat fabrieken minder defecte producten verkopen en de kwaliteit van alles wat we kopen, hoger wordt.

Technische samenvatting

Probleemstelling

Industriële afwijkingsdetectie (Anomaly Detection) is cruciaal voor kwaliteitscontrole, maar het blijft een uitdagende taak vanwege de diversiteit aan defecten en het gebrek aan gelabelde defectdata (wat leidt tot onbewuste methoden).
Bestaande methoden, met name die gebaseerd op herconstructie (zoals Auto-Encoders en GANs), kampen met een fundamenteel probleem: shortcut learning (of triviale oplossingen).

• Het probleem: Traditionele herconstructiemodellen hebben vaak een te hoge generalisatiekracht. Ze leren niet alleen normale patronen, maar kunnen defecten ook perfect reconstrueren omdat ze de invoer simpelweg kopiëren zonder globale semantische informatie te gebruiken.
• Gevolg: Dit leidt tot een lage inspectieprecisie, omdat defecten niet als afwijkend worden gedetecteerd (ze worden "hersteld" in de output).
• Beperkingen van bestaande oplossingen: Methoden die gebruikmaken van geheugenbanken (memory banks) of generatieve modellen hebben vaak nog steeds moeite met het onderscheiden van complexe defecten en leiden soms tot onnauwkeurige reconstructies.

Methodologie: TFA-Net

De auteurs stellen TFA-Net (Template-based Feature Aggregation Network) voor, een hybride architectuur die Convolutionele Neural Networks (CNN) en Vision Transformers (ViT) combineert. Het doel is om een betekenisvolle herconstructie-taak te creëren in plaats van een simpele kopieer-taak.

De werking verloopt in vier hoofdstadia:

1. Multi-level Fusion Feature Extraction:

   • In plaats van pixels te reconstrueren, worden hoge-niveau semantische features gebruikt.
   • Een vooraf getrainde CNN (Wide-ResNet50) haalt features uit meerdere lagen (1e tot 4e laag) van zowel de invoerafbeelding als een vaste "template" (een normale afbeelding).
   • Deze features worden op dezelfde grootte geschaald en samengevoegd (concatenatie) tot een multi-schaal feature-map. Dit zorgt voor een rijke combinatie van detail en semantische context.

2. Template-based Feature Aggregation Mechanism (TFAM):

   • Dit is het kerninnovatiepunt. In plaats van de invoerfeatures direct te reconstrueren, worden de invoerfeatures en de template-features samengevoegd en ingevoerd in een Vision Transformer (ViT).
   • Werking: De ViT gebruikt self-attention om features te aggregeren. Omdat normale features in de invoer sterk lijken op de template-features, worden ze succesvol geaggregeerd naar de template.
   • Filtering: Defecte features hebben een lage gelijkenis met de template (die alleen normale patronen bevat). Hierdoor kunnen ze zich niet goed aggregeren met de template en worden ze effectief "gefilterd" of genegeerd tijdens het aggregatieproces.
   • Na aggregatie worden de originele invoerfeatures verworpen; alleen de geaggregeerde template-features (die nu normale informatie bevatten maar geen defecten) worden doorgegeven.

3. Feature Detail Refinement Module (FDRM):

   • De geaggregeerde features worden nogmaals verwerkt door een reeks transformer-blokken (FDRM) om de details te verfijnen en eventuele resterende kleine defecten te repareren, wat leidt tot de definitieve gereconstrueerde feature-map.

4. Dual-Mode Anomaly Segmentation:

   • De defecten worden gelokaliseerd door de verschillen te berekenen tussen de originele invoerfeatures en de gereconstrueerde features.
   • Er wordt gebruikgemaakt van twee metrieken: Euclidische afstand (voor magnitude-verschillen) en Cosine Similarity (voor hoek/richtingsverschillen).
   • Deze twee worden gecombineerd tot een definitieve anomalie-scorekaart, wat de robuustheid verhoogt.

Belangrijkste Bijdragen

1. TFAM (Template-based Feature Aggregation Mechanism): Een nieuwe methode die het probleem van shortcut learning oplost door features te aggregeren op een normale template. Dit dwingt het model om globale semantische informatie te gebruiken en voorkomt dat defecten perfect worden gereconstrueerd.
2. Gebruik van Vision Transformer (ViT): In plaats van CNN's voor de aggregatiestap, wordt ViT gebruikt omdat het geen inductieve bias voor translatie-equivariantie heeft en beter is in het modelleren van globale relaties tussen verschillende oriëntaties van objecten.
3. Dual-Mode Segmentatie: Een robuuste detectiemethode die zowel Euclidische afstand als Cosine Similariteit combineert voor nauwkeurigere defectlokalisatie.
4. Multi-scale Feature Fusion: Het gebruik van gefuseerde features uit verschillende CNN-lagen in plaats van pixels, wat detectie van defecten van verschillende groottes mogelijk maakt.

Resultaten

De prestaties van TFA-Net zijn getest op twee belangrijke datasets: MVTec AD (standaard industriële dataset) en MVTec LOCO AD (dataset voor logische en structurele defecten).

• MVTec AD:

  • TFA-Net behaalde een state-of-the-art prestatie met een Image-level AUROC van 98,7% en een Pixel-level AUROC van 98,3% over alle 15 categorieën.
  • Het presteerde beter dan de tweede beste methode (DFR) met respectievelijk 0,7% en 1,0%.
  • Het behaalde zelfs 100% AUROC op categorieën zoals Leather, Bottle en Hazelnut.
  • Het model was bijzonder effectief bij het detecteren van complexe defecten zoals objectverdwijning (bijv. in de 'Cable' en 'Transistor' categorieën), wat eerdere methoden vaak misten.

• MVTec LOCO AD:

  • Het model toonde uitstekende prestaties bij het detecteren van structurele defecten (Image AUROC 85,4%).
  • Bij logische defecten behaalde het de tweede beste score, wat indrukwekkend is gezien de complexiteit van deze dataset.

• Efficiëntie:

  • Het model voldoet aan de eisen voor real-time industriële toepassingen.
  • Ablatie-experimenten toonden aan dat het model robuust is ten opzichte van de keuze van de template-afbeelding (verschillende normale afbeeldingen als template hebben weinig invloed op de prestatie).

Significantie

TFA-Net biedt een significante doorbraak in industriële afwijkingsdetectie door het fundamentele probleem van "shortcut learning" in herconstructiemodellen aan te pakken.

• Semantische Diepte: Door te focussen op feature-aggregatie in plaats van pixel-reconstructie, leert het model de onderliggende semantiek van "normaal" beter te begrijpen.
• Praktische Toepasbaarheid: De methode is niet alleen nauwkeurig, maar ook snel genoeg voor real-time inspectie in fabrieken.
• Generalisatie: Het model presteert goed op zowel visuele defecten als complexe logische defecten, wat het een veelzijdige oplossing maakt voor de moderne industrie.

De code is open-source beschikbaar, wat de adoptie en verdere ontwikkeling in de onderzoeksgemeenschap en industrie faciliteert.