Technische Samenvatting: Visual Prompting ontmoet Feature Reconstruction-gebaseerde Anomaliedetectie met Dual-Teacher Supervisie

1. Probleemstelling

Unsupervised Anomaly Detection (AD) heeft bijna perfecte prestaties bereikt op gevestigde benchmarks zoals MVTec AD, waarbij vaak beeldniveau AUROC-scores van meer dan 99% worden gerapporteerd. Echter, de paper betoogt dat deze successen sterk leunen op "steriele" dataset-aannames: consistente objectschaal, gecentreerde plaatsing, homogene achtergronden en vaste gezichtspunten. Wanneer deze aannames in realistische industriële scenario's worden geschonden (bijv. variërende verlichting, rommelige achtergronden of verkeerd uitgelijnde objecten), degradeert de prestatie aanzienlijk.

Om deze kwetsbaarheid aan te tonen, introduceren de auteurs een Distorted MVTec variant waarbij achtergronden worden vervangen door willekeurige texturen. Experimenten laten zien dat populaire AD-methoden prestatieverlies lijden tussen de 1,7 en 16,4 procentpunten op deze verstoorde dataset, waarbij achtergrondruis in de hoeken van de afbeelding vaak de rangschikking van algoritmen verandert. Dit benadrukt een kritieke kloof tussen gecontroleerde benchmarkprestaties en de toepasbaarheid in de echte wereld.

2. Methodologie

Het voorgestelde framework is architectuur-agnostisch en is ontworpen om student-teacher reconstructie-gebaseerde methoden te verbeteren (specifiek gebruikmakend van het Masked Multiscale Reconstruction (MMR) model als backbone). De pipeline bestaat uit drie modulaire fasen: Preparatie, Training en Inference.

2.1 Visual Prompting Masks Pipeline (Achtergrondverwijdering)

Om de gevoeligheid voor achtergrondvariaties te mitigeren, introduceren de auteurs een post-processing pipeline die het object van belang isoleert.

• Mechanisme: Met behulp van het Segment Anything Model (SAM) en een "Matcher"-framework (gebaseerd op schaalbare feature matching), genereert het systeem foreground/background (FG/BG) segmentatiemaskers.
• Proces: Een kleine set referentieafbeeldingen wordt gebruikt om initiële maskers te creëren via Visual Prompting. Tijdens de inference leiden deze referenties bij de automatische generatie van maskers voor testafbeeldingen.
• Toepassing: Het gegenereerde FG-masker wordt toegepast op de anomalie-scorekaart. Om te voorkomen dat randdefecten worden gemist, gebruiken de auteurs een "mixing method" die het FG-masker dilateert en afkapt op de piekwaarde van de ruwe scorekaart, wat een balans vindt tussen scherpe discriminatie en volledige defectdekking.

2.2 Knowledge-Preserving Dual-Teacher Approach

Standaard student-teacher methoden gebruiken een bevroren pre-trained teacher (bijv. ImageNet) om de student te begeleiden. De auteurs stellen dat dit de adaptiviteit beperkt in doelgebieden waar pre-trained features suboptimaal kunnen zijn.

• De Uitdaging: Het naïef decompileren (unfreezen) van de teacher leidt tot "feature collapse", waarbij het model convergeert naar een triviale oplossing om de afstand tussen student en teacher te minimaliseren.
• De Oplossing: Er wordt een Dual-Teacher framework geïntroduceerd:
  1. Weak Teacher: Een ongebevroren kopie van het pre-trained model die zich aanpast aan het doeldomein.
  2. Strong Teacher: Een bevroren kopie van het pre-trained model die fungeert als een regularisator.
• Loss Functie: De totale loss combineert de Knowledge Distillation (KD) loss tussen de Student en de Weak Teacher ($L_{S\_WT}$) en de KD loss tussen de Weak en de Strong Teacher ($L_{WT\_ST}$).
  $$L_{total} = L_{S\_WT} + \lambda L_{WT\_ST}$$
  De hyperparameter $\lambda$ controleert de flexibiliteit van de Weak Teacher. Een hoge $\lambda$ beperkt de adaptatie; een lage $\lambda$ staat meer flexibiliteit toe maar brengt het risico op collapse met zich mee. De Strong Teacher wordt tijdens de inference uitgeschakeld om rekentijd te besparen.

2.3 Synthetische Trainingsdata via Diffusion Modellen

Om de generalisatie te verbeteren en te fungeren als een mechanisme voor regularisatie, vergroten de auteurs de trainingsset met synthetische afbeeldingen.

• Generatie: Een pre-trained diffusion model wordt gefinetuned op de trainingsset van het doeldomein om synthetische afbeeldingen te samplen die qua uiterlijk en context nauw lijken op de originele "goede" samples.
• Strategie: In tegen tegenstelling tot methoden die synthetische anomalieën genereren (waardoor AD een gesuperviseerde taak wordt), genereert deze aanpak hoogwaardige normale afbeeldingen. Dit vergroot de datadiversiteit en voorkomt overfitting op de originele trainingsdistributie zonder bias te introduceren door potentieel onrealistische defectpatronen.

3. Belangrijkste Bijdragen

De paper schetst drie primaire bijdragen:

1. Visual Prompting Pipeline: Een methode om objecten te isoleren met auto-gegenereerde FG/BG-maskers, wat de gevoeligheid voor achtergrondruis vermindert en de robuustheid van de scoremap verbetert.
2. Dual-Teacher Supervision: Een mechanisme om de teacher te unfreezen in reconstructie-gebaseerde modellen zonder last te hebben van feature collapse, wat de domein-adaptiviteit verbetert en pre-training bias mitigeert.
3. Diffusion-gebaseerde Data Augmentatie: Een strategie om synthetische normale afbeeldingen te genereren om de trainingsdata-diversiteit te verrijken en als regularisator te fungeren, wat de generalisatiecapaciteiten versterkt.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de AeBAD-S dataset (aero-engine bladen met variërende verlichting en achtergronden) en de MVTec dataset.

4.1 Prestaties op AeBAD-S

Het voorgestelde framework (MMR+++) behaalde state-of-the-art resultaten op de uitdagende AeBAD-S dataset:

• Image-Level AUROC: 88,2%, waarmee het de vorige SOTA (MiniMaxAD met 87,0%) overtrof met 1,2% en de backbone MMR met 3,5%.
• Pixel-Level AUPRO: 90,2%, waarmee het de vorige SOTA (89,1%) overtrof met 1,1%.
• Ablatie-studies:
  • Synthetische Data: De optimale prestaties werden gevonden met een ratio van 1:3 tussen echte en synthetische afbeeldingen. Puur synthetische trainingsdata presteerde nog steeds beter dan de meeste baselines.
  • Dual Teacher: De piekprestaties traden op bij intermediaire $\lambda$-waarden. Naarmate de hoeveelheid synthetische data toenam, daalde de optimale $\lambda$, wat suggereert dat synthetische data impliciete regularisatie biedt.
  • Achtergrondverwijdering: De mixing method (dilated + raw masks) leverde de beste balans op, waarbij de verloren AUPRO-scores door de raw masks werden hersteld terwijl een hoge AUROC behouden bleef.

4.2 Prestaties op MVTec

Op de gecontroleerde MVTec dataset vertoonde het framework progressieve verbeteringen ten opzichte van de baseline. De auteurs merkten echter op dat synthetische data de prestaties op MVTec soms verslechterde. Inspectie toonde aan dat sommige synthetische "goede" afbeeldingen "defect-achtig" leken, en slecht uitgelijnde synthetische data een negatieve impact had op de fine-tuning van de ongebevroren teacher. Dit suggereert dat de voordelen van synthetische augmentatie het meest uitgesproken zijn in complexe, minder gecontroleerde domeinen.

5. Betekenis en Claims

De paper claimt dat gevestigde AD-methoden zwaar afhankelijk zijn van gecontroleerde omgevingen, wat hun bruikbaarheid in de echte wereld beperkt. Het voorgestelde framework pakt dit aan door een modulair, architectuur-agnostisch proces te introduceren dat de robuustheid verhoogt tegen:

• Achtergrondvariaties (via Visual Prompting).
• Domeinverschuivingen en pre-training bias (via Dual-Teacher supervisie).
• Dataschaarste en overfitting (via Diffusion-gebaseerde augmentatie).

De auteurs benadrukken dat hun verbeteringen onafhankelijk zijn en kunnen worden toegepast op de meeste kennisdistillatie-gebaseerde reconstructiemethoden. De resultaten op AeBAD-S tonen aan dat deze modificaties het gat tussen benchmarkprestaties en de realiteit aanzienlijk kunnen dichten, waarbij state-of-the-art detectie- en segmentatiescores worden behaald onder uitdagende omstandigheden.