MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness

1. Probleemstelling

In industriële kwaliteitscontrole is Few-Shot Anomaly Generation (FSAG) cruciaal voor het trainen van robuuste anomaliedetectiemodellen wanneer gelabelde defecte data schaars is. Bestaande benaderingen vallen over het algemeen in twee categorieën, die beide aanzienlijke beperkingen hebben:

• Global Anomaly Generation (GAG): Methoden die anomalieën en maskers simultaan genereren zonder invoermaskers. Hoewel ze divers zijn, verstoren ze vaak de achtergrondtexturen van normale gebieden, wat leidt tot onrealistische afbeeldingen.
• Mask-Guided Anomaly Generation (MAG): Methoden die een normale afbeelding en een door de gebruiker aangeleverd masker gebruiken om anomalieën in te vullen. Hoewel ze de achtergrond behouden, kampen ze met twee hoofdzaken:
  1. Lage In-Distribution Diversiteit: Modellen die zwaar zijn geconditioneerd op de normale afbeelding, hebben de neiging om de weinig trainingsvoorbeelden te memoriseren, wat leidt tot repetitieve texturen en vormen (mode collapse).
  2. Semantische Misalignement: Genereerde anomalieën verschijnen vaak op semantisch onwaarschijnlijke locaties (bijvoorbeeld een kras op het hoofd van een schroef terwijl het masker op de schacht was geplaatst), wat leidt tot onrealistische artefacten.

De kernuitdaging is het genereren van hoogwaardige, diverse anomalieën die strikt adhere aan het masker, terwijl tegelijkertijd wordt gewaarborgd dat het masker in een semantisch plausibel gebied wordt geplaatst, alles binnen een few-shot setting.

2. Methodologie: MAGIC Framework

De auteurs stellen MAGIC voor, een fine-tuned inpainting framework gebaseerd op de Stable Diffusion backbone. Het introduceert drie complementaire componenten om de beperkingen van bestaande MAG-methoden aan te pakken:

A. Gaussian Prompt Perturbation (GPP)

• Doel: Het verhogen van de in-distribution diversiteit en het voorkomen van overfitting in few-shot settings.
• Mechanisme: In plaats van alleen tijdens inferentie ruis toe te passen (wat distributieveranderingen veroorzaakt), injecteert GPP Gaussische ruis ($\delta$) in de anomalie-token embeddings (zowel voor texture prompts als masker embeddings) tijdens zowel training als inferentie.
• Effect: Dit dwingt het model om een glad, continu manifold van realistische anomalieën te leren in plaats van discrete trainingspunten te memoriseren. Tijdens inferentie levert het afnemen van dit manifold diverse texturen en maskervormen op die binnen de doeldata-distributie blijven.

B. Spatially Adaptive Guidance (SAG)

• Doel: Het balanceren van textuurdiversiteit in het anomaliegebied met achtergrondtrouw in het normale gebied.
• Mechanisme: Standaard Classifier-Free Guidance (CFG) past een uniforme schaal ($w$) toe. MAGIC past ruimtelijk variërende CFG-schalen toe:
  • Normaal Gebied: Een hoge, vaste CFG-schaal ($w_d = 7.5$) wordt gebruikt om de achtergrondconsistentie strikt te behouden.
  • Anomaliegebied: Een dynamische schaal ($w_a(t)$) wordt toegepast. Deze begint laag ($w_m = 4$) tijdens vroege diffusiestappen om diverse textuuroverwegingen te stimuleren en neemt geleidelijk toe tot $w_d$ via een cosinus-schema naarmate het denoisen vordert om realisme te verfijnen.
• Effect: Dit stelt het model in staat om vroeg diverse anomalietexturen te verkennen, terwijl wordt gewaarborgd dat de uiteindelijke output realistisch is en de achtergrond onaangetast blijft.

C. Context-Aware Mask Alignment (CAMA)

• Doel: Het oplossen van het probleem dat maskers op semantisch onwaarschijnlijke locaties worden geplaatst.
• Mechanisme:
  1. Keypoint Extractie: Uit een referentie-anomaliepaar (trainingsdata) worden drie keypoints geselecteerd: het maskercentroïde ($p_c$) en twee grenspunten ($p_u, p_\ell$) op een verticale lijn.
  2. Semantische Matching: Deze keypoints worden gematcht met de doelnormale afbeelding met behulp van een voorgeprogrammeerd semantisch correspondentiemodel (GeoAware-SC) om similariteitskaarten te genereren.
  3. Alignement: Het optimale nieuwe centroïde ($q^*_c$) wordt bepaald door het punt op de "semantische kandidaatlijn" (gedefinieerd door de gematchte grenspunten) te vinden dat binnen het voorgrondmasker van het object ligt en de similariteitsscore maximaliseert.
  4. Transformatie: Het invoermasker wordt vertaald om uit te lijnen met $q^*_c$ en afgeknipt tot het voorgrondmasker van het object.
• Effect: Zorgt ervoor dat anomalieën worden gegenereerd op structureel en semantisch correcte locaties (bijvoorbeeld een kras op het hoofd van een schroef), waardoor artefacten buiten het object worden voorkomen.

3. Belangrijkste Bijdragen

1. Novel Framework (MAGIC): Het eerste few-shot MAG framework dat gelijktijdig lage diversiteit, lage trouw en semantische misalignement aanpakt.
2. GPP Strategie: Demonstreert dat perturbatie moet worden toegepast tijdens zowel training als inferentie om een glad manifold te leren, waardoor de distributieveranderingsproblemen worden vermeden die worden gezien bij alleen-inferentie ruisinjectie.
3. Spatially Adaptive Guidance: Een nieuw besturingsmechanisme op het moment van inferentie dat de leidingssterkte ontkoppelt tussen anomalie- en achtergrondgebieden, optimaliserend voor zowel diversiteit als trouw.
4. Semantische Masker Alignement: Een robuuste module (CAMA) die gebruikmaakt van geometrische en semantische aanwijzingen om maskers te verplaatsen, wat de plausibiliteit van gegenereerde defecten aanzienlijk verbetert.

4. Experimentele Resultaten

De auteurs hebben MAGIC geëvalueerd op vier benchmark datasets: MVTec-AD, VisA, DAGM en MVTec 3D-AD.

• Generatiekwaliteit & Diversiteit:
  • MAGIC behaalde de laagste Kernel Inception Distance (KID) scores over alle datasets, wat een superieure alignement met de echte anomaliedistributie aangeeft in vergelijking met baselines (AnoDiff, AnoGen, DualAnoDiff, SeaS).
  • Hoewel IC-LPIPS (diversiteitsmetriek) iets lager was dan sommige baselines, betogen de auteurs dat dit te wijten is aan de strikte adhere van MAGIC aan in-distribution realisme, waardoor de "kunstmatige inflatie" van diversiteit wordt vermeden die wordt gezien in methoden die out-of-distribution artefacten genereren.
• Downstream Taken:
  • Anomalie Classificatie: MAGIC verbeterde de classificatie-accuraatheid met 13,81% ten opzichte van de vorige state-of-the-art (DualAnoDiff) gemiddeld.
  • Detectie & Lokalisatie: MAGIC vestigde nieuwe state-of-the-art resultaten in beeldniveau (AUROC, AP, F1-max) en pixelniveau (PRO) metrieken over alle vier datasets.
• Ablatie Studies:
  • Het verwijderen van GPP leidde tot significante dalingen in diversiteit en classificatie-accuraatheid.
  • Het verwijderen van SAG verminderde de balans tussen diversiteit en trouw.
  • Het verwijderen van CAMA resulteerde in lagere masker-alignement scores en verminderde classificatieprestaties, wat het belang van semantische plaatsing bevestigt.

5. Betekenis

MAGIC vertegenwoordigt een aanzienlijke vooruitgang in industriële anomaliedetectie door het probleem van "datatekort" effectiever op te lossen dan eerdere generatieve benaderingen.

• Praktische Impact: Door het genereren van diverse, hoogwaardige en semantisch correcte trainingsdata, stelt MAGIC downstream-modellen in staat om defecten nauwkeuriger te detecteren en te classificeren, zelfs met zeer weinig real-world voorbeelden.
• Theoretisch Inzicht: Het artikel benadrukt het kritieke belang van perturbatie tijdens training voor manifold learning in diffusiemodellen en introduceert een nieuw paradigma voor ruimtelijk adaptieve controle in inpainting-taken.
• Robuustheid: De methode blijkt robuust over diverse objecttypes (van 2D texturen tot 3D objecten) en anomalietypes, en vestigt een nieuwe benchmark voor few-shot anomaliegeneratie.