MIRAGE: Model-agnostic Industrial Realistic Anomaly Generation and Evaluation for Visual Anomaly Detection

Probleemstelling

Industriële visuele anomaliedetectie (VAD) wordt doorgaans getraind op uitsluitend normale (defectvrije) steekproeven. Hoewel deze "one-class" paradigma's effectief zijn, presteren ze aanzienlijk beter wanneer zelfs beperkte hoeveelheden anomalie-gegevens beschikbaar zijn. Het probleem is echter dat industriële omgevingen zelden beschikken over echte defecte voorbeelden.

Bestaande methoden voor het synthetisch genereren van anomalieën hebben aanzienlijke beperkingen:

• Copy-paste methoden (bijv. DRAEM, GLASS) produceren vaak onrealistische texturen.
• Diffusie-gebaseerde methoden (bijv. RealNet) vereisen training per categorie, wat rekenkundig duur is en niet schaalbaar.
• Few-shot methoden vereisen echte defecte voorbeelden tijdens het trainen, wat de kern van het probleem is.
• State-of-the-art zero-shot methoden (zoals AnomalyAny) vereisen zware hardware (GPU's met >30GB VRAM), lange generatietijden en zijn moeilijk te upgraden naar nieuwe generatiemodellen.

Er is dus behoefte aan een oplossing die geen echte defecte data vereist, geen training nodig heeft, goedkoop is in gebruik en model-agnostisch is (makkelijk te upgraden).

Methodologie: De MIRAGE-pijplijn

MIRAGE (Model-agnostic Industrial Realistic Anomaly Generation and Evaluation) is een volledig geautomatiseerde pijplijn die anomalieën genereert en bijbehorende pixel-level maskers creëert zonder training. De pijplijn bestaat uit drie hoofdfasen:

1. Generatie van Anomalie-afbeeldingen:

   • Model-agnostische benadering: De generatiemodellen worden behandeld als "black boxes" via API-aanroepen. In dit paper wordt Gemini 2.5 Flash Image (intern bekend als Nano Banana) gebruikt, maar elk model kan worden ingewisseld.
   • Automatische Prompt-generatie: Een Vision-Language Model (VLM) analyseert normale referentie-afbeeldingen en genereert automatisch realistische defectbeschrijvingen (prompts) zonder menselijke tussenkomst.
   • Generatie: De generatiemodellen creëren fotorealistische defecte afbeeldingen op basis van de normale afbeelding en de gegenereerde tekst-prompt, waarbij de achtergrond en belichting behouden blijven.

2. Kwaliteitsfiltering (CLIP-based):

   • Om generatiefouten en afbeeldingen die niet overeenkomen met de prompt te verwijderen, wordt een lichtgewicht filter gebruikt op basis van CLIP.
   • Er worden drie voorwaarden gesteld om de semantische coherentie te garanderen: de gegenereerde afbeelding moet beter overeenkomen met de defect-prompt dan met de normale prompt, en beter dan de normale afbeelding met de defect-prompt. Alleen afbeeldingen die aan alle criteria voldoen, worden behouden.

3. Generatie van Pixel-level Maskers (Dual-Branch Change Detection):

   • Een groot uitdaging is het nauwkeurig lokaliseren van het gegenereerde defect. MIRAGE introduceert een trainingsvrije, dual-branch semantic change detection module:
     • Semantische tak: Gebruikt Grounding DINO (geconditioneerd op de defect-prompt) om een grove semantische kaart te maken van waar het defect zou moeten zitten.
     • Structurele tak: Gebruikt YOLOv26-L-Seg (zonder tekst-conditioning) om fijne, structurele veranderingen tussen de normale en de gegenereerde afbeelding te detecteren.
   • Fusie: De elementsgewijze vermenigvuldiging van deze twee kaarten resulteert in een nauwkeurig masker dat zowel semantisch relevant als structureel correct is.
   • Calibratie: Een enkele drempelwaarde wordt per categorie bepaald om de continue scorekaart om te zetten in een binair masker, gemaximaliseerd op een kleine calibratieset.

Belangrijkste Bijdragen

1. Model-agnostische pijplijn: Een plug-and-play systeem dat geen training vereist, geen dure hardware nodig heeft en eenvoudig kan worden geüpgraded door alleen de API-eindpunt te wijzigen.
2. Uitgebreide Benchmark: Een grondige evaluatie van vier generatiemethoden op MVTec AD en VisA datasets, inclusief downstream segmentatie, geautomatiseerde kwaliteitsmetrieken en een menselijke perceptiestudie.
3. Trainingsvrije Maskergeneratie: Een innovatieve module die Grounding DINO en YOLOv26 combineert om nauwkeurige maskers te genereren zonder extra training, met een AUROC van 0,92.
4. Grootschalige Open Dataset: Publicatie van een dataset met 500 afbeelding-maskerparen per categorie voor alle klassen van MVTec AD en VisA (totaal >13.000 paren), inclusief alle prompts en code.

Resultaten

De prestaties van MIRAGE werden vergeleken met GLASS, RealNet en AnomalyAny:

• Menselijke Perceptie: In een studie met 31 deelnemers en 1.550 stemmen behaalde MIRAGE een TrueSkill-score van 28,33, wat slechts 0,28 punten verwijderd is van echte defecte afbeeldingen (28,61). MIRAGE won 67,2% van de beslissende vergelijkingen, aanzienlijk meer dan AnomalyAny (59,2%) en RealNet (33,7%).
• Visuele Kwaliteit: MIRAGE behaalde de hoogste Inception Score (IS) en de beste Intra-Cluster LPIPS (IC-LPIPS), wat aangeeft dat de gegenereerde afbeeldingen zowel van hoge kwaliteit als perceptueel consistent zijn met echte defecten.
• Downstream Prestaties: Een U-Net getraind op de synthetische data van MIRAGE behaalde de beste prestaties in zowel beeldniveau- als pixelniveau-anomaliedetectie op de testsets van MVTec AD en VisA.
• Effect van Filtering: Het CLIP-filter verbeterde de prestaties van de downstream detectie aanzienlijk (bijv. van 0,70 naar 0,80 AUROC op MVTec AD) door slecht uitgelijnde gegenereerde afbeeldingen te verwijderen.

Significantie

MIRAGE vertegenwoordigt een paradigmaverschuiving in industriële anomaliedetectie. Het lost het probleem van het gebrek aan defecte data op zonder de noodzaak van dure hardware of complexe training. Door de modulaire en model-agnostische architectuur is de oplossing toekomstbestendig en schaalbaar. De vrijgegeven dataset en code bieden een waardevolle basis voor toekomstig onderzoek in defectdetectie, classificatie en industriële beeldsegmentatie, en maken het mogelijk voor onderzoekers om direct te werken aan supervised taken zonder zelf data te hoeven genereren.