💻 computer science

FreqPrompt-AD: Frequency-guided local semantic prompting for zero-shot industrial anomaly detection and segmentation

Het artikel stelt FreqPrompt-AD voor, een training-vrij framework dat zero-shot industriële anomaliedetectie en segmentatie verbetert door gebruik te maken van frequentie-gestuurde lokale semantische prompting om de beperkingen van globale beeld-tekst uitlijning in CLIP-achtige modellen te overwinnen, waarmee het state-of-the-art prestaties bereikt op meerdere benchmarks.

Oorspronkelijke auteurs: Siqi Qiao, Chang Liu

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siqi Qiao, Chang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kwaliteitsinspecteur bent in een fabriek. Je taak is om minuscule krasjes, barstjes of vlekken te ontdekken op producten zoals metalen tandwielen, printplaten of textiel. Het probleem? Je hebt dit specifieke type product nog nooit eerder gezien en je hebt geen handleiding of een lijst met wat "slecht" eruit ziet. Je hebt alleen een foto en moet zeggen: "Dat ziet er niet goed uit."

Dit is de uitdaging van Zero-Shot Industrial Anomaly Detection. Het onderzoek introduceert een nieuwe tool genaamd FreqPrompt-AD om dit op te lossen.

Zo werkt het, uitgelegd via eenvoudige analogieën:

Het Probleem: Het "Grote Plaatje" vs. de "Kleine Kras"

De onderzoekers merkten op dat moderne AI-modellen (genaamd Vision-Language Models, of VLM's) lijken op algemene kunstcritici. Ze zijn erg goed in het bekijken van een heel schilderij en zeggen: "Dit is een landschap," of "Dit is een portret." Ze begrijpen het "grote plaatje" heel goed.

Echter, industriële defecten zijn vaak minuscule, hoogfrequente details—zoals een haarlijnbarst of een stofje. Wanneer je een algemene kunstcriticus vraagt om een klein krasje op een metalen oppervlak te vinden, missen ze het vaak. Ze raken te veel afgeleid door de algemene vorm van het object (bijv. "Dat is een tandwiel") en negeren de kleine textuurveranderingen.

Het onderzoek laat zien dat defecte gebieden "ruiziger" zijn (ze hebben meer hoogfrequente energie) dan normale gebieden, maar standaard AI-modellen hebben de neiging om deze ruis glad te strijken omdat ze getraind zijn om kalm en consistent te zijn.

De Oplossing: FreqPrompt-AD

De auteurs hebben een systeem gebouwd dat werkt als een gespecialiseerde detective die precies weet waar hij moet kijken. In plaats van de AI alleen maar te vragen "Is dit object kapot?", geven ze het een driestapsstrategie om de probleemgebieden te vinden:

1. De "Statische Filter" (Frequency-Aware Prompt Interaction)

Stel je voor dat je naar een liedje luistert. Soms is de muziek vloeiend, maar een kras op de plaat zorgt voor een scherpe, hoogfrequente pop of ruis.

Wat het onderzoek doet: Het neemt de afbeelding en scheidt de "vloeiende muziek" (laagfrequente achtergrond) van de "statische ruis" (hoogfrequente details).
De analogie: Het vertelt de AI: "Negeer de gladde delen van de afbeelding. Richt je aandacht alleen op de gebieden die 'statisch' of 'korrelig' ogen. Dat zijn de plekken waar een defect waarschijnlijk verborgen zit." Dit verandert onzichtbare textuurveranderingen in een spotlight voor de AI.

2. De "Lokale Bibliothecaris" (Local Semantic Calibration)

Soms is de "statische ruis" geen defect, maar gewoon de natuurlijke rand van het object (zoals de rand van een kopje). Als de AI alleen naar ruis zoekt, kan het in de war raken.

Wat het onderzoek doet: Het creëert een "normaliteitsprototype" voor deze specifieke afbeelding. Het kijkt naar de schone, veilige delen van de afbeelding en zegt: "Oké, dit is hoe 'normaal' er hier uitziet."
De analogie: Het is als een bibliothecaris die precies weet hoe een "schoon boek" eruitziet op dit specifieke rek. Als een boek een vreemde vlek heeft, vergelijkt de bibliothecaris het met de andere schone boeken op het rek, in plaats van met een algemene definitie van een boek. Dit voorkomt dat de AI in de war raakt door de natuurlijke vorm van het object.

3. Het "Eindoordeel" (Text-Anchored Decision)

Nu heeft de AI twee stukken bewijs:

"Dit gebied ziet er ruizig/statisch uit" (van Stap 1).
"Dit gebied ziet er anders uit dan de schone delen van deze specifieke afbeelding" (van Stap 2).

Wat het onderzoek doet: Het combineert deze aanwijzingen met de oorspronkelijke kennis van de AI over wat "kapot" betekent (tekstuele prompts).
De analogie: Het is een rechter die het bewijs weegt. "De statische filter zegt 'verdacht', de lokale bibliothecaris zegt 'ongebruikelijk', en de tekstuele prompt zegt 'dit komt overeen met de beschrijving van een defect'. Daarom is er sprake van een defect."

De Resultaten

De onderzoekers hebben dit getest op vier verschillende industriële datasets (MVTec AD, VisA, BTAD en MPDD).

De "Training-Free" Versie: Het systeem werkt perfect zonder dat het getraind hoeft te worden op de specifieke productielijn. Het gebruikt simpelweg de vooraf getrainde AI en de drie bovenstaande stappen. Het versloeg alle andere vergelijkbare "zero-shot" methoden.
De "Adapter" Versie: Ze hebben ook een kleine, lichtgewicht toevoeging gemaakt (zoals een kleine plugin) die een klein beetje leert van normale afbeeldingen. Deze versie presteerde nog beter en behaalde de hoogste scores overall, maar had nog steeds geen behoefte aan het hertrainen van de enorme AI-hersenen.

Waarom het ertoe doet

Het onderzoek beweert dat dit de beste methode is die momenteel beschikbaar is voor het vinden van defecten in nieuwe producten zonder dat er eerst duizenden trainingsfoto's verzameld hoeven te worden. Het werkt omdat het de AI stopt met simpelweg "gokken" op basis van de vorm van het object en de AI dwingt om te kijken naar de textuur en de frequentiedetails waar de werkelijke schade zich verschuilt.

Kortom: FreqPrompt-AD leert een algemene AI om een "noise-canceling koptelefoon" op te zetten voor de achtergrond en een "hoogfrequente bril" voor de defecten, waardoor het minuscule barstjes en krasjes kan ontdekken die andere modellen missen.

Technische Samenvatting: FreqPrompt-AD

Probleemstelling
Industriële anomaliedetectie (IAD) leunt traditioneel op one-class of ongesuperviseerd leren met behulp van normale monsters, wat de toepasbaarheid beperkt in zero-shot scenario's waar data van de doelcategorie niet beschikbaar is vanwege vertrouwelijkheid of cold-start beperkingen. Hoewel Vision-Language Models (VLM's) zoals CLIP beschikken over een sterke zero-shot transfereerbaarheid door semantische uitlijning, lijden ze aan een "granulariteitsmismatch". VLM's zijn getraind voor object-niveau semantische invariantie, waarbij lokale, hoogfrequente defecten zoals dunne krassen, scheuren of randonregelmatigheden vaak over het hoofd worden gezien. Bovendien hebben standaard VLM-embeddings de neiging om hoogfrequente responsen te onderdrukken, wat ze suboptimaal maakt voor dichte industriële defectlokalisatie waar defecten zich manifesteren als subtiele textuurdiscontinuïteiten in plaats van categoriewijzigingen.

Methodologie: FreqPrompt-AD
De auteurs stellen FreqPrompt-AD voor, een training-vrij framework dat zero-shot anomaliedetectie herformuleert als een probleem van "lokale frequentie-semantische bewijsvoering constructie". Het framework maakt gebruik van een bevroren VLM-backbone en bestaat uit drie kernmodules:

Frequency-aware Prompt Interaction (FPI):
- De invoerafbeelding wordt ontleed in een laagfrequent component en een hoogfrequent residu met behulp van een Gaussische laagdoorlaatoperator.
- Hoogfrequente residuen worden gemiddeld over beeldpatches om een frequentieprior ( $w_f$ ) te genereren.
- Deze prior moduleert de standaard patch-tekst anomalie-waarschijnlijkheid. Specifiek wordt de ruwe semantische anomalie-score versterkt voor patches die zich in hoogfrequente regio's bevinden, waardoor spectrale residuen worden omgezet in ruimtelijke sturing voor patch-tekst uitlijning.
Local Semantic Calibration (LSC):
- Om de object-niveau semantische bias te mitigeren (waarbij normale en abnormale afbeeldingen dezelfde categorie-identiteit delen), verwijdert LSC het globale semantische component van de patch-tokens via projectie.
- Een beeld-adaptief "normaliteitsprototype" wordt geconstrueerd door de minst verdachte patch-tokens te aggregeren (geselecteerd op basis van lage anomalie-scores en lage frequentiegewichten).
- Lokale anomalie-bewijslast wordt afgeleid door de afwijking van gekalibreerde patch-tokens van dit beeld-specifieke normaliteitsprototype te meten, wat de tekst-gebaseerde bewijslast aanvult.
Text-Anchored Decision (TAD):
- TAD voegt de frequentie-geconditioneerde semantische bewijslast (van FPI) en de prototype-afwijkingsbewijslast (van LSC) samen met behulp van een gewogen som.
- De resulterende patch-scores worden geupsampled en gesmoothd om dichte anomaliekaarten te generen.
- Afbeelding-niveau anomalie-scores worden berekend via top- $p$ pooling over de anomaliekaart om te voorkomen dat kleine defecten worden verdund door globale middeling.

Adapter-Enhanced Variant (FreqPrompt-AD-FT)
De auteurs introduceren ook FreqPrompt-AD-FT, een variant waarbij een lichtgewicht bottleneck-adapter wordt ingevoegd in de visuele encoder. Alleen de adapterparameters worden geoptimaliseerd met behulp van normale trainingsafbeeldingen om normale patch-scores te minimaliseren en vals-positieven te onderdrukken, terwijl de VLM-backbone, de tekstencoder en de prompts bevroren blijven.

Belangrijkste Bijdragen

Framework Design: Stelt een verenigd, training-vrij framework voor dat expliciet frequentiedomein-priors injecteert in het patch-tekst interactieproces van een bevroren VLM, waarmee de granulariteitsmismatch in industriële defectdetectie wordt aangepakt.
Evidence Chain: Ontwerpt een coherente bewijsketen (FPI, LSC, TAD) waarbij frequentie-kenmerken textuurdiscontinuïteiten blootleggen, normaliteitsprototypes object-niveau bias onderdrukken en taal-ankers de beslissingsrichting bieden.
Prestaties: Demonstreert dat deze formulering state-of-the-art resultaten bereikt onder zero-shot VLM-gebaseerde detectoren zonder dat specifieke doel-memory banks of volledige model fine-tuning vereist is.

Experimentele Resultaten
De methode werd geëvalueerd op vier industriële benchmarks: MVTec AD, VisA, BTAD en MPDD.

Zero-Shot Prestaties: FreqPrompt-AD presteerde beter dan alle bestaande zero-shot VLM-gebaseerde detectoren. Vergeleken met de sterkste baseline, DLVP-CLIP, verbeterde het de gemiddelde afbeelding-niveau AUROC met 2,05% en de pixel-niveau AUROC met 2,15%.
Adapter Variant: FreqPrompt-AD-FT behaalde de beste algemene gemiddelde resultaten over alle datasets en metrieken, wat valideert dat de bewijsvoeringsformulering profiteert van lichtgewicht adaptatie.
Efficiëntie: De strikte zero-shot versie vereist geen trainbare parameters en geen constructie van een memory bank, wat een lagere inferentie-latentie biedt dan methoden zoals AF-CLIP en VisualAD. De FT-variant voegt slechts 0,68M parameters toe terwijl de nauwkeurigheid aanzienlijk wordt verhoogd.
Kwalitatieve Analyse: Visualisaties tonen aan dat FreqPrompt-AD scherpere, meer gelokaliseerde heatmaps produceert voor dunne scheuren en onregelmatige contaminaties, waarbij achtergrondactivatie op normale objectstructuren wordt verminderd vergeleken met globale prompt-methoden.

Betekenis en Claims
Het artikel claimt dat FreqPrompt-AD een kritieke beperking in huidige zero-shot anomaliedetectie aanpakt: het onvermogen van globale VLM-semantiek om lokale, hoogfrequente defecten te vangen. Door anomaliedetectie te behandelen als de constructie van "lokale frequentie-semantische bewijslast", overbrugt de methode de kloof tussen semantische transfereerbaarheid en de fysieke aard van industriële defecten. De auteurs stellen dat hun aanpak bijzonder geschikt is voor snelle industriële implementatie in single-GPU omgevingen waar doel-data niet beschikbaar is. Ze benadrukken dat frequentie-priors gekalibreerd moeten worden door semantische informatie (via LSC en TAD) om vals-positieven op normale hoogfrequente structuren zoals randen te voorkomen, een balans die wordt bereikt door hun verenigde bewijsketen. Toekomstig werk wordt gesuggereerd om adaptieve frequentieband-selectie en uitbreiding naar multimodale 2D-3D redenering te verkennen.