GenCLIP: Generalizing CLIP Prompts for Zero-shot Anomaly Detection

GenCLIP is een nieuw raamwerk voor zero-shot anomaliedetectie dat de generalisatie en stabiliteit verbetert door middel van multi-layer prompting, een dual-branch inferentiestrategie en een adaptief mechanisme voor het filteren van tekstprompten.

De kern

GenCLIP: De Slimme Inspecteur die Alles Begrijpt

Stel je voor dat je een enorme fabriek hebt waar elke dag duizenden verschillende producten worden gemaakt: van flessen en kabels tot vreemde metalen onderdelen en zelfs textiel. Je taak is om te controleren of er iets mis is met deze producten. Maar hier is het probleem: je hebt nooit eerder gezien hoe een bepaald nieuw product eruit moet zien, en je hebt ook geen foto's van defecte exemplaren om te leren. Je moet het gewoon "weten" zonder dat je het hebt geoefend.

Dit is het probleem van Zero-Shot Anomaly Detection (het opsporen van fouten zonder voorbeelden).

De onderzoekers van deze paper, GenCLIP, hebben een slimme oplossing bedacht die werkt als een super-slimme, meertalige inspecteur. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Basis: De "Google Translate" voor Beelden en Woorden

Deze methode bouwt voort op een bestaande technologie genaamd CLIP. Je kunt CLIP vergelijken met een kunstenaar die miljoenen foto's en bijbehorende beschrijvingen heeft gelezen. Hij weet precies wat een "hond" is, maar ook wat een "kapotte hond" is, alleen door de woorden te horen.

Echter, in de echte wereld (zoals in een fabriek) werkt dit niet altijd perfect. Als je zegt "kapotte fles", begrijpt de computer dat. Maar als je zegt "kapotte 'fryum'" (een rare naam voor een pijpje in een dataset), raakt de computer in de war. Hij weet niet wat een 'fryum' is, dus hij kan niet goed controleren of het kapot is.

2. Het Probleem: Te Stijf of Te Vaag

Eerdere methoden probeerden dit op te lossen op twee manieren, maar beide hadden een nadeel:

• Te specifiek: Ze probeerden elke naam van elk product te onthouden. Maar als je een nieuw product ziet, werkt het niet meer.
• Te vaag: Ze gebruikten alleen het woord "object". Dit werkt voor alles, maar is zo vaag dat de inspecteur niet goed kan zien waar precies het probleem zit.

3. De GenCLIP Oplossing: Twee Hoeden, Eén Brein

GenCLIP lost dit op door een slimme combinatie van twee strategieën, alsof je twee verschillende soorten brillen opzet om beter te zien.

Deel A: De "Meerlaagse" Brillen (Multi-layer Prompting)

Stel je voor dat je een schilderij bekijkt.

• Op laag 1 zie je alleen de ruwe penseelstreken en kleuren (randen en texturen).
• Op laag 5 zie je de vormen en objecten.
• Op laag 10 begrijp je het verhaal van het schilderij.

GenCLIP kijkt niet alleen naar één laag van de computer, maar haalt informatie uit alle lagen tegelijk. Het combineert de ruwe details (is er een kras?) met de grote lijnen (is het een fles?). Door deze informatie te gebruiken om de tekstbeschrijvingen te verrijken, wordt de inspecteur veel slimmer. Hij ziet niet alleen "een fles", maar "een fles met een specifieke textuur en vorm".

Deel B: De Twee-Branch Strategie (Twee Wegen)

Tijdens het controleren gebruikt GenCLIP twee verschillende wegen tegelijk en combineert ze:

1. De Specifieke Weg (Vision-Enhanced):
   Hier kijkt de inspecteur naar het specifieke product. Als het product "pcb1" heet, maar die naam is raar, dan gebruikt GenCLIP een slimme filter (CNF). Die filter zegt: "Wacht, 'pcb1' is verwarrend. Laten we het gewoon 'een object' noemen." Zo voorkomt hij dat de computer in de war raakt door rare namen. Hij kijkt naar de details van dit specifieke object.

2. De Algemene Weg (Query-Only):
   Hier kijkt de inspecteur heel breed. Hij zegt: "Ik zie hier een object. Is het normaal of abnormaal?" zonder zich te laten afleiden door de specifieke naam of details. Dit helpt om dingen te zien die in het algemeen raar zijn, zelfs als je de naam van het product niet kent.

Het Resultaat: De computer neemt de bevindingen van beide wegen en smelt ze samen. Als de specifieke weg zegt "er is een kras" en de algemene weg zegt "dit ziet er raar uit", dan is het zeker een defect.

4. Waarom is dit zo goed?

Voorheen moesten bedrijven voor elk nieuw product een nieuwe computertraining doen. Dat kost tijd en geld. Met GenCLIP kan de computer direct aan de slag met elk nieuw product, zelfs als hij het nog nooit heeft gezien.

• Het is flexibel: Het werkt net zo goed op een fles als op een stuk textiel.
• Het is slim: Het begrijpt dat "fryum" en "02" misschien gewoon "een object" zijn, en focust op wat er echt mis is.
• Het is nauwkeurig: Het kan niet alleen zeggen "er is iets mis", maar ook precies aangeven waar de vlek of de kras zit (tot op het pixel-niveau).

Samenvatting in één zin

GenCLIP is als een super-ervaren inspecteur die niet alleen naar de naam van het product kijkt, maar diep in de details graaft en tegelijkertijd een brede blik houdt, zodat hij elk defect kan vinden, ongeacht hoe vreemd het product heet of hoe nieuw het is.

Technische samenvatting

Probleemstelling

Zero-shot Anomaly Detection (ZSAD) richt zich op het identificeren van afwijkingen in objectcategorieën waar het model niet eerder op getraind is. Hoewel Vision-Language Models (VLMs) zoals CLIP sterke generalisatie-eigenschappen hebben, zijn ze niet specifiek ontworpen voor industriële afwijkingsdetectie. Bestaande methoden kampen met twee hoofdproblemen:

1. Balans tussen generalisatie en specificiteit: Methoden die te algemeen zijn (bijv. AnomalyCLIP) missen vaak categorie-specifieke cues, terwijl methoden die te afhankelijk zijn van specifieke objectnamen (bijv. AdaCLIP) moeite hebben om te generaliseren naar nieuwe, ongeziene categorieën.
2. Instabiele optimalisatie: Het leren van algemene prompts (query prompts) die stabiel blijven en effectief werken over diverse domeinen heen, is een uitdaging. Daarnaast kunnen onduidelijke of ongebruikelijke objectnamen in industriële datasets (bijv. "pipe_fryum" of "pcb2") leiden tot suboptimale visueel-taal uitlijning.

Methodologie: GenCLIP

GenCLIP is een nieuw raamwerk dat CLIP-prompts generaliseert door gebruik te maken van multi-layer prompting en een dubbel-tak inferentiestrategie.

1. Multi-Layer Prompting

In plaats van alleen te vertrouwen op het eindtoken van de visuele encoder, integreert GenCLIP visuele cues uit meerdere lagen van de CLIP-visuele encoder.

• General Query Prompt Tokens (GQPs): Dit zijn leerbare tokens die een algemene representatie van "normaal" en "abnormaal" vormen, onafhankelijk van de objectcategorie.
• Multi-Layer Vision Prompt Tokens (MVPs): De paper haalt patch-features uit verschillende lagen van de bevroren CLIP-visuele encoder. Deze features worden via een leerbare MLP omgezet in visuele prompt tokens.
• Augmentatie: De GQPs worden verrijkt door de MVPs toe te voegen. Hierdoor worden de tekstuele prompts verrijkt met zowel laag-niveau (textuur, randen) als hoog-niveau (semantische concepten) visuele informatie, wat overfitting op kleine datasets vermindert.

2. Class Name Filtering (CNF)

Industriële datasets bevatten vaak onduidelijke of numerieke objectnamen die de prestaties van CLIP belemmeren. GenCLIP introduceert CNF, een adaptief mechanisme dat tijdens de inferentie (in de visueel-versterkte tak) de objectnaam analyseert.

• Als de beeld-tekst uitlijning met de specifieke objectnaam zwak is (vergeleken met een generieke term als "object"), wordt de specifieke naam vervangen door "object".
• Dit zorgt ervoor dat alleen betekenisvolle tekstuele input bijdraagt aan de visueel-taalkundige uitlijning.

3. Dubbel-Tak Inferentie Strategie

Tijdens de inferentie gebruikt GenCLIP twee parallelle takken om zowel specificiteit als generalisatie te benutten:

• Visueel-versterkte tak (Vision-enhanced branch): Combineert de GQPs met de MVPs en gebruikt CNF. Deze tak leest de specifieke visuele context van het beeld en levert gedetailleerde, categorie-bewuste detectie.
• Query-only tak (Query-only branch): Gebruikt uitsluitend de veralgemeende GQPs zonder visuele features of specifieke objectnamen (gebruikmakend van het woord "object"). Deze tak is ontworpen om uitschieters te detecteren waar categorie-informatie niet helpt of zelfs schadelijk is, en zorgt voor robuuste generalisatie.
• Ensemble: De uiteindelijke segmentatiekaart wordt gegenereerd door een gewogen som van de scorekaarten van beide takken, gevolgd door Gaussische smoothing.

Belangrijkste Bijdragen

1. Multi-Layer Prompting: Een innovatieve strategie die visuele features uit meerdere lagen van CLIP integreert in tekstuele prompts, waardoor de prompts robuuster en rijker worden.
2. Dubbel-Tak Inferentie: Een unieke aanpak die een visueel-versterkte tak (voor specificiteit) combineert met een query-only tak (voor generalisatie), wat de stabiliteit en betrouwbaarheid van de detectie verbetert.
3. Class Name Filtering (CNF): Een mechanisme om irrelevante of verwarrende objectnamen te filteren en te vervangen door generieke termen, wat de uitlijning tussen beeld en tekst verbetert in industriële contexten.
4. State-of-the-Art Resultaten: GenCLIP presteert beter dan bestaande methoden op zes industriële benchmark-datasets zonder dat er specifieke fine-tuning per categorie nodig is.

Resultaten

GenCLIP is geëvalueerd op zes industriële datasets: MVTec-AD, VisA, MPDD, BTAD, SDD en DTD-Synthetic.

• Pixel-niveau: GenCLIP behaalde een gemiddelde AUROC van 95.4% en een PRO (Per-Region Overlap) van 88.5%. Dit is een significante verbetering ten opzichte van de tweede beste methode (AnomalyCLIP), met name in PRO (+6.5% punten).
• Beeld-niveau: De methode behaalde een gemiddelde AUROC van 87.3% en AP van 87.6%.
• Ablatie Studies: Experimenten bevestigden dat zowel de MVP's als de query-only tak essentieel zijn voor de prestaties. Het gebruik van CNF leidde tot verbeteringen bij specifieke, moeilijk te definiëren objecten (zoals "pipe fryum").
• Visualisatie: t-SNE visualisaties tonen aan dat de tekstuele embeddings van GenCLIP beter gescheiden zijn voor normaal/abnormaal dan bij concurrenten, en dat de GQP-tokens effectief een algemene representatie vormen die over meerdere categorieën werkt.

Betekenis

GenCLIP biedt een robuuste en schaalbare oplossing voor Zero-shot Anomaly Detection in de industrie. Door de balans te vinden tussen het leren van algemene patronen en het benutten van specifieke visuele cues, overbrugt het de kloof tussen de algemene kennis van CLIP en de specifieke eisen van industriële kwaliteitscontrole. De methode elimineert de noodzaak voor grote datasets met gelabelde afwijkingen voor elke nieuwe productcategorie, wat het zeer waardevol maakt voor real-world toepassingen waar afwijkingsdata schaars of niet-bestaand is.