TIPS Over Tricks: Simple Prompts for Effective Zero-shot Anomaly Detection

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kwaliteitscontroleur bent in een fabriek of een arts in een ziekenhuis. Je taak is om te kijken naar producten of foto's van patiënten en te zeggen: "Dit ziet er perfect uit" of "Hier zit iets mis."

In het verleden moesten computers hiervoor duizenden foto's van perfecte dingen zien om te leren wat "normaal" is. Maar wat als je die foto's niet hebt? Wat als je bijvoorbeeld een nieuwe, zeldzame ziekte moet herkennen waar nog nooit foto's van zijn gemaakt, of een nieuw type defect in een machine?

Hier komt dit nieuwe onderzoek om de hoek kijken. Het heet Tipsomaly. Laten we het uitleggen alsof we koffie drinken.

1. Het Probleem: De "Blinde" Camera

Stel je voor dat je een slimme camera hebt (een AI-model genaamd CLIP) die heel goed kan lezen en kijken. Als je zegt: "Zoek een gebroken vaas", kan hij dat doen. Maar deze camera heeft een groot nadeel: hij kijkt naar het geheel, niet naar de details.

De Metafoor: Het is alsof je een foto van een vaas bekijkt van ver weg. Je ziet wel dat er een vaas is, maar als er een klein krasje op zit, ziet de camera dat niet. Hij zegt: "Nee, dat is een vaas, dus het is goed." Hij mist de kleine foutjes omdat hij niet goed kan "zoomen" op de details.
Het gevolg: De computer ziet dat er iets mis is, maar kan niet precies zeggen waar (bijvoorbeeld: "de kras zit hier, op de linkerkant").

2. De Oplossing: Een Nieuwe Camera (TIPS)

De onderzoekers zeggen: "Waarom proberen we die oude, blinde camera te repareren met ingewikkelde brillen en lenzen (wat anderen deden)? Laten we gewoon een nieuwe camera kopen die van nature scherp ziet."

Ze gebruiken een nieuw model genaamd TIPS.

De Analogie: TIPS is als een camera die niet alleen naar het hele plaatje kijkt, maar ook heel goed kan focussen op de kleine details. Hij weet van nature dat een "gebroken stukje" ergens op de vaas zit, niet ergens in de lucht.

3. De Uitdaging: Twee Talen Spreken

Maar wacht, TIPS is nog niet perfect voor dit specifieke werk. Het heeft een eigenaardigheid:

Het ene deel van TIPS (dat naar het hele plaatje kijkt) spreekt een andere "taal" dan het andere deel (dat naar de kleine details kijkt).
De Metafoor: Het is alsof je een team hebt met twee mensen. De ene kijkt naar de hele kamer en zegt: "Er is een probleem." De andere kijkt door een vergrootglas en zegt: "Ik zie een vlek." Maar ze praten niet goed met elkaar. Als je ze samen laat werken, raken ze in de war. De ene zegt "Ja", de andere "Nee".

4. De Slimme Truc: "Decoupled Prompts" (Gescheiden Opdrachten)

Om dit op te lossen, gebruiken de onderzoekers een slimme truc: Gescheiden Opdrachten. Ze laten de twee delen van TIPS niet met elkaar praten, maar geven ze elk een eigen, specifieke opdracht.

Voor de "Hele Kamer" (Detectie): Ze geven een vaste, onveranderlijke opdracht.
- Voorbeeld: "Kijk naar de foto en zeg gewoon: 'Is dit kapot of niet?'"
- Dit werkt perfect om te weten of er überhaupt iets mis is.
Voor de "Vergrootglas" (Locatie): Ze geven een leerbare, aanpasbare opdracht.
- Voorbeeld: "Kijk heel nauwkeurig en zoek precies waar de kras zit."
- Dit deel mag leren en zich aanpassen om de kleine foutjes te vinden.

Waarom werkt dit?
Het is alsof je een chef-kok (de vaste opdracht) hebt die beslist of het eten goed is, en een sous-chef (de leerbare opdracht) die de kruiden precies op de juiste plek strooit. Ze doen hun eigen ding, maar samen krijgen ze een perfect resultaat.

5. Het Resultaat: "Tips" in plaats van "Trucs"

De titel van het artikel is "TIPS OVER TRICKS".

Tricks: Andere methoden proberen de oude camera (CLIP) met ingewikkelde, zware software aan te passen. Dat is als proberen een oude fiets te laten vliegen met een raketmotor. Het werkt soms, maar het is zwaar en onbetrouwbaar.
Tips: Deze nieuwe methode gebruikt gewoon de juiste camera (TIPS) en geeft hem duidelijke, simpele instructies.

Wat levert het op?

Het werkt beter dan alle vorige methoden, zowel voor het vinden van fouten als het precies lokaliseren ervan.
Het werkt in fabrieken (voor defecte onderdelen) én in ziekenhuizen (voor ziektes op foto's), zelfs als de computer die specifieke fouten of ziektes nog nooit eerder heeft gezien.
Het is lichter en sneller, omdat er geen zware "raketmotoren" nodig zijn.

Samenvatting in één zin

In plaats van een oude, onhandige camera met ingewikkelde brillen te repareren, hebben de onderzoekers een nieuwe, scherpe camera gekozen en hem simpelweg twee duidelijke taken gegeven: één om te zeggen "er is iets mis" en één om te zeggen "hier zit het", waardoor ze fouten sneller en nauwkeuriger vinden dan ooit tevoren.

Each language version is independently generated for its own context, not a direct translation.

1. Probleemstelling

Anomaliedetectie is cruciaal voor veiligheidskritische toepassingen zoals industriële inspectie en medische beeldvorming. Traditionele methoden vereisen vaak grote hoeveelheden gelabelde "normale" data uit het doeldomein, wat in de praktijk vaak ontbreekt door privacykwesties of schaarste.
Zero-shot Anomaliedetectie (ZSAD) lost dit op door Vision-Language Models (VLM's) zoals CLIP te gebruiken. Deze modellen kunnen anomalieën detecteren in onbekende domeinen zonder training op doeldata.

Echter, CLIP heeft twee fundamentele beperkingen voor ZSAD:

Ruimtelijke misalignement: Het contrastieve trainingsdoel van CLIP zorgt niet voor patch-niveau alignering tussen afbeeldingen en tekst. Dit leidt tot een gebrek aan ruimtelijke coherentie.
Gevoeligheid: CLIP is niet gevoelig genoeg voor fijnmazige (fine-grained) anomalieën.

Bestaande oplossingen proberen dit te compenseren met complexe, extra modules (zoals trainbare visuele prompts of feature adapters). Deze benaderingen verhogen de architecturale complexiteit, kunnen overfitting veroorzaken en herstellen de ruimtelijke alignering niet volledig.

2. Methodologie: Tipsomaly

De auteurs stellen een nieuwe aanpak voor genaamd Tipsomaly, die de focus verlegt van complexe "tricks" naar het kiezen van een geschiktere backbone en een eenvoudige prompt-strategie.

A. Backbone: TIPS in plaats van CLIP

In plaats van CLIP te gebruiken, kiezen de auteurs voor TIPS (Text-Image Pretraining with Spatial Awareness).

TIPS is specifiek getraind met objectieven die ruimtelijke bewustzijn bevorderen.
Dit model biedt van nature betere patch-tekst alignering dan CLIP, wat de basis legt voor betere lokalisatie zonder complexe aanpassingen.

B. Het Distributieprobleem

Ondanks de superioriteit van TIPS, ontdekten de auteurs een distributieverschil tussen globale features (hele afbeelding) en lokale features (patches) wanneer ze direct worden gebruikt voor anomaliedetectie.

Trainbare prompts die zowel voor globale classificatie als lokale segmentatie worden gebruikt, leiden tot een compromis: de prestaties op afbeeldingsniveau verbeteren, maar de pixel-precisie verslechtert (en vice versa).

C. Decoupled Prompting (Ontkoppelde Prompts)

Om dit distributieverschil op te lossen, introduceert Tipsomaly een decoupled prompting-strategie:

Vaste Prompts (Fixed Prompts) voor Detectie: Voor het bepalen van de anomalie-score van de hele afbeelding worden vaste, handgemaakte teksttemplates gebruikt (bijv. "een foto van een defecte [klasse]"). Deze worden niet getraind en zorgen voor robuuste globale classificatie.
Leerbaar Prompts (Learnable Prompts) voor Lokalisatie: Voor de pixel-precisie worden trainbare prompt-tokens geoptimaliseerd, maar alleen met een lokale loss-functie (Focal loss en Dice loss) op de patch-features. Dit zorgt voor fijne segmentatie zonder de globale representatie te verstoren.

D. Score Aggregatie

De uiteindelijke anomalie-score voor een afbeelding wordt berekend door de sterke punten van beide benaderingen te combineren:

De score van de globale embedding (spatial token) vergeleken met de vaste prototypes.
Toevoeging van lokale bewijslast: De sterkste lokale anomalie-score (het maximum van de gegenereerde anomalie-kaart) wordt toegevoegd aan de globale score.
Formule: $\hat{y} = p_a(g_i^s, G_f) + \max(\hat{S}_a)$

3. Belangrijkste Bijdragen

Backbone Heroverweging: Het paper toont aan dat het kiezen van een ruimtelijk bewust model (TIPS) effectiever is dan het aanpassen van CLIP met complexe modules.
Decoupled Prompting: Een nieuwe architectuur die het distributieverschil tussen globale en lokale features oplost door vaste prompts voor classificatie en trainbare prompts voor segmentatie te scheiden.
Eenvoud en Generalisatie: De methode bereikt state-of-the-art resultaten zonder zware aanpassingen, wat leidt tot een lichte architectuur met sterke generalisatievermogen.
Uitgebreide Validatie: Evaluatie op 14 diverse datasets, waaronder industriële defecten (MVTec-AD, VisA) en medische afwijkingen (ISIC, BrainMRI, etc.).

4. Resultaten

Tipsomaly presteert overtuigend op zowel industriële als medische datasets:

Industriële Datasets:
- Verbetering in image-level prestaties (AUROC, AP, F1-max) met 1,1% tot 3,9% ten opzichte van bestaande CLIP-baselines.
- Verbetering in pixel-level prestaties (lokalisatie) met 1,5% tot 6,9%.
Medische Datasets:
- Toont sterke cross-domein generalisatie.
- Pixel-level verbeteringen van gemiddeld +3,2% (AUROC), +4,4% (AUPRO) en +5,3% (F1-max).
Kwalitatieve Resultaten:
- De gegenereerde anomalie-kaarten zijn schoner, met minder vals-positieven en een vollediger dekking van echte defecten vergeleken met methoden zoals AnomalyCLIP en AdaCLIP.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in Zero-shot Anomaliedetectie. In plaats van te proberen de beperkingen van CLIP te omzeilen met steeds complexere "tricks", bewijzen de auteurs dat het kiezen van een geschiktere backbone (TIPS) in combinatie met een slimme, ontkoppelde prompt-strategie (Tipsomaly) leidt tot superieure resultaten.

De methode levert state-of-the-art prestaties met een "lean" (lichtgewicht) architectuur, wat het zeer geschikt maakt voor praktische toepassingen waar rekenkracht en generalisatievermogen cruciaal zijn. De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en adoptie in de gemeenschap bevordert.