UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting

Probleemstelling

In industriële inspectiesystemen is het cruciaal om niet alleen defecten te detecteren, maar ook hun locatie te bepalen. Bestaande methoden kampen echter met twee fundamentele beperkingen:

1. Gesloten-set aannames: Traditionele overzichtsmodellen (supervised detectors) zijn getraind op een vaste set defectcategorieën. Zodra een nieuw, onbekend defecttype optreedt, falen deze modellen en vereisen ze kostbare hertraining en data-opbouw.
2. Beperkingen van bestaande "Open-set" benaderingen:
   • Anomaliedetectie: Kan wel afwijkingen vinden, maar kan geen onderscheid maken tussen verschillende defecttypes.
   • Taalgedreven open-set detectie: Gebruikt tekstbeschrijvingen, maar industriële defecten zijn vaak visueel subtiel en moeilijk in woorden te vatten, zelfs voor experts.
   • Visuele prompting (Visual Prompting): Dit is een veelbelovende alternatief waarbij een voorbeeld (prompt) van een defect wordt gebruikt om soortgelijke defecten in een afbeelding te vinden. Echter, bestaande methoden lijden onder prompt embedding collapse. Door de hoge variatie binnen een klasse (bijv. verschillende rotaties of lichtomstandigheden) en de subtiele verschillen tussen klassen, stort de semantische ruimte in. De prompts worden niet goed gescheiden, wat leidt tot slechte generalisatie naar nieuwe defecten.

Methodologie: UniSpector

UniSpector is een nieuw raamwerk dat de focus verschuift van naïeve "prompt-naar-regio"-matching naar het principieel ontwerpen van een semantisch gestructureerde en overdraagbare prompt-topologie. Het systeem bestaat uit drie kerncomponenten:

1. Spatial-Spectral Prompt Encoder (SSPE):

   • Dit onderdeel redefineert visuele prompts als dual-domein beschrijvers (ruimtelijk en spectrale).
   • Het berekent de 2D Discrete Fourier Transformatie (DFT) van de prompt-regio's.
   • Door de magnitude-responsen te middelen langs concentrische frequentieringen, worden oriëntatie-invariante kenmerken gegenereerd. Dit onderdrukt variatie veroorzaakt door rotaties (hoge intra-klasselijke variatie).
   • Tegelijkertijd worden fijne ruimtelijk-spectrale patronen geëxtraheerd die subtiele texturen onderscheiden die in het pixeldomein vaak worden genegeerd, wat de scheiding tussen klassen verbetert.

2. Contrastive Prompt Encoder (CPE):

   • Gebaseerd op de fijne representaties van de SSPE, regulariseert de CPE de embedding-ruimte expliciet.
   • Het gebruikt een contrastief verlies met een hoekmarge (geïnspireerd op ArcFace) om de ruimte te structureren tot een semantisch georganiseerde "angular manifold".
   • Dit dwingt twee eigenschappen af:
     • Intra-klasselijke compactheid: Instancing van dezelfde defectklasse worden dicht bij elkaar gedrukt.
     • Semantische hoektopologie: Gerelateerde defectklassen liggen dichter bij elkaar in hoek, terwijl ongelijksoortige klassen verder uit elkaar worden geduwd.
   • Hierdoor kunnen ongezette (unseen) defecten semantisch consistent worden geplaatst in de ruimte in plaats van willekeurig geprojecteerd.

3. Prompt-guided Query Selection (PQS):

   • In tegenstelling tot traditionele DETR-achtige modellen die gebruikmaken van leerbare objectqueries die vooroordelen bevatten, selecteert PQS dynamisch een subset van visuele tokens als objectqueries.
   • Deze selectie is differentieerbaar (via Gumbel-Softmax) en wordt geleid door de visuele prompt. Hierdoor worden de queries adaptief geïnitieerd op basis van de kenmerken van het voorbeeld, wat de aanpassing aan nieuwe defecttypes verbetert.

Belangrijkste Bijdragen

1. Identificatie van structurele tekortkomingen: De auteurs tonen aan dat het behandelen van prompts als impliciete representaties leidt tot collapse in industriële domeinen vanwege hoge intra-klasselijke variatie. Ze bieden inzicht in hoe de prompt-ruimte gestructureerd moet worden.
2. Het UniSpector-framework: Een nieuw model dat SSPE en CPE combineert om een robuuste, oriëntatie-invariante en semantisch gestructureerde embedding-ruimte te creëren, wat essentieel is voor open-set detectie.
3. Inspect Anything (InsA) Benchmark: De eerste benchmark specifiek voor visuele prompting op basis van open-set defectdetectie. Deze omvat zowel in-domain (nieuwe defecttypes binnen bekende domeinen) als cross-domain (verschillende materialen en opnamecondities) evaluaties.

Resultaten

De prestaties van UniSpector zijn geëvalueerd op de InsA-benchmark, waarbij het significant beter presteert dan bestaande baselines (zoals GroundingDINO, YOLO-World, DINOv, T-Rex2, etc.):

• Prestatieverbetering: UniSpector verbetert de baselines met minimaal 19,7% in AP50 voor detectie (APb50) en 15,8% voor segmentatie (APm50).
• Generalisatie: Het model toont sterke prestaties zowel binnen het domein als bij cross-domain overdracht, hoewel cross-domain nog steeds een uitdaging blijft door dataset-specifieke biases.
• Ablatie-studies: Elke component (SSPE, CPE, PQS) draagt substantieel bij aan de totale prestatie. De CPE is cruciaal voor het structureren van de ruimte, terwijl SSPE de rotatie-invariantie biedt.
• Embedding Visualisatie: 3D-projecties tonen aan dat UniSpector compacte clusters vormt per klasse met duidelijke hoekafstanden, in tegenstelling tot de verspreide en minder gescheiden embeddings van modellen zoals DINOv.

Significantie

UniSpector biedt een schaalbaar, hertrainingsvrij paradigma voor industriële inspectie. In plaats van dat elke nieuwe defecttype leidt tot kostbare data-collectie en hertraining, kan het systeem nieuwe defecten leren door simpelweg visuele voorbeelden (prompts) te gebruiken.

• Het lost het probleem van "prompt embedding collapse" op door de semantische structuur van de prompt-ruimte expliciet te modelleren.
• Het biedt een praktische oplossing voor de dynamische aard van industriële omgevingen, waar defecttypes continu veranderen.
• De paper levert kritieke inzichten voor het ontwerp van generieke visuele prompting-mechanismen, niet alleen voor defectdetectie, maar voor open-set visuele taken in het algemeen.

Kortom, UniSpector stelt een nieuwe standaard voor in de industriële kwaliteitscontrole door een brug te slaan tussen de flexibiliteit van open-set detectie en de precisie die nodig is voor subtiele, visuele defecten.