Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection

Probleemstelling

In industriële inspectiescenario's is Few-Shot Multi-Class Anomaly Detection (FS-MCAD) een kritieke maar uitdagende taak. De kernproblemen zijn:

1. Beperkte data: Er zijn slechts een handvol normale steekproeven beschikbaar per productcategorie.
2. Veelvoudige categorieën: Systemen moeten vaak werken met vele verschillende objecttypes, wat de onderhoudskosten en complexiteit verhoogt.
3. Asymmetrie van afwijkingen: Normale patronen kunnen gedeeld worden tussen categorieën, maar defecten zijn zeer specifiek per categorie. Bestaande methoden die vertrouwen op handgemaakte tekstuele beschrijvingen van defecten (bijv. "gebroken draad") zijn niet schaalbaar, omdat het creëren van deze beschrijvingen voor elke nieuwe categorie veel expertise vereist en leidt tot semantische verwarring in een gedeelde ruimte.
4. Efficiëntie: Bestaande vision-language model (VLM) benaderingen zijn vaak computatief zwaar door extra modules of sliding-window inferentie.

Methodologie: AnoPLe

De auteurs stellen AnoPLe (Anomaly Prompt Learning) voor, een lichtgewicht multimodaal framework dat geen externe modules of handgemaakte defectbeschrijvingen vereist. De kerncomponenten zijn:

1. Bidirectionele Prompt Learning

In plaats van defectbeschrijvingen te gebruiken, gebruikt AnoPLe alleen de klassenaam als tekstuele ankerpunt.

• Tekstuele kant: De tekstuele prompt bestaat uit een learnable contextvector en de klassenaam (bijv. [ctx] [class]). Een uniek "abnormal"-token wordt gedeeld over alle categorieën om een algemene prior van "niet-normaal" te bieden.
• Visuele kant: De visuele prompt leert instantie-specifieke aanwijzingen direct uit de afbeelding.
• Bidirectionele interactie: Er zijn learnable projecties ($f_{v \to t}$ en $f_{t \to v}$) die de tekstuele en visuele prompts met elkaar laten communiceren. Dit zorgt ervoor dat de klassensemantiek de visuele kenmerken richt, terwijl de visuele details de tekstuele cues verfijnen. Het resultaat zijn representaties die klassengevoelig zijn maar defect-agnostisch.

2. Schaal-bewuste Prompt Learning (Scale-Aware Prefix)

Om fijne lokale details te detecteren zonder de inferentie-snelheid te verlagen:

• Tijdens het trainen krijgt het model zowel volledige afbeeldingen (globaal) als niet-overlappende crops (lokaal) te zien.
• Een learnable scale-aware prefix ($c$) wordt toegevoegd aan de visuele tokens om de resolutie te coderen.
• Tijdens inferentie wordt alleen de globale prefix gebruikt. Dit zorgt ervoor dat het model tijdens het trainen lokale details leert te herkennen, maar tijdens het testen efficiënt blijft werken op volledige afbeeldingen zonder extra rekentijd.

3. Loss Functies en Alignement

• Pixel-level Loss: Gebruikt Dice- en Focal-loss op gesimuleerde anomalie-maskers.
• Image-level Loss: Contrastive cross-entropy loss om normale en abnormale teksten te scheiden.
• Alignment Loss: Deze loss zorgt voor consistentie tussen pixel- en beeldniveau. Het projecteert lokale anomalie-evidence (van de decoder) naar het globale kenmerk, zodat de pixel-voorspellingen de globale score ondersteunen.

4. Inferentie

De anomalie-score wordt berekend door een harmonisch gemiddelde te nemen van:

1. De score van de prompt-learner (gebaseerd op tekst- en visuele matching).
2. Een score gebaseerd op een memory bank van normale kenmerken (gebruikt voor vergelijkingsdoeleinden).

Belangrijkste Bijdragen

1. Unified Framework: Een enkel model voor few-shot multi-class detectie dat volledig vrij is van handgemaakte defectbeschrijvingen en zware externe modules (zoals Q-Formers).
2. Bidirectionele Learning: Een innovatieve methode om tekstuele en visuele prompts wederzijds te laten verrijken, wat leidt tot robuustere representaties.
3. Efficiëntie en Lokalisatie: Door schaal-bewuste training en een lichte decoder, bereikt het model hoge lokalisatie-precisie zonder extra inferentie-overhead.
4. Generalisatie: Het model generaliseert uitstekend naar ongeziene categorieën en zelfs naar medische domeinen, zonder domein-specifieke aanpassingen.

Resultaten

AnoPLe is getest op drie industriële benchmarks: MVTec-AD, VisA en Real-IAD.

• Prestaties: In de 1-shot setting behaalt AnoPLe een Image-AUROC van 94.5% op MVTec-AD, 86.0% op VisA en 81.2% op Real-IAD. Dit is vergelijkbaar met of beter dan state-of-the-art methoden zoals IIPAD en INP-Former, maar met veel minder complexiteit.
• Lokalisatie: Het model behaalt hoge PRO (Pixel-Region-Overlap) scores, wat aantoont dat het defecten nauwkeurig kan lokaliseren.
• Snelheid: Door het vermijden van sliding-window inferentie of extra forward passes, is AnoPLe aanzienlijk sneller (bijv. ~27-29 FPS) dan voorgangers zoals WinCLIP of PromptAD.
• Generalisatie:
  • Ongeziene Categorieën: In "leave-one-class-out" experimenten degradeert AnoPLe veel minder dan concurrenten, wat aantoont dat het beter omgaat met nieuwe objecttypes.
  • Ongeziene Defecten: Het model blijft stabiel zelfs als het tijdens het trainen geen specifieke beschrijvingen van het type defect heeft gezien.
  • Medische Domein: Toepassing op medische beelden (MRI, CT, OCT) toont aan dat de methode domein-onafhankelijk werkt en prestaties levert die concurreren met gespecialiseerde medische modellen.

Betekenis en Impact

AnoPLe biedt een praktische oplossing voor de industriële realiteit waar data schaars is en productlijnen snel veranderen. Door af te zien van de noodzaak voor expert-gecreëerde defectbeschrijvingen, verlaagt het de instapdrempel voor het implementeren van AI in de industrie aanzienlijk. De combinatie van schaalbaarheid, reken-efficiëntie en sterke generalisatie maakt het een krachtige kandidaat voor echte productiedetectiesystemen, en opent de deur voor toepassing in andere domeinen zoals de gezondheidszorg.