AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models

AG-VAS is een nieuw framework dat Large Multimodal Models verbetert voor zero-shot visuele anomalie-segmentatie door het introduceren van leerbare semantische ankers en een semantisch-pixel uitlijningsmodule, wat leidt tot state-of-the-art prestaties op diverse industriële en medische benchmarks.

De kern

Stel je voor dat je een super-intelligente assistent hebt die niet alleen kan lezen en kijken, maar ook heel goed begrijpt wat "normaal" is en wat "raar" is. Deze assistent heet AG-VAS.

In de wereld van machines en ziekenhuizen is het vaak lastig om defecten te vinden op dingen die de computer nog nooit eerder heeft gezien. Stel je voor dat je een nieuwe soort broodrooster maakt en je wilt dat de computer elk krasje of gat herkent, zonder dat je eerst duizenden foto's van die specifieke broodrooster hebt getoond. Dat is wat dit papier lost.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Blinde" Camera

Vroeger waren slimme camera's als een kind dat net leren lezen. Als je vroeg: "Zoek het gat!", keek de camera naar het woord "gat" en probeerde het te matchen met een echte afbeelding van een gat. Maar wat als het defect een heel klein krasje is, of een rare vlek? Die woorden zijn vaak vaag. De computer wist niet precies waar het moest kijken, en verwarde vaak de achtergrond met het defect. Het was alsof je iemand vraagt om een naald te vinden in een hooiberg, maar je geeft ze alleen een vaag idee van hoe een naald eruit zou kunnen zien.

2. De Oplossing: De "Anker-Boodschappen"

De onderzoekers hebben een nieuw systeem bedacht, AG-VAS, dat werkt met drie speciale "anker-woorden" (of tokens). Denk hierbij aan drie magische sleutels die de computer in zijn woordenboek heeft gekregen:

• [SEG] (De Specifieke Sleutel): Dit is als een fotograaf. Hij zegt: "Kijk, hier is een concreet voorwerp: een gat, een kras, een vlek." Hij maakt het abstracte idee van "defect" tastbaar.
• [NOR] (De Normale Sleutel): Dit is als een veiligheidswachter die zegt: "Dit hier is normaal. Dit is hoe het eruit moet zien."
• [ANO] (De Raar Sleutel): Dit is de detective die zegt: "Aha! Dit hier is niet normaal. Het wijkt af van wat de wachter net zei."

Door deze drie sleutels samen te gebruiken, kan de computer niet alleen zeggen "hier is een defect", maar ook begrijpen waarom het een defect is door het te vergelijken met wat normaal is.

3. De "Vertaler" (SPAM)

Er is nog een probleem: De computer denkt in grote concepten (zoals "kras"), maar de camera ziet duizenden kleine pixels. Het is alsof je een architect en een metselaar probeert te laten praten; ze spreken een andere taal.

De onderzoekers hebben een vertaler gebouwd (de Semantic-Pixel Alignment Module). Deze vertaler zorgt ervoor dat het idee van de architect ("er moet een gat zijn") perfect wordt omgezet in de instructies van de metselaar ("verwijder deze specifieke pixels"). Hierdoor weet de computer precies waar het defect zit, tot op het kleinste puntje.

4. De "Oefenboeken" (Anomaly-Instruct20K)

Om deze assistent slim te maken, hebben ze een enorm oefenboek gemaakt genaamd Anomaly-Instruct20K.
In plaats van alleen foto's te tonen, leerden ze de computer met verhalen. Ze gaven hem instructies zoals:

• "Normaal heeft een kabel drie intacte draden. Wat zie je hier?"
• "Beschrijf het defect en teken het dan in."

Hierdoor leerde de computer niet alleen te kijken, maar ook te redeneren. Hij leert: "Ah, een kabel zou normaal drie draden hebben. Hier zie ik er maar twee. Dat is een defect!"

5. Het Resultaat: De Perfecte Inspecteur

Wanneer je deze nieuwe assistent (AG-VAS) een foto geeft van een onbekend object (bijvoorbeeld een nieuwe soort machine of een medische scan), doet hij het volgende:

1. Hij kijkt naar het plaatje.
2. Hij gebruikt zijn anker-woorden om te denken: "Wat is hier normaal? Wat is hier raar?"
3. Hij vertaalt dit direct naar een masker (een tekening) die precies het defect omlijnt.
4. Als er niets mis is, zegt hij: "Geen probleem, hier is niets raars" (in plaats van dat hij zomaar ergens een vlekje tekent).

Kortom:
AG-VAS is als het geven van een superkrachtige bril aan een computer. Deze bril laat hem niet alleen zien wat er mis is, maar helpt hem ook te begrijpen waarom het mis is, door te vergelijken met wat normaal zou moeten zijn. Hierdoor kan hij nieuwe, onbekende defecten vinden zonder dat je hem eerst duizenden voorbeelden hoeft te laten zien. Het werkt zowel in fabrieken (voor defecte producten) als in ziekenhuizen (voor medische scans).

Technische samenvatting

1. Het Probleem

Zero-Shot Visual Anomaly Segmentation (ZSAS) richt zich op het lokaliseren van defecten op objecten van ongeziene categorieën zonder dat het model opnieuw getraind hoeft te worden. Hoewel Large Multimodal Models (LMM's) veelbelovend zijn voor deze taak, lopen bestaande LMM-gebaseerde aanpakpen tegen fundamentele beperkingen aan:

• Abstractie van Anomalieën: Defecten (zoals krassen, gaten of vlekken) zijn inherent abstract en contextafhankelijk. Ze missen stabiele visuele prototypes, in tegenstelling tot concrete objecten zoals "een appel". Dit maakt het moeilijk om tekstuele beschrijvingen direct te vertalen naar visuele entiteiten.
• Slechte Alignement: Er is een zwakke alignering tussen de hoog-niveau semantische embeddings van de LMM en de pixel-level ruimtelijke kenmerken. Dit resulteert in onnauwkeurige lokalisatie van anomalieën.
• Beperkingen van Bestaande Methodes: Bestaande methoden (vaak gebaseerd op CLIP) bereiken een bottleneck in prestaties en genereren vaak geen binaire segmentatiemaskers, waardoor heuristische drempelwaarden nodig zijn die de praktische toepasbaarheid belemmeren. Methoden zoals LISA falen vaak bij industriële taken door voorwerpen en achtergronden te verwarren.

2. Methodologie: AG-VAS

De auteurs stellen AG-VAS (Anchor-Guided Visual Anomaly Segmentation) voor, een end-to-end framework dat LMM's uitbreidt met leerbare semantische "ankers" om instructiegedreven segmentatie mogelijk te maken.

Kerncomponenten:

1. Semantische Ankertokens:
   Het vocabulaire van de LMM wordt uitgebreid met drie speciale tokens die als semantische bruggen fungeren:

   • [SEG] (Absolute Anker): Fungeert als een absolute semantische referentie. Het vertaalt abstracte anomalie-semantiek naar expliciete, ruimtelijk verankerde visuele entiteiten (bijv. "gat", "kras"). Het encodeert wereldkennis over uiterlijk, vorm en locatie.
   • [NOR] en [ANO] (Relatieve Ankers): Deze tokens modelleren de contextuele contrasten tussen normale en abnormale patronen. Ze helpen het model om anomalieën te identificeren door ze te vergelijken met de omringende normale gebieden.

2. Semantic-Pixel Alignment Module (SPAM):
   Om de kloof tussen hoog-niveau semantische embeddings en pixel-level kenmerken te overbruggen, introduceert SPAM een cross-modale interactie. Het gebruikt multi-head cross-attention om de semantische features (van de semantische encoder) te aligneren met de pixel-features (van de pixel-encoder). Dit zorgt ervoor dat de anker-embeddings effectief kunnen sturen bij de generatie van maskers.

3. Anchor-Guided Mask Decoder (AGMD):
   Deze module voert maskervoorspelling uit die afhankelijk is van de ankertokens.

   • De decoder gebruikt de gealigneerde embeddings van [NOR], [ANO] en [SEG] in combinatie met leerbare query-tokens.
   • Het genereert zowel een absolute waarschijnlijkheidskaart (via [SEG]) als contrastieve waarschijnlijkheidskaarten voor normaal/abnormaal (via [NOR]/[ANO]).
   • De uiteindelijke binaire segmentatiemasker wordt gegenereerd door deze kaarten te fuseren en te thresholden.

4. Inference Modus:
   Het model ondersteunt verschillende interactiemodi:

   • Implicit: Directe segmentatie op basis van instructie.
   • Explicit: Eerst een tekstuele beschrijving van het defect genereren (Describe-then-Segment) of uitleg geven na segmentatie (Segment-then-Explain).

3. Belangrijkste Bijdragen

• AG-VAS Framework: Een nieuw framework dat absolute en relatieve semantische ankertokens introduceert om de kloof tussen LMM's en segmentatietaken te overbruggen, waardoor directe output van binaire maskers mogelijk wordt zonder categorie-specifieke training.
• Anomaly-Instruct20K Dataset: Een nieuw, groot instructie-tuning dataset (20k voorbeelden) dat specifiek is samengesteld voor segmentatie. In plaats van alleen vragen en antwoorden, bevat deze dataset gestructureerde beschrijvingen van defecten (verwachting, observatie, diagnose, samenvatting en uitleg) die wereldkennis injecteren in de LMM.
• State-of-the-Art Prestaties: Het bereiken van nieuwe state-of-the-art resultaten op zes industriële en medische benchmarks in een zero-shot setting.

4. Resultaten

De auteurs hebben AG-VAS getest op zes benchmarks: drie industriële (MVTec-AD, KSDD2, RSDD) en drie medische (ISIC, ColonDB, ClinicDB).

• Overleg met de SOTA: AG-VAS presteert consistent beter dan bestaande CLIP-gebaseerde methoden (zoals Bayes-PFL, AnomalyCLIP) en andere LMM-gebaseerde segmentatiemethoden (zoals LISA, PixelLM).
  • Op de MVTec-AD dataset behaalde AG-VAS (met LLaVA-OneVision-7B) een IoUano van 44,8%, vergeleken met 32,3% voor de beste LISA-variant.
  • Op medische datasets (waar geen trainingsdata van was gebruikt) toonde het model sterke generalisatie, wat wijst op het effectieve gebruik van vooraf bestaande wereldkennis.
• Afwijking van Normale Samples: Een cruciaal aspect is het vermogen om "normale" afbeeldingen te herkennen en geen masker te genereren (over-segmentatie voorkomen). AG-VAS behaalde een IoUnor van 87,7% op normale samples, wat aanzienlijk hoger is dan concurrenten (bijv. 6,3% voor LISA).
• Ablatie Studies:
  • Het verwijderen van de [SEG] anker leidde tot een daling in alle metrieken.
  • Het verwijderen van [NOR]/[ANO] verlaagde de prestaties bij het herkennen van normale samples drastisch.
  • De dataset Anomaly-Instruct20K bleek essentieel voor het injecteren van domeinspecifieke kennis.

5. Betekenis en Conclusie

AG-VAS vertegenwoordigt een belangrijke stap voorwaarts in het veld van visuele inspectie en medische beeldanalyse. Door het probleem van abstracte anomalieën aan te pakken via semantische ankertokens en cross-modale alignement, lost het de beperkingen op van eerdere zero-shot methoden.

De belangrijkste implicaties zijn:

1. Praktische Toepasbaarheid: Het vermogen om direct binaire maskers te genereren zonder heuristische drempelwaarden maakt het geschikt voor echte industriële en medische toepassingen.
2. Robuuste Generalisatie: Het model kan effectief omgaan met ongeziene objectcategorieën en domeinen (zoals medische beelden) zonder extra training, dankzij de combinatie van wereldkennis en contextuele contrasten.
3. Interactie: De ondersteuning voor complexe instructies (beschrijven, uitleggen, segmenteren) maakt het systeem flexibel voor verschillende gebruikersbehoeften.

Kortom, AG-VAS biedt een robuuste, schaalbare oplossing voor zero-shot anomalie-segmentatie die de huidige staat van de techniek aanzienlijk verbetert.