Technische Samenvatting: Laten zien of vertellen? Effectief prompten van Vision-Language Models voor semantische segmentatie

Probleemstelling

Het artikel behandelt de uitdaging om Large Vision-Language Models (VLMs) effectief te prompten voor semantische segmentatie zonder taakspecifieke fine-tuning. Hoewel VLMs zich hebben gevestigd als robuuste backbones voor cross-modale redenering, blijft hun vermogen om te fungeren als "foundation models" voor dense voorspellingsopdrachten zoals segmentatie onbewezen. De auteurs onderzoeken of tekstuele prompts (TP) of visuele prompts (VP) effectiever zijn voor het omlijnen van objecten in afbeeldingen, met name in out-of-distribution (OOD) scenario's.

Er wordt een cruciaal onderscheid gemaakt tussen traditioneel few-shot leren, dat model fine-tuning vereist, en het voorgestelde Few-Shot Prompted Semantic Segmentation (FPSS) protocol. In FPSS blijft het model bevroren; de gebruiker biedt een kleine set geannoteerde voorbeelden (visuele prompts) of een tekstbeschrijving (tekstuele prompts) aan om het model te begeleiden bij nieuwe, ongeziene afbeeldingen. Het artikel stelt dat terwijl tekstuele prompts vaak generiek zijn (bijv. "segmenteer alle katten"), visuele prompts doorgaans beeldspecifiek zijn. De auteurs pleiten echter voor een schaalbare visuele prompting-aanpak waarbij een vaste set geannoteerde voorbeelden dient als prompt voor een willekeurig grote testset, wat slechts een constante overhead met zich meebrengt.

Methodologie

Evaluatiekader

De auteurs evalueren verschillende modellen op de MESS dataset collectie, een benchmark bestaande uit 22 diverse segmentatiedatasets over vijf domeinen: General, Earth, Medical, Engineering en Agriculture. De evaluatie houdt zich strikt aan een training-free protocol om de inherente generalisatiecapaciteiten van de modellen te beoordelen, waarbij informatielekkage uit standaard benchmarks zoals COCO of Pascal VOC, die mogelijk overlappen met pre-training data, wordt vermeden.

De studie vergelijkt drie categorieën modellen:

1. Tekst-geprompted Modellen: Open-vocabulary segmentatiemodellen (CAT-Seg, NACLIP) en VLMs (Florence-2, PALI-Gemma, LISA).
2. Visueel-geprompted Modellen: Modellen getraind met visuele cues (SEEM, DINOv) en training-free frameworks die gebruikmaken van matching algoritmen (Matcher, SoftMatcher, SoftMatcher+).
3. Supervised Baselines: Domeinspecifieke modellen die in-domain zijn getraind, dienend als de upper bound voor prestaties.

Kernanalyse: Oracle Ensembles

Om de complementaire aard van de twee modaliteiten te begrijpen, construeren de auteurs "Oracle" ensembles:

• Oracle Ensemble: Selecteert de best presterende methode (TP of VP) op basis van de dataset.
• Oracle Ensemble+: Selecteert de best presterende methode op basis van de afbeelding.

Deze analyse onthult dat tekstuele en visuele prompts zeer complementair zijn; elke modaliteit faalt op voorbeelden die de andere kan oplossen. Het Oracle Ensemble+ bereikt een verbetering van 11% ten opzichte van de beste pure tekst-geprompted baseline, wat het potentieel van het combineren van modaliteiten benadrukt.

Voorgesteld Framework: PromptMatcher

Gemotiveerd door de complementaire sterktes van TP en VP, stellen de auteurs PromptMatcher voor, een training-free framework dat beide modaliteiten integreert. Het framework werkt in twee stadia:

1. Mask Generatie:
   • Tekst Tak: Gebruikt LISA (een VLM die LLaVA, CLIP en SAM integreert) om tekstuele prompts te verwerken, waarbij segmentatiemaskers worden gegenereerd via een gespecialiseerd <SEG> token.
   • Visuele Tak: Gebruikt SoftMatcher+ (een verbeterde versie van SoftMatcher die gebruikmaakt van AM-RADIO features) om visuele prompts (referentieafbeeldingen met maskers) te verwerken, waardoor punt-prompts voor SAM worden gegenereerd om mask-voorstellen te creëren.
2. Verificatie en Fusie:
   • Een verificatiemodule, gebaseerd op de rejection pipeline van SoftMatcher+, fungeert als een "critic" voor beide takken. Het test de consistentie van maskers tegen de referentieafbeelding.
   • Maskers die falen op consistentiecontroles (bijv. hallucinaties vanuit de teksttak of ruis vanuit de visuele tak) worden weggegooid.
   • De resterende geverifieerde maskers worden gecombineerd via een binaire unie om de uiteindelijke segmentatie-output te produceren.

Belangrijkste Resultaten

Prestatiekloof

De studie stelt vast dat zelfs de meest geavanceerde VLMs aanzienlijk achterlopen op specialistische modellen die voor specifieke taken zijn getraind. Gemiddeld lopen VLMs ongeveer 30% achter op supervised baselines in Intersection-over-Union (IoU) op de MESS dataset.

Vergelijking van Modaliteiten

• Tekstuele Prompts: Presteren over het algemeen beter gemiddeld, maar worstelen met ambigue beschrijvingen (bijv. "Upper clothes") of zeer specifieke, ongebruikelijke termen (bijv. "Worm-eating warbler").
• Visuele Prompts: Hoewel ze over het algemeen een lagere gemiddelde prestatie hebben dan tekstuele prompts, blinken ze uit in technische domeinen (Engineering, Medical) en voor klassen waar tekstuele beschrijvingen ambigu zijn. Bijvoorbeeld, SoftMatcher+ presteert beter dan LISA in technische domeinen.
• Complementariteit: De analyse van de top 10 klassen met de grootste IoU-verschillen laat zien dat visuele prompts tekstuele prompts met wel 80% kunnen overtreffen voor specifieke klassen, voornamelijk vanwege de ambiguïteit van taal.

PromptMatcher Prestaties

PromptMatcher behaalt state-of-the-art resultaten in de few-shot prompted setting:

• Het presteert 2,5% beter dan de best presterende tekst-geprompted VLM (LISA).
• Het presteert 3,5% beter dan de best presterende visueel-geprompted VLM.
• Hoewel het de kloof naar volledig supervised domeinspecifieke modellen niet volledig dicht, verkleint het de prestatiekloof aanzienlijk vergeleken met single-modality benaderingen.

Betekenis en Claims

Het artikel claimt dat huidige VLMs nog geen echte "foundation models" zijn die in staat zijn om meerdere taken in een zero-shot manier op te lossen met prestaties die vergelijkbaar zijn met gespecialiseerde modellen. De auteurs benadrukken dat:

1. Modaliteit Complementariteit: Tekstuele en visuele prompts zijn niet uitwisselbaar; ze adresseren verschillende foutmodi. Het onvermogen om de meest effectieve modaliteit te voorzien leidt tot suboptimale prestaties.
2. Taal Ambiguïteit: Een primaire beperking van tekstuele prompting is de inherente ambiguïteit en specificiteit van natuurlijke taal, wat visuele prompts effectief kunnen omzeilen.
3. Training-Free Leefbaarheid: Het is mogelijk om state-of-the-art resultaten te behalen in few-shot segmentatie zonder fine-tuning door beide modaliteiten effectief te combineren via een eenvoudige verificatiemechanisme.

Het werk suggereert dat toekomstige foundation models voor visie van nature beide tekstuele en visuele prompting mechanismen moeten ondersteunen en integreren om de beperkingen van unimodale instructie te overwinnen.