Technische Samenvatting: Naar Semantisch-Agnostische en Vormbewuste Vision-Language Segmentatiemodellen

1. Probleemstelling

Recente vooruitgang in Vision-Language Models (VLM's) heeft segmentatietaken mogelijk gemaakt die worden geleid door natuurlijke taal-instructies. Echter, de huidige state-of-the-art modellen (bijvoorbeeld LISA, GSVA) vertrouwen sterk op hoog-niveau semantische objectcategorieën (bijvoorbeeld "stopbord", "hond") die voorkomen in standaard datasets zoals COCO of LVIS. Deze semantische afhankelijkheid creëert een aanzienlijke beperking: deze modellen worstelen met redeneren over intrinsieke visuele eigenschappen zoals vorm, geometrie, textuur of kleur wanneer expliciete semantische labels ontbreken.

Bijgevolg falen bestaande VLM's effectief in het afhandelen van niet-semantische queries. Bijvoorbeeld, een model dat voornamelijk is getraind op semantische categorieën, kan falen bij het segmenteren van een "rood, achthoekig object" als het de beschrijving niet kan koppelen aan een specifieke klasselabel zoals "stopbord". Deze beperking beperkt de generalisatie en controleerbaarheid van segmentatiemodellen in real-world toepassingen waar precieze controle over visuele eigenschappen (bijvoorbeeld anatomische beperkingen, specifieke geometrische vormen) vereist is zonder vooraf gedefinieerde semantische klassen.

2. Methodologie

De auteurs introduceren SANSA (Semantic-Agnostic aNd Shape-Aware) segmentatie, een nieuw paradigma dat vereist dat modellen objecten segmenteren op basis uitsluitend van perceptieve beschrijvingen (vorm, kleur, textuur, ruimtelijke eigenschappen) in plaats van semantische categorieën. De methodologie bestaat uit twee primaire fasen:

A. SANSA Segmentatie Prompt Generatie

Om het gebrek aan semantisch-agnostische datasets aan te pakken, stellen de auteurs een geautomatiseerde pijplijn voor om segmentatie-prompts te genereren met behulp van een beschrijvende VLM (InternVL 2.5). Om te voorkomen dat de VLM semantische informatie lekt (bijvoorbeeld het benoemen van het object), worden twee complementaire strategieën toegepast:

1. DISP (Dictionary-based Segmentation Prompts):

   • Beperking: De beschrijvende VLM wordt gedwongen tokens uitsluitend te genereren vanuit een vooraf gedefinieerd woordenboek van semantisch-agnostische attributen (kleuren, texturen, vormen, patronen, belichting en connectoren).
   • Nabewerking: Een externe LLM (Mistral 7B) herschrijft deze door het woordenboek beperkte outputs naar vloeiende, natuurlijke segmentatie-prompts, terwijl de oorspronkelijke perceptieve beperkingen strikt worden behouden.
   • Input Preprocessing: Doelobjecten worden bijgesneden met behulp van hun binaire maskers voordat ze aan de VLM worden aangeboden om semantische lekkage via context te minimaliseren.

2. EXSP (Example-based Segmentation Prompts):

   • Gids: In plaats van een vast woordenboek wordt de VLM geleid door positieve voorbeelden (semantisch-agnostische beschrijvingen) en negatieve voorbeelden (beschrijvingen die semantische woorden bevatten) binnen de instructie-prompt.
   • LLM-as-a-Judge (LLMJ) Filtering: Omdat de EXSP-strategie onbeperkt is, wordt een filterstap toegepast waarbij een aparte LLM gegenereerde beschrijvingen classificeert als "semantisch" of "semantisch-agnostisch" op basis van tekst alleen. Beschrijvingen die semantische informatie bevatten, worden uit de dataset verwijderd.

B. Model Finetuning

De auteurs finetunen een state-of-the-art segmentatie VLM, LISA 7B, met behulp van de gegenereerde SANSA-prompts.

• Architectuur: Zij maken gebruik van LoRA (Low-Rank Adaptation) om het multimodale model (LLaVA) te finetunen dat verantwoordelijk is voor het genereren van segmentatietokens en de visuele decoder.
• Verliesfunctie: Het trainingstraject maakt gebruik van een gewogen combinatie van pixelgewijze binaire cross-entropy (BCE) en Dice-verlies.
• Data: De modellen worden getraind op een subset van COCO (10k afbeeldingen) omgezet naar SANSA-prompts, met evaluatie uitgevoerd op vastgehouden testsets en een handmatig samengestelde "Human Prompt" (HP) set.

3. Belangrijkste Bijdragen

• SANSA Segmentatie Paradigma: De introductie van een segmentatietask die uitsluitend vertrouwen op visuele eigenschappen (vorm, geometrie, kleur, textuur) zonder semantische objectcategorieën.
• Geautomatiseerde Prompt Generatie Strategieën: Het voorstellen van twee schaalbare strategieën (DISP en EXSP) om semantisch-agnostische segmentatie-prompts te genereren, waarmee de moeilijkheid van handmatige annotatie voor niet-semantische beschrijvingen wordt overwonnen.
• Prestatieverbetering: Aantonen dat finetunen op SANSA-prompts de segmentatie-accuraatheid op niet-semantische taken significant verbetert in vergelijking met vooringestelde modellen, terwijl de prestaties op standaard semantische taken behouden blijven.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een subset van de COCO-dataset (2k testafbeeldingen) en een Human Prompt (HP) set (160 afbeeldingen).

• Kwantitatieve Prestaties:
  • Gefinetunte SANSA-modellen bereikten tot een 20% verbetering in mIoU op de SANSA-taak in vergelijking met vooringestelde state-of-the-art modellen (LISA, GSVA, PolyFormer).
  • De EXSP-strategie leverde de hoogste gemiddelde mIoU op (37,46% op automatische testsets, 42,98% op HP), wat suggereert dat het prompts genereert die goed generaliseren naar door mensen geschreven semantisch-agnostische beschrijvingen.
  • De DISP-strategie toonde robuuste prestaties, met name op de gefilterde EXSP+LLMJ testset, wat de effectiviteit van de woordenboek-beperking bevestigt.
• Kwalitatieve Prestaties:
  • Vooringestelde modellen (LISA, GSVA) faalden in het interpreteren van semantisch-agnostische prompts (bijvoorbeeld "Segmenteer het rode, achthoekige object"), waarbij ze vaak faalden in het segmenteren van het doelobject of verkeerde objecten segmenteerden.
  • Gefinetunte SANSA-modellen segmenteerden objecten nauwkeurig op basis van vorm- en kleurbeschrijvingen alleen.
• Robuustheid en Generalisatie:
  • Semantische Behoud: Finetunen op SANSA-prompts degradeerde de prestaties op de oorspronkelijke semantische segmentatietask niet; de mIoU op standaard semantische prompts bleef vergelijkbaar met de vooringestelde LISA-baseline (minder dan 1% daling).
  • Filter Effectiviteit: De LLMJ-filter behaalde 82,5% nauwkeurigheid en 94% precisie bij het detecteren van semantische lekkage in EXSP-prompts.

5. Betekenis

Het paper betoogt dat de huidige afhankelijkheid van semantische uitlijning in VLM's hun vermogen beperkt om te redeneren over intrinsieke visuele eigenschappen. Door de focus te verschuiven naar laag- en midden-niveau visuele redenering, demonstreert SANSA-segmentatie dat modellen generaliseerbaarder en controleerbaarder kunnen worden gemaakt.

De auteurs benadrukken dat deze aanpak bijzonder waardevol is voor domeinen waar semantische labels niet beschikbaar, ontoereikend zijn, of waar precieze controle over segmentatie-eigenschappen (zoals het aantal verbonden componenten of specifieke geometrische beperkingen) noodzakelijk is. Het werk legt een fundament voor het uitbreiden van VLM's voorbij semantisch-alleen begrip, waardoor ze effectief kunnen opereren op puur perceptieve beschrijvingen.