Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

Technische Samenvatting: Gedecomponeerde Vision-Language Alignering voor Fijnkorrelige Open-Vocabulaire Segmentatie

Probleemstelling
Open-vocabulaire segmentatie (OVS)-modellen, hoewel ze in staat zijn om te generaliseren naar ongezichte categorienamen via vision-language pretraining, hebben moeite om te generaliseren naar ongezichte combinaties van objectcategorieën en attributen (bijvoorbeeld het onderscheiden van een "industriële flatgebouw" van een "flatgebouw voor woningen" wanneer de specifieke combinatie niet tijdens de training is gezien). Bestaande benaderingen coderen doorgaans de volledige tekstuele prompt als één holistische sequentie. Deze holistische codering verstrengelt categorie- en attribuutsemantiek binnen een gedeelde representatie, waardoor het model semantische eenheden niet kan decomponeren en hercombineren tijdens de inferentie. Bijgevolg slagen modellen er niet in om de logische "EN"-beperkingen af te dwingen die nodig zijn voor fijnkorrelig compositief redeneren, wat leidt tot verslechterde prestaties bij ongezichte attribuut-categoriecombinaties.

Methodologie
De auteurs stellen een kader voor Gedecomponeerde Vision-Language Alignering voor dat is ontworpen om tekstuele prompts expliciet te factoriseren en compositieve beperkingen af te dwingen op zowel het feature- als het scoreniveau. De methode is modelagnostisch, maar wordt hier geïmplementeerd binnen de SAM3-architectuur.

1. Expliciete Prompt-Decompositie:
   In plaats van tekst te concateneren tot één zin, codeert het kader de categorie en elk attribuut onafhankelijk. Om geometrische ambiguïteit op te lossen (bijvoorbeeld "plat dak" dat van toepassing is op elk plat oppervlak), worden attributen tijdens de codering geconditioneerd op de categorie (bijvoorbeeld "plat dak" coderen als "plat dak gebouw"). Dit levert een gestructureerde representatie op bestaande uit een categorie-tokensequentie ($t_c$), een reeks attribuut-tokensequenties ($t_{a_k}$), en een aanwezigheidsmasker voor attributen ($m$).

2. Feature-Gated Cross-Attention:
   Het kader voert gedecomponeerde cross-attention uit tussen visuele queries en elke semantische eenheid.

   • Categorie-interactie: Standaard cross-attention wordt gebruikt om queries af te stemmen op de categorie-token.
   • Attribuutgates: Voor elk attribuut genereert een aparte cross-attention-branch een gating-kaart ($G_{a_k}$) via een sigmoid-activering. Deze gates fungeren als "noodzakelijke voorwaardefilters".
   • EN-samenstelling: De uiteindelijke feature-uitvoer wordt verkregen door elementgewijze vermenigvuldiging van de op de categorie afgestemde features en alle actieve attribuutgates ($F_{out} = Q_c \odot \prod G_{a_k}$). Deze multiplicatieve aggregatie dwingt uit dat een visuele feature alleen behouden blijft als deze tegelijkertijd aan alle attribuutbeperkingen voldoet.

3. Log-Ruimte EN Compositieve Scoring:
   Om numerieke instabiliteit en het verdwijnen van gradiënten te voorkomen die geassocieerd zijn met het vermenigvuldigen van kansen, werkt het scoringmechanisme in log-ruimte.

   • Matching-logits voor de categorie en elk attribuut worden onafhankelijk berekend.
   • Deze logits worden via sigmoid omgezet in kansen, waarna ze worden gemapt naar log-kansen.
   • De uiteindelijke compositieve score is de som van deze log-kansen, genormaliseerd naar het aantal actieve componenten. Deze formulering benadert wiskundig de logische EN-bewerking ($\log(\prod \pi) = \sum \log(\pi)$) terwijl stabiele gradiënten tijdens de optimalisatie behouden blijven.

Belangrijkste Bijdragen

• Gedecomponeerde Vision-Language Alignering: Een kader dat naadloos integreert in transformer-gebaseerde segmentatie-architecturen, waarbij categorie- en attribuutinteracties expliciet worden ontkoppeld om fijnkorrelige OVS te verbeteren.
• Feature-Gated Cross-Attention: Een nieuw module waarbij attributen fungeren als ruimtelijke filters, attribuutspecifiek feature-leren ontkoppelen en compositieve beperkingen afdwingen via multiplicatieve gating.
• Log-Ruimte EN Compositieve Scoring: Een scoringstrategie die logische EN-relaties tussen semantische eenheden expliciet modelleert, en die numerieke stabiliteit en verbeterd optimalisatiegedrag biedt in vergelijking met directe kansvermenigvuldiging.
• Compositieve Generalisatie-evaluatieprotocol: De introductie van een rigoureus evaluatieprotocol dat data splitst in geziene en ongezichte attribuut-categoriecombinaties, met gebruik van metrieken zoals ongezichte AP, Geziene-Ongezichte KLOof ($R_d$), en EN-Efficiëntie om vermogens voor compositief redeneren te meten.

Experimentele Resultaten
De methode werd geëvalueerd op het UBC-gebouwendataset en het PACO-LVIS-dataset onder een compositieve generalisatie-instelling waarbij specifieke attribuut-categoriecombinaties werden terughouden van de training.

• Prestatiewinst: Op het UBC-dataset verhoogde de voorgestelde methode de ongezichte AP van 4,0 (SAM3-baseline) naar 7,1, terwijl de EN-Efficiëntiemetriek significant verbeterde van 0,533 naar 0,959. Op PACO-LVIS steeg de ongezichte AP van 37,9 naar 39,2, en de EN-Efficiëntie van 0,874 naar 0,907.
• Ablatiestudies: Experimenten bevestigden dat holistische codering generalisatie beperkt. Het vervangen van holistische codering door onafhankelijke codering en gemiddelde aggregatie verbeterde de resultaten, maar het volledige Log-Ruimte EN-mechanisme bood de meest significante winst. Bovendien presteerde de methode beter dan aangepaste Compositional Zero-Shot Learning (CZSL)-methoden (bijvoorbeeld AttrAsOp, CGE), wat aantoont dat pixel-level ruimtelijke gating superieur is aan globale compositievectoren voor dichte predictietaken.
• Kwalitatieve Analyse: Visualisaties van de feature-gates toonden aan dat het model succesvol leerde om instanties te onderdrukken die overeenkwamen met de categorie maar specifieke attribuutbeperkingen schonden (bijvoorbeeld het onderdrukken van commerciële gebouwen wanneer de prompt "woningen" vereiste), wat de effectiviteit van het multiplicatieve gating-mechanisme bevestigt.

Betekenis
Het artikel stelt dat de primaire betekenis ligt in het aanpakken van de systematische bias van vision-language-modellen in fijnkorrelig compositief redeneren. Door het decompositie-inzicht over te dragen van beeldniveau Compositional Zero-Shot Learning naar het pixelniveau-domein van segmentatie, toont het werk aan dat expliciete factorisatie van semantische eenheden en het afdwingen van logische beperkingen op feature-niveau cruciaal zijn voor generalisatie naar ongezichte combinaties. De auteurs stellen dat dit kader een robuuste basis biedt voor het ontwikkelen van betrouwbaardere open-wereld perceptiesystemen die complexe, gestructureerde semantische beschrijvingen kunnen verwerken.