Technische Samenvatting: S3POT

Probleemstelling

Bestaande methoden voor gezichtsparsering (face parsing) classificeren occlusies (bijv. handen, objecten, accessoires) vaak foutief als gezichtsonderdelen. Dit komt doordat "occlusie" een hoog niveau van ruimtelijk concept is in plaats van een concrete objectcategorie, wat het bijna onmogelijk maakt om een dataset uit de echte wereld te construeren die alle mogelijke typen occlusie dekt. Bovendien is de nauwkeurige handmatige annotatie van occlusiemaskers arbeidsintensief. Hoewel synthetische datageneratie is geprobeerd, lijdt dit vaak aan een beperkte generaliseerbaarheid naar realistische scenario's. Daarnaast bieden visuele fundamentele modellen zoals het Segment Anything Model (SAM) precieze segmentatiecapaciteiten, maar vereisen ze nauwkeurige prompts, die moeilijk te genereren zijn zonder ground-truth maskers.

Methodologie: S3POT

De auteurs stellen S3POT voor (Segmentation via Self-Supervised Prompting Occlusion with conTrast), een contrastgestuurd framework dat gezichtsgeneratie combineert met zelfgesuperviseerde ruimtelijke prompting. De methode werkt zonder occlusion ground-truth maskers tijdens de training en bestaat uit drie primaire modules:

1. Referentiegeneratie (RG)

Om een basis voor contrast te creëren, genereert het framework een occlusievrij "referentiegelaat" ($I_r$) vanuit het oorspronkelijke geoccludeerde beeld ($I$).

• Mechanisme: Het maakt gebruik van Regional GAN Inversion (RGI) van E4S, geconditioneerd op het originele beeld voor textuur en een voorspelde parseringsmasker ($M_r$) voor structuur.
• Doel: Om de gezichtsgeometrie te behouden terwijl de geoccludeerde regio's realistisch worden gereconstrueerd, waardoor een schone versie van het gezicht wordt gecreëerd die dient als ruimtelijke gids.

2. Featureversterking (FE)

Deze module adresseert de beperking dat ruwe feature-representaties van de SAM-beeldencoder onvoldoende zijn om tussen gezicht en occlusie te onderscheiden via eenvoudige contrasten.

• Initiële Prompting: Het systeem berekent de cosinusgelijkenis tussen de beeldtokens van het ruwe beeld ($Z$) en het referentiebeeld ($Z_r$). De pixellocatie met de hoogste gelijkenis wordt geselecteerd als een initiële prompt ($p_i$), onder de aanname dat zeer gelijkaardige regio's de gedeelde gezichtsstructuur vertegenwoordigen, terwijl dissimilar regio's waarschijnlijk occlusie of ruis bevatten.
• Cross-Attention Fusie: De initiële prompt wordt verwerkt door een component voor feature-aanpassing geïnspireerd op de SAM-maskdecoder. Dit omvat:
  • Prompt-to-Image Cross-Attention ($p_iZCA$): Hiermee kan de prompt aandacht besteden aan beeldfeatures.
  • Image-to-Prompt Cross-Attention ($Zp_iCA$): Hiermee kunnen beeldfeatures terug naar de prompt aandacht besteden.
  • MLP: Voert niet-lineaire transformaties uit.
• Resultaat: Deze bidirectionele fusie produceert versterkte beeldtokens ($Z_e$ en $Z_{re}$) die een scherper contrast creëren tussen gezichtsregio's en occlusies in de feature-ruimte.

3. Promptselectie (PS)

Deze module construeert een set positieve (occlusie) en negatieve (gezicht) prompts voor de SAM-maskdecoder met behulp van een Global-Local-Global (GLG) strategie.

• Extractie van Gezichtregio: Een gezichtsregio-masker ($M_f$) wordt afgeleid van het geparseerde masker om gezichtstokens ($Z_{re}^{M_f}$ en $Z_e^{M_f}$) te isoleren.
• Greedy Matching: Een greedy matching-algoritme (Algoritme 1) koppelt tokens tussen de referentie en de originele gezichtsregio's op basis van gelijkenis.
  • Niet-occlusie Prompts ($P_N$): Tokens die succesvol matchen tussen de referentie en de originele beelden.
  • Occlusie Prompts ($P_O$): Niet-gekoppelde tokens in het originele beeld, geïdentificeerd als occlusie-kandidaten.
• Self-Attention Screening: Een self-attention netwerk herweegt de gecombineerde promptset ($P$) om redundantie en ruis te filteren, aangezien overmatige prompts de prestaties van SAM kunnen verslechteren.
• Trainingsdoelstelling: Het netwerk wordt getraind met drie nieuwe, complementaire doelstellingen zonder occlusion ground-truth maskers:
  1. Occlusion Prompt Recall (OPR): Maximaliseert de voorspelde waarschijnlijkheid voor occlusie-prompts.
  2. Face Prompt Recall (FPR): Minimaliseert de voorspelde waarschijnlijkheid voor gezicht-prompts (complementair aan OPR).
  3. Face Prompt Penalty (FPP): Bestraft specifiek gezicht-prompts met abnormaal hoge waarschijnlijkheden om vals-positieven te voorkomen.

Belangrijkste Bijdragen

1. Contrastgestuurd Framework: Een innovatieve aanpak voor gezichtsoctlusie-segmentatie die de generatieve capaciteit van moderne gezichtsmodellen benut om referentiebeelden te creëren, wat zelfgesuperviseerd leren mogelijk maakt zonder occlusion ground-truth.
2. Twee-fasen Prompt Strategie: Een methode die featureversterking via cross-attention combineert met een greedy matching-algoritme om automatisch positieve/negatieve prompts te genereren en te screenen voor fundamentele modellen.
3. Nieuwe Doelstellingen: De introductie van OPR, FPR en FPP om self-attention leren te reguleren en het model te sturen naar nauwkeurige segmentatie in afwezigheid van gelabelde occlusion-data.
4. Speciale Dataset: De verzameling van een gespecialiseerde dataset (1.389 CelebA en 1.104 FFHQ beelden) met handmatig geannoteerde occlusiemaskers voor evaluatie, wat het gebrek aan dergelijke data in het veld aanpakt.

Experimentele Resultaten

De auteurs evalueerden S3POT op hun verzamelde dataset tegen de beste methoden (state-of-the-art) in gezichtsparsering, visuele referentie-segmentatie en tekstgestuurde redeneersegmentatie.

• Prestaties: S3POT bereikte een IoU van 76,2 in standaard trainingsmodus en 80,4 in per-image overfitting modus.
• Vergelijkingen:
  • Gezichtsparsering: Presteerde beter dan aangepaste modellen zoals SegFace* (73,1 IoU) en DML-CSR* (72,4 IoU). Bestaande parseringsmodellen faalden vaak in het correct segmenteren van handen of vingers, waarbij ze deze foutief als huid classificeerden.
  • Visuele Referentie-segmentatie: Presteerde aanzienlijk beter dan modellen zoals PerSAM, Matcher en VRP-SAM (die varieerden van 21,3 tot 51,2 IoU). Deze modellen hadden moeite om occlusies te onderscheiden van gezichtskenmerken vanwege vergelijkbare huidtinten of randproblemen.
  • Redeneersegmentatie: Presteerde beter dan LISA en Sesame (ca. 6,5 IoU voor occlusion segmentatie), wat de auteurs toeschrijven aan de moeilijkheid van deze modellen om het linguïstische concept "occlusie" te begrijpen zonder specifieke training.
• Ablatie-studies:
  • Het verwijderen van Feature Enhancement (FE) zorgde voor een significante daling in prestaties (van 76,2 naar 56,9), wat de noodzaak van discriminatie in de feature-ruimte bevestigt.
  • Het verwijderen van Prompt Selection (PS) of het gebruik van vaste drempelwaarden leidde tot ernstige prestatieverslechtering, wat de greedy matching en self-attention screening mechanismen valideert.
  • Alle drie de doelstellingen waren nodig voor optimale resultaten; het gebruik van enkel de recall-termen leidde tot onder- of over-segmentatie.

Betekenis en Claims

Het artikel claimt dat S3POT de ambiguïteit van occlusion segmentatie oplost door het paradigma te verschuiven van directe classificatie naar contrastgestuurde promptgeneratie. Door gebruik te maken van de structurele consistentie van gegenereerde referentiegelaat en de adaptieve feature-modificatie van fundamentele modellen, bereikt de methode hoog-precieze segmentatie zonder de hoge kosten van het annoteren van diverse occlusie-categorieën.

De auteurs benadrukken dat hun aanpak robuust is tegen variaties in de kwaliteit van het referentiebeeld, omdat het vertrouwt op hoog-niveau structurele sturing in plaats van pixel-perfecte reconstructie. Hoewel de methode veelvoorkomende occlusies effectief afhandelt, merken de auteurs bescheiden beperkingen op bij extreem fijnmazige occlusies (bijv. gezichtshaar) of ambigue grenzen (bijv. translucente objecten), en suggereren zij dit als gebieden voor toekomstig werk met betrekking tot multi-scale feature fusie of uncertainty-aware masking.