Technische Samenvatting: Dual-Guidance Framework voor Semi-Supervised Semantische Segmentatie via Onzekerheid en Prototypes

1. Probleemstelling

Semi-supervised semantische segmentatie (SSSS) beoogt de afhankelijkheid van dichte, pixel-niveau annotaties te verminderen door gebruik te maken van overvloedige ongelabelde data. Huidige state-of-the-art benaderingen maken voornamelijk gebruik van een "weak-to-strong" consistentie-framework, waarbij pseudo-labels gegenereerd uit zwak geaugmenteerde views het leren van sterk geaugmenteerde views sturen.

Echter, bestaande methoden kampen met twee kritieke beperkingen:

1. Ruisende Pseudo-Labels en Bevestigingsbias (Confirmation Bias): De afhankelijkheid van statische, hoog-betrouwbare drempelwaarden (gebaseerd op softmax-waarschijnlijkheden) houdt vaak geen rekening met de inherente overmoed van diepe neurale netwerken. Dit leidt tot de inclusie van foutieve voorspellingen en het verwerpen van informatieve pixels nabij objectgrenzen.
2. Slechte Feature-Representatie: Traditionele methoden zijn "naar binnen gericht" (inward-looking) en opereren primair binnen de output logit-ruimte. Ze missen expliciete regularisatie van de latente feature-ruimte, wat resulteert in slecht gescheiden semantische representaties, vooral voor morfologisch gelijkaardige klassen. Dit veroorzaakt dat beslissingsgrenzen vervagen en leidt tot overlappende feature-clusters.

2. Methodologie

De auteurs stellen een Dual-Guidance Framework voor dat zowel de voorspellingsruimte verfijnt als de representatieruimte regulariseert. Het framework is gebouwd op het UniMatch-paradigma (met gebruik van DeepLabv3+ met een ResNet-101 backbone) en introduceert twee synergetische modules:

A. Uncertainty-Aware Dynamic Pseudo-Label Refinement (UADPR)

Deze module adresseert de betrouwbaarheid van pseudo-labels in de voorspellingsruimte.

• Mechanisme: In plaats van statische drempelwaarden, gebruikt UADPR Monte Carlo (MC) Dropout om $T$ stochastische forward passes uit te voeren op zwak geaugmenteerde afbeeldingen.
• Onzekerheidsschatting: Pixel-niveau onzekerheid wordt gekwantificeerd met behulp van de entropie van de gemiddelde voorspellingsdistributie.
• Dynamische Drempelwaarde: Een globale betrouwbaarheidsdrempel $\tau(k)$ wordt dynamisch aangepast op basis van de batch-niveau genormaliseerde onzekerheid en de trainings-epoch. Dit stelt het model in staat om minder conservatief te zijn tijdens de vroege training (wanneer de onzekerheid hoog is) en strenger te worden naarmate het model stabiliseert.
• Betrouwbaarheidsweging: Een continue gewicht $w_i$ wordt toegewezen aan elke geldige pseudo-label pixel, waarbij de confidence score wordt gecombineerd met de inverse van de onzekerheid. Dit zorgt ervoor dat het model zich focust op betrouwbare regio's terwijl het ambigue grenzen voorzichtig evalueert.
• Verliesfuncties: De module optimaliseert een combinatie van pseudo-label loss (gewogen door onzekerheid), consistentie-regularisatie tussen zwakke en sterke views, en entropie-minimalisatie.

B. Class-Prototype Contrastive Guidance (CPCG)

Deze module adresseert feature-verwarring in de representatieruimte.

• Dynamische Prototypes: Het framework onderhoudt een globale bank van klasse-prototypes, bijgewerkt via een Exponential Moving Average (EMA) van features van gelabelde en betrouwbare ongelabelde pixels.
• Variantie-bewuste Contrastieve Learning: Erkenning dat intra-klasse variantie verschilt per semantische categorie, introduceert CPCG een klasse-adaptieve temperatuur parameter. Deze schaalt de contrastieve loss op basis van de variantie van features binnen elke klasse.
• Hard Negative Mining: Om de grenzen tussen verwarrende klassen te verscherpen, mijnt de module de top-$K$ meest verwarrende negatieve prototypes (hard negatives) en focust de contrastieve loss op het afstoten van features van deze specifieke klassen.
• Label Fusie: Prototype-gestuurde gelijkenis wordt gefuseerd met MC-gemiddelde voorspellingen om een "hard guided pseudo-label" te genereren. Deze label toewijzing maakt gebruik van zowel voorspellingsvertrouwen als feature-niveau semantische affiniteit.
• Verliesfuncties: De module optimaliseert een prototype contrastieve loss, een cross-sample prototype consistentie term (om drift te voorkomen), en een hard-negative loss.

C. Synergetische Interactie

De twee modules opereren in een gesloten lus:

1. UADPR filtert ruisende targets, waardoor een schone, onzekerheid-gewogen supervisie wordt geboden die de prototype-updates in CPCG stabiliseert.
2. CPCG organiseert de feature-ruimte, wat gestructureerde semantische clusters creëert die nauwkeurigere similarity maps opleveren. Deze maps worden teruggevoerd in de pseudo-label generatie, wat de kwaliteit van de labels voor UADPR verbetert.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. UADPR Module: Een nieuw mechanisme dat pixel-niveau onzekerheid schat via MC Dropout om een adaptief confidence thresholding en betrouwbaarheids-wegingssysteem te vestigen, wat de bevestigingsbias in de voorspellingsruimte effectief mitigeert.
2. CPCG Module: Een feature-regularisatie benadering die gebruik maakt van EMA-bijgewerkte dynamische prototypes, variantie-bewuste adaptieve temperatuur-schaling en hard negative mining om intra-klasse compactheid en inter-klasse scheidbaarheid te waarborgen.
3. Geïntegreerd Framework: Uitgebreide experimenten demonstreren dat de dual-guidance benadering competitieve prestaties bereikt onder standaard protocollen, waarbij het met name robuust is in scenario's met weinig data waar gelabelde data extreem beperkt is.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de PASCAL VOC 2012 en Cityscapes datasets, volgens het UniMatch-protocol met DeepLabv3+ en ResNet-101.

• PASCAL VOC 2012:
  • Onder de extreme data-arme setting (92 gelabelde afbeeldingen) bereikte de voorgestelde methode een 78.16% mIoU, waarmee het de UniMatch baseline (75.18%) versloeg met +2.98% en recente sterke concurrenten zoals CSL (76.80%) en AllSpark (76.07%) overtrof.
  • Met 732 gelabelde afbeeldingen bereikte de methode 82.94% mIoU, een verbetering van +3.02% ten opzichte van de baseline.
• Cityscapes:
  • In de 1/16 gelabelde split (186 afbeeldingen) bereikte de methode 79.08% mIoU, wat de UniMatch baseline overtrof met +2.46%.
  • De prestaties schaalden effectief naar de 1/2 split, waarbij 82.12% mIoU werd bereikt.
• Ablatie Studies:
  • Het integreren van UADPR alleen verbeterde de VOC 92-split mIoU met +2.44%.
  • Het integreren van CPCG alleen verbeterde het met +2.28%.
  • Het gecombineerde framework leverde de hoogste winsten op (+2.98%), wat het synergetische effect van de twee modules bevestigt.
• Kwalitatieve Analyse: Visualisaties (t-SNE, onzekerheidskaarten en segmentatie-masks) bevestigden dat het framework meer compacte intra-klasse clusters, duidelijkere inter-klasse marges en meer ruimtelijk coherente pseudo-labels produceert, met name in ambigue grensregio's en dunne structuren.

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde Dual-Guidance framework succesvol de kloof overbrugt tussen pseudo-label verfijning en feature-niveau regularisatie. Door expliciet voorspellingsonzekerheid te modelleren en semantische structuur in de latente ruimte af te dwingen, adresseert de methode de kernzwakheden van huidige consistentie-gebaseerde SSSS-benaderingen: bevestigingsbias en feature-verwarring.

De auteurs stellen dat hun aanpak bijzonder effectief is in data-arme settings, waar het vermogen om dynamisch ruis te filteren en features te organiseren cruciaal is. Zij concluderen dat het uitbreiden van traditionele output-ruimte zelf-training naar expliciete representatie-alignement een veelbelovende richting is voor het verbeteren van label-efficiënte visie-taken.

Erkende Beperkingen:
De auteurs merken op dat de afhankelijkheid van Monte Carlo Dropout het geheugengebruik en de trainingstijd verhoogt vanwege meerdere stochastische forward passes. Daarnaast erkennen zij dat de prototype bank minder stabiel kan zijn voor zeldzame klassen in mini-batches en dat zeer betrouwbare maar incorrecte pseudo-labels nog steeds tijdelijk de prototype-updates kunnen beïnvloeden.