Technische Samenvatting: FARCLUSS

Probleemstelling

Semi-gesuperviseerde semantische segmentatie (SSSS) streeft naar prestaties die vergelijkbaar zijn met volledig gesuperviseerde modellen door een kleine set gelabelde afbeeldingen te combineren met overvloedige ongelabelde data. Bestaande benaderingen kampen echter met drie hardnekkige beperkingen:

1. Ineffectieve benutting van pseudo-labels: Huidige methoden vertrouwen vaak op strikte betrouwbaarheidsdrempels om harde pseudo-labels te genereren. Dit negeert "onzekere" regio's (bijv. objectgrenzen of geoccludeerde gebieden) waar de voorspellingskansen ambigu zijn, waardoor waardevolle supervisiesignalen verloren gaan en bevestigingsvooroordelen (confirmation bias) worden versterkt.
2. Klassenimbalans: In long-tailed datasets neigen pseudo-labels naar dominante klassen te zijn (bijv. weg, lucht), wat ervoor zorgt dat minderheidsklassen (bijv. verkeersborden, palen) ondervertegenwoordigd zijn en slecht worden geoptimaliseerd.
3. Computationele inefficiëntie: Methoden die contrastief leren inzetten om de onderscheidbaarheid van kenmerken te verbeteren, brengen vaak hoge computationele kosten met zich mee door uitgebreide paargewijze pixelvergelijkingen of dual-network architecturen, wat de schaalbaarheid beperkt.

Methodologie

De auteurs stellen FARCLUSS voor (Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning), een verenigd framework gebouwd op een standaard teacher-student architectuur. De methode integreert vier hoofdcomponenten om de bovengenoemde uitdagingen aan te pakken:

1. Fuzzy Pseudo-Labeling

In plaats van pixels te verwerpen die niet aan een hoge betrouwbaarheidsdrempel voldoen, behoudt FARCLUSS de top-$K$ klassenkansen voor elke pixel.

• Mechanisme: Voor een door de teacher gegenereerde waarschijnlijkheidskaart worden de top-$K$ klassen geselecteerd. Een zachte fuzzy labelverdeling wordt berekend door deze kansen te normaliseren.
• Voordeel: Dit behoudt zachte klassenverdelingen en inter-klasse relaties in ambigue regio's (bijv. grenzen tussen "stoep" en "weg"), waardoor onzekerheid wordt getransformeerd van een last naar een constructief leersignaal.

2. Onzekerheidsbewuste Dynamische Weging

Om de ruis die wordt geïntroduceerd door onzekere voorspellingen te mitigeren, moduleert het framework de invloed van elke pixel tijdens de training.

• Mechanisme: Pixelgewichten worden toegewezen op basis van de genormaliseerde entropie ($H$) van de voorspelling van de teacher. Het gewicht wordt gedefinieerd als $W = 1 - H$.
• Voordeel: Pixels met een hoge onzekerheid (hoge entropie) krijgen lagere gewichten, terwijl zekere voorspellingen worden versterkt. Dit fungeert als een zacht curriculum, waarbij ruizige regio's worden afgewogen zonder ze volledig te verwerpen.

3. Adaptieve Klasse-rebalancering

Om de bias naar meerderheidsklassen in pseudo-labels tegen te gaan, wordt de loss-functie per batch dynamisch aangepast.

• Mechanisme: Klassengewichten ($w_c$) worden berekend op basis van de frequentie van pseudo-gelabelde pixels in de huidige batch. De auteurs maken gebruik van een mediaan-gebaseerde normalisator: $w_c = \text{median}(F) / (F_c + \epsilon)$, waarbij $F_c$ de frequentie van klasse $c$ is.
• Voordeel: Deze robuuste statistische benadering zorgt ervoor dat minderheidsklassen adequate optimalisatiefocus krijgen zonder de instabiliteit die gepaard gaat met inverse-frequentieweging of de inflatie veroorzaakt door gemiddelde-gebaseerde weging.

4. Lichtgewicht Contrastieve Regularisatie

Om de onderscheidbaarheid van kenmerken te verbeteren zonder de overhead van paargewijze vergelijkingen, gebruikt de methode een prototype-gebaseerde contrastieve loss.

• Mechanisme: Klassespecifieke prototypes (centroids) worden berekend als het gemiddelde embedding van pixels met zekere fuzzy pseudo-labels. De loss straft de cosinusafstand tussen pixel-embeddings en hun overeenkomstige klasse-prototypes af.
• Voordeel: Dit bevordert intra-klasse compactheid en inter-klasse scheiding met een complexiteit van $O(N \cdot d)$, waardoor de $O(N^2 \cdot d)$ kosten van paargewijze methoden zoals ReCo worden vermeden.

Belangrijkste Bijdragen

Het artikel vat de bijdragen als volgt samen:

• Fuzzy Pseudo-Labeling: Construeert zachte labelverdelingen van top-$K$ kansen, waarbij ambiguïteit als leersignaal wordt behouden.
• Onzekerheidsbewuste Dynamische Weging: Gebruikt genormaliseerde entropie om de impact van pixelgewijze pseudo-labels te moduleren, wat ruis uit ambigue regio's vermindert.
• Adaptieve Rebalancering: Schaalt losses dynamisch op basis van per-batch pseudo-label frequenties om het leren voor minderheidsklassen te verbeteren zonder handmatige heuristieken.
• Lichtgewicht Contrastieve Regularisatie: Maakt gebruik van prototype-gebaseerd contrastief leren om de kosten van paargewijze operaties te vermijden terwijl de compactheid van kenmerken wordt bevorderd.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op de Pascal VOC (Classic en Blended) en Cityscapes datasets met ResNet-50 en ResNet-101 backbones.

• Prestaties: FARCLUSS presteert consistent beter dan state-of-the-art methoden (inclusief UniMatch, CorrMatch en PS-MT) over verschillende hoeveelheden gelabelde data (1/16 tot 1/2).
  • Op Pascal VOC Classic behaalt het superieure mIoU-scores, waarbij het UniMatch met 0,4–1,2 mIoU overtreft in de meeste splits.
  • Op Cityscapes behaalt het topresultaten (bijv. 81,0 mIoU met ResNet-101 bij 1/2 ratio), waarbij met name duidelijke winst wordt geboekt op ondervertegenwoordigde klassen en gebiedgrenzen.
• Efficiëntie: De methode behaalt deze resultaten met een single-network design, waarbij de overhead van correspondentie-matching van CorrMatch of de dual-network complexiteit van CPS wordt vermeden. Het evenaart de data-efficiëntie van recente methoden zoals UniMatch en CW-BASS.
• Ablatie-studies:
  • Het verwijderen van fuzzy labeling veroorzaakte de grootste prestatiedaling (-6,2 mIoU op Pascal), wat de rol ervan bevestigt in het behouden van informatieve supervisie.
  • Mediaan-gebaseerde klasse-rebalancering presteerde beter dan inverse, gemiddelde en harmonische gemiddelde strategieën.
  • Top-$K$ fuzzy labeling ($K=2$) bleek superieur aan vaste drempelfiltering, omdat het 100% van de pixels behoudt terwijl de labelverdeling wordt beperkt tot plausibele klassen.
  • De prototype-gebaseerde contrastieve loss bereikte een vergelijkbare nauwkeurigheid als paargewijze methoden (ReCo, U2PL) met aanzienlijk minder geheugengebruik en trainingstijd.

Betekenis en Claims

Het artikel beweert dat FARCLUSS een holistische oplossing vormt die onzekerheid transformeert van een last naar een leeractief. Door systematisch de problemen van pseudo-label ruis, klasse-imbalans en computationele overhead binnen een verenigd framework aan te pakken, maakt de methode meer informatieve en gebalanceerde leerprocessen mogelijk.

De auteurs benadrukken dat hun aanpak bijzonder significant is voor:

1. Ambigue Regio's: De fuzzy labeling en entropie-weging stellen het model in staat om te leren van gebiedgrenzen die door drempel-methoden meestal worden genegeerd.
2. Minderheidsklassen: Het adaptieve rebalanceringsmechanisme richt zich specif Specifically op de long-tail distributieproblemen die inherent zijn aan semantische segmentatie datasets.
3. Schaalbaarheid: De lichtgewicht contrastieve regularisatie en single-network design zorgen ervoor dat de methode efficiënt kan schalen naar grote datasets zonder in te boeten op nauwkeurigheid.

Het werk concludeert dat FARCLUSS een nieuwe richting zet voor onzekerheidsgestuurd, hulpbron-efficiënt leren in scenario's van semi-gesuperviseerde semantische segmentatie.