Technische Samenvatting: Zwak Gecontroleerde Segmentatie als Semantische Regularisatie

Probleemstelling

Semantische segmentatie vereist dichte, pixel-level annotaties, die duur en tijdrovend zijn om te produceren, wat een knelpunt vormt voor het implementeren van modellen in nieuwe domeinen. Zwak Gecontroleerde Semantische Segmentatie (WSSS) probeert dit te mitigeren door te trainen op goedkopere, indirecte aanwijzingen zoals image-level tags, bounding boxes of krabbels. Deze zwakke labels introduceren echter vaak ambiguïteit met betrekking tot objectgrenzen en vormen, waardoor het voor modellen moeilijk wordt om coherente segmentaties te produceren zonder structurele begeleiding.

Hoewel fundamentele modellen zoals het Segment Anything Model (SAM) WSSS hebben getransformeerd door hoogwaardige pseudo-labels te genereren uit eenvoudige prompts, staan ze voor aanzienlijke beperkingen. Standaard SAM vertrouwt op vaste, vooraf getrainde gewichten die moeite hebben met domeinverschuivingen (bijvoorbeeld medische beeldvorming) en mist een principiële mechanisme om domeinspecifieke kennis of heterogene zwakke labels te integreren. Huidige benaderingen vertrouwen vaak op heuristische promptontwerpen in plaats van een algemeen redeneringsmechanisme voor ruimtelijke en semantische structuur.

Methodologie

De auteurs stellen een neurosymbolisch raamwerk voor dat differentieerbare fuzzy-logica integreert met diepe segmentatiemodellen om deze hiaten aan te vullen. De methode werkt in een tweefasenpijplijn:

1. Logica-geleide Fine-tuning van Fundamentele Modellen

In de eerste fase wordt het Segment Anything Model (SAM) fine-getuned om te voldoen aan een reeks differentieerbare fuzzy-logica-beperkingen afgeleid van zwakke annotaties en structurele priors.

• Neurosymbolische Formulering: Zwakke annotaties (bounding boxes, krabbels) en domein-priors (gladheid, superpixel-grenzen, geometrische vormen) worden geünificeerd als continue logische beperkingen.
• Differentieerbare Logica: In plaats van logische formules te behandelen als strikte Waar/Onwaar-stellingen, gebruikt de methode product t-norm-semantiek om ze te versoepelen tot continue functies. Dit maakt het mogelijk om de logische satisfactie-kans end-to-end te optimaliseren met standaard op gradiënten gebaseerde optimalisatoren.
• Beperkingstypen:
  • Zwakke Supervisie: Krabbels (pixel-level consistentie), Bounding Boxes (strakheidsbeperkingen die garanderen dat elke rij/kolom de doelklasse bevat) en uitsluiting van achtergrond.
  • Ongecontroleerde Structurele Priors: Gladheid (buurconsistentie, gebiedsvulling), Superpixel-grenzen (straffen voor labelveranderingen binnen superpixels) en domeinspecifieke geometrische priors (bijvoorbeeld "hoekbeperkingen" voor cirkelvormige medische structuren zoals de optische schijf).
• Training: Alleen de mask-decoder van SAM wordt fine-getuned, terwijl de image-encoder bevroren blijft. Het model minimaliseert de semantische loss (negatieve log-likelihood van het voldoen aan de formule) om verfijnde, structureel consistente pseudo-masks te genereren.

2. Pseudo-label Gecontroleerde Training

In de tweede fase worden de verfijnde pseudo-labels gegenereerd door de logica-geleide SAM behandeld als ground truth. Een standaard, prompt-vrij segmentatienetwerk (bijvoorbeeld DeepLabV2 of Mask2Former) wordt vanaf nul getraind op deze pseudo-labels met conventionele cross-entropy loss. Dit levert een final model op dat inzetbaar is zonder menselijke prompts.

Belangrijkste Bijdragen

1. Neurosymbolische Formulering: Het paper introduceert een formulering van WSSS met behulp van differentieerbare fuzzy-logica, die heterogene supervisiesignalen (boxes, krabbels) en structurele priors unificeert in één optimalisatiedoel.
2. Algemeen Trainingschema: Een methode om fundamentele modellen (SAM) te fine-tunen zodat ze meerdere soorten zwakke annotaties en priors gezamenlijk integreren, verdergaand dan heuristisch prompt engineering.
3. Empirische Validatie: Aantonen dat redeneringsgeleide learning pseudo-labels van hogere kwaliteit produceert en state-of-the-art (SOTA) segmentatie-accuraatheid bereikt, vaak beter dan dichte gecontroleerde baselines.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op Pascal VOC 2012 (natuurlijke afbeeldingen) en REFUGE2 (retinale fundusafbeeldingen voor segmentatie van optische schijf/beker).

• Pascal VOC 2012:

  • Kwaliteit Pseudo-labels: De logica-geleide fine-tuning bereikte 94,5% mIoU op pseudo-labels, wat significant beter presteerde dan prompt-gebaseerde baselines (bijvoorbeeld 91,5% voor box-geprompte SAM).
  • Finale Segmentatie: Het tweede-fase Mask2Former-model bereikte 89,1% mIoU op de testset, wat beter was dan de volledig gecontroleerde Mask2Former-baseline (86,1%) en alle andere WSSS-methoden.
  • Ablatie: Het verwijderen van krabbel- of randbeperkingen veroorzaakte de grootste prestatiedalingen, wat hun kritieke rol benadrukt.

• REFUGE2 (Medische Beeldvorming):

  • Aanpasbaarheid: Zero-shot MedSAM presteerde slecht (47,7% mean Dice). Logica-geleide fine-tuning met alleen zwakke labels (boxes en punten) verbeterde de prestaties tot 87,5% mean Dice, wat dicht in de buurt kwam van de volledig gecontroleerde MedSAM bovengrens (88,7%).
  • Finale Prestatie: Het tweede-fase netwerk getraind op deze pseudo-labels bereikte 87,1% mean Dice, beter dan de volledig gecontroleerde ResUNet (86,5%) en met duidelijke voordelen bij het segmenteren van kleinere structuren (optische bekers).

Betekenis en Beweringen

Het paper beweert dat het integreren van differentieerbare fuzzy-logica met fundamentele modellen de kloof overbrugt tussen de flexibiliteit van diepe netwerken en de interpreteerbaarheid van symbolisch redeneren. Door logische beperkingen te gronden op zwakke aanwijzingen, leert het model niet alleen om annotaties te passen, maar ook om hoogwaardige ruimtelijke en relationele priors te voldoen.

De auteurs stellen dat deze aanpak:

• Pseudo-labels van hogere kwaliteit produceert dan die gegenereerd door zero-shot fundamentele modellen of standaard zwakke supervisiepijplijnen.
• Fundamentele modellen in staat stelt zich aan te passen aan out-of-distribution domeinen (zoals medische beeldvorming) met alleen zwakke supervisie, waardoor de noodzaak van pixel-perfecte ground truth tijdens de aanpassingsfase wordt geëlimineerd.
• SOTA-prestaties bereikt op standaard benchmarks, vaak beter dan de prestaties van modellen getraind met dichte supervisie.

Het paper erkent beperkingen, waarbij wordt opgemerkt dat de beste prestaties van het raamwerk afhankelijk zijn van domeinspecifieke logische beperkingen die mogelijk expertkennis vereisen. Het suggereert dat toekomstig werk zou kunnen onderzoeken het gebruik van Large Language Models (LLM's) om deze beperkingen automatisch te genereren of de aanpak uit te breiden naar nog zwakkere supervisiesignalen zoals image-level tags.