SSeg: Active Sparse Point-Label Augmentation for Semantic Segmentation

Probleemstelling

Semantische segmentatie is cruciaal voor het automatiseren van analyse in complexe omgevingen, zoals mariene ecologie (onderwaterbeelden) en luchtfoto-analyse. De huidige staat-van-de-kunst-modellen vereisen echter dichte, pixel-per-pixel annotaties voor supervisie. Het verkrijgen van deze labels is extreem tijdrovend en vereist vaak experts (bijv. mariene biologen), wat resulteert in een gebrek aan gelabelde data.

Bestaande oplossingen gebruiken vaak spare point-labels (enkele punten per afbeelding) om de kosten te verlagen. Echter, twee grote uitdagingen blijven bestaan:

1. Selectie van punten: Traditionele methoden gebruiken willekeurige of raster-gebaseerde steekproeven. Dit negeert de beeldinhoud, waardoor kleine objecten worden gemist of punten op onduidelijke randen vallen.
2. Propagatie van labels: Het uitbreiden van deze spaarzame punten naar volledige maskers is moeilijk. Bestaande methoden (zoals superpixels) missen vaak fijne details, terwijl foundation modellen (zoals SAM2) moeite hebben met volledige ruimtelijke coherentie en dekking.

Methodologie: Het SSeg Framework

De auteurs stellen SSeg voor, een framework dat bestaat uit twee kerncomponenten om van een paar punten een volledig segmentatiemasker te genereren:

1. Actieve Puntselectie (Active Point Sampling)

In plaats van willekeurige punten te kiezen, gebruikt SSeg een hybride strategie om de meest informatieve punten te selecteren binnen een bepaald budget ($n$ punten):

• Acquisitie-functie: De eerste helft van de punten wordt geselecteerd via een functie $A(p)$ die twee factoren combineert:
  • Nabijheid tot objectcentroïden: Punten worden geprefereerd in het midden van objecten (bepaald door SAM2-maskers) om randen te vermijden.
  • Ruimtelijke dekking: Punten worden gekozen die ver weg liggen van reeds gelabelde punten om verspreiding te garanderen.
• Achtergrond-inclusie: De tweede helft van de punten wordt willekeurig gekozen uit gebieden die niet door SAM2-maskers worden gedekt (achtergrond/laag contrast). Dit is essentieel omdat modellen vaak falen in deze gebieden en deze labels nodig zijn voor een evenwichtige training.
• Resultaat: Een gebalanceerde set van punten die zowel objecten als achtergrond dekt, zonder dat de expert handmatig objecten hoeft te selecteren.

2. Hybrid Label Augmentation (Punt-Label Propagatie)

Om de gekozen punten uit te breiden tot een volledig masker, combineert SSeg twee methoden:

• SAM2 Expansie: Elke punt wordt gebruikt om een hoogwaardig objectmasker te genereren met SAM2. Dit zorgt voor zeer precieze objectgrenzen.
  • Conflictoplossing: Als maskers overlappen, wordt een score berekend op basis van de afstand tot de oorspronkelijke punt-labels om te bepalen welk label de overhand krijgt.
• PLAS Filling (Superpixels): Gebieden die door SAM2 niet worden gedekt, worden opgevuld met PLAS (een superpixel-gebaseerde methode). Dit zorgt voor volledige dekking van de afbeelding.
• Fusie: Het definitieve masker combineert de precisie van SAM2 voor objecten met de volledige dekking van PLAS voor de rest.

Belangrijkste Bijdragen

1. Hybride Propagatiestrategie: Een innovatieve combinatie van foundation modellen (SAM2) voor randprecisie en superpixels (PLAS) voor volledige dekking, wat de nadelen van beide afzonderlijke methoden oplost.
2. Actieve Selectie zonder Ground Truth: Een automatische strategie om punten te selecteren die de meest waardevolle informatie opleveren, zonder afhankelijk te zijn van "Oracle-based" initiatie (waarbij experts de grootste objecten handmatig moeten kiezen).
3. Interactieve Tool: De publicatie van een gebruiksvriendelijke tool die ecologen in staat stelt om met weinig klikken hoogwaardige segmentatiemaskers te genereren voor hun eigen data.

Resultaten

De methode is getest op twee datasets: UCSD Mosaics (onderwater koraalriffen) en SkyScapes (luchtfoto's).

• Prestaties: SSeg behaalde een verbetering van +3% tot +8% in masked-mIoU (Intersection over Union voor voorgrondklassen) ten opzichte van state-of-the-art baselines zoals PLAS en D+NN.
• Efficiëntie: Met slechts 25 punten (een reductie van 99,99% in labels ten opzichte van volledige pixel-annotatie) kon SSeg 90% van de prestaties van een volledig gesuperviseerd model bereiken bij het trainen van downstream modellen (SegFormer).
• Vergelijking:
  • SSeg presteerde beter dan D+NN, vooral bij grotere budgets (25 en 300 punten), terwijl D+NN vaak afhankelijk is van handmatige initiatie voor de eerste punten.
  • De hybride aanpak (SAM2 + PLAS) bleek superieur aan alleen SAM2 of alleen superpixels, vooral in het oplossen van overlappende objecten en het vullen van achtergrondgebieden.
  • De actieve selectie (DynamicPoints) overtrof zowel willekeurige als raster-gebaseerde selectie, vooral in complexe scènes met kleine objecten.

Betekenis en Impact

SSeg biedt een schaalbare workflow die de drempel voor het gebruik van geavanceerde computerzicht in de ecologie verlaagt. Door de annotatie-inspanning met vier ordes van grootte te verminderen (van miljoenen pixels naar enkele tientallen punten), kunnen onderzoekers sneller en goedkoper grote datasets verwerken. De methode maakt het mogelijk om foundation modellen (zoals SAM2) effectief toe te passen in domeinen waar dichte annotaties schaars of te duur zijn, en levert voldoende kwaliteit op om daarop nieuwe, geautomatiseerde segmentatiemodellen te trainen.