Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?

Probleemstelling

Video semantische segmentatie (VSS) vereist doorgaans grote hoeveelheden fijnkorrelige (fine-grained) pixel-level annotaties om optimale resultaten te behalen. Het handmatig aanmaken van deze annotaties is echter extreem duur en tijdrovend. Bijvoorbeeld, voor het Cityscapes-dataset kost het annoteren van één beeld met fijne grenzen gemiddeld 90 minuten, terwijl "grove" (coarse) annotaties slechts 7 minuten kosten. Daarnaast zijn er enorme hoeveelheden onannotatie videoframes beschikbaar die gratis te verkrijgen zijn, maar die door de meeste bestaande diepe neurale netwerken worden genegeerd.

De kernvraag van dit onderzoek is: Kan het gebruik van onbewaakte segmentatiemethoden en grove annotaties de kosten voor handmatige annotatie voor VSS-datasets aanzienlijk verlagen zonder significante prestatieverlies?

Methodologie

De auteurs stellen een aanpak voor die gebruikmaakt van moderne "foundation models" voor visie, specifiek Segment Anything Model (SAM) en zijn opvolger Segment Anything Model 2 (SAM 2), om pseudo-labels te genereren. Het doel is niet om de prestaties te maximaliseren, maar om de hoeveelheid handmatig geannoteerde data te minimaliseren.

De methodologie bestaat uit twee hoofdroutes:

1. Generatie van pseudo-labels voor onannotatie frames (met SAM 2):

   • Gegeven een handmatig geannoteerd frame (bijv. het 20e frame in een clip van 30 frames), wordt SAM 2 gebruikt om maskers te genereren voor opeenvolgende frames.
   • Het proces omvat het volgen van objecten naar voren (toekomstige frames) en achteruit (verleden frames) vanuit het geannoteerde frame.
   • De auteurs beperken de tracking tot 10 frames in elke richting om foutopbouw te minimaliseren.

2. Verfijning van grove annotaties (met SAM):

   • Voor frames met grove annotaties (waar objecten slechts ruw worden omcirkeld of geschat) wordt SAM gebruikt om de maskers te verfijnen.
   • De procedure omvat het willekeurig kiezen van twee punten binnen een grof masker en SAM te vragen een nieuw masker te genereren op basis van deze punten, gevolgd door twee iteraties van verfijning.
   • Dit wordt alleen toegepast op specifieke klassen met instance-level annotaties (zoals auto's, verkeersborden, personen), aangezien klassen als "hemel" of "gebouwen" geen scherpe grenzen hebben die door deze methode verbeterd kunnen worden.

Experimenteel Opzet:

• Datasets: Cityscapes (met zowel fijne als grove annotaties) en IDD (Indonesian Driving Dataset, voornamelijk voor validatie van onannotatie frames).
• Modellen: De methoden worden getest op twee state-of-the-art video-segmentatiemodellen: TMANet (gebruikt voor de meeste experimenten) en TDNet.
• Strategie: De auteurs vervangen een percentage van de handmatig geannoteerde frames in het trainingsset door de gegenereerde pseudo-labels of verfijnde grove annotaties.

Belangrijkste Bevindingen en Resultaten

1. Diversiteit is belangrijker dan kwantiteit

Een cruciale ontdekking is dat de diversiteit van de gebruikte frames belangrijker is dan het totale aantal frames.

• Het gebruik van alle gegenereerde frames (bijv. 20 frames per clip) leidt tot slechtere prestaties omdat de frames te vergelijkbaar zijn (hoge correlatie).
• Het selecteren van specifieke, verspreide frames (bijv. het 10e en 30e frame, ver weg van het geannoteerde 20e frame) levert betere resultaten op.
• Experimenten met sequentiële frames (P2s, F2s) presteerden slechter dan verspreide frames (P2, F2), wat aantoont dat trainingsdata diversiteit nodig heeft.

2. Reductie van annotatiekosten

De resultaten tonen aan dat een aanzienlijke reductie in handmatige annotatie mogelijk is met minimaal verlies in prestatie:

• 50% reductie: Het vervangen van 50% van de handmatige data door SAM 2-generatie (gebruikmakend van frames 10 en 30) resulteert in een gemiddelde Intersection over Union (mIoU) van 75,75% (TMANet op Cityscapes), vergeleken met 75,65% voor 100% handmatige data.
• 67% reductie (1/3 handmatig): Zelfs wanneer slechts 33% van de data handmatig is geannoteerd en de rest wordt aangevuld met SAM 2-pseudo-labels, daalt de mIoU slechts marginaal naar 74,48%.
• Dit betekent dat de annotatie-inspanning met twee derde kan worden verminderd terwijl de prestaties vrijwel gelijk blijven.

3. Grove annotaties en verfijning

• Het gebruik van ruwe, grove annotaties zonder verfijning leidt tot een daling in prestatie, vooral bij hoge percentages grove data (>50%).
• Het verfijnen van grove annotaties met SAM verbetert de prestaties aanzienlijk in vergelijking met het gebruik van de ruwe data.
• Echter, de auteurs concluderen dat het verfijnen van grove annotaties complexer is en minder robuust dan het genereren van pseudo-labels voor onannotatie frames. De beste aanbeveling is om te focussen op het genereren van pseudo-labels voor onannotatie frames in plaats van het proberen te verbeteren van grove annotaties.

4. Falende benaderingen

• Iteratieve training (Dog-fooding): Het gebruik van een model om maskers te genereren, deze maskers te gebruiken voor training, en vervolgens het nieuwe model weer te gebruiken voor maskergeneratie, leverde geen betere resultaten op dan niet-iteratieve training.
• Alle frames gebruiken: Zoals vermeld, het gebruik van alle gegenereerde frames in plaats van een geselecteerd subset leidt tot overfitting op de specifieke beweging van de clip en vermindert de generalisatie.

Bijdragen

1. Demonstratie van Diversiteit: Bewijs dat de variëteit in dichtbevolkte video-frames cruciaal is voor training, belangrijker dan het aantal frames.
2. Toepasbaarheid van Foundation Models: Aantonen dat SAM en SAM 2 effectief kunnen worden gebruikt voor het genereren van pseudo-labels voor onannotatie frames én voor het verfijnen van bestaande grove annotaties.
3. Kostenefficiëntie: Een praktische methode bieden die de noodzaak voor handmatige annotatie met ongeveer een derde reduceert bij vergelijkbare prestaties voor video semantische segmentatie.

Significantie en Toekomstperspectief

Dit onderzoek biedt een praktische oplossing voor een van de grootste knelpunten in het veld van computer visie: de hoge kosten van data-annotatie. Door foundation models als "zwarte doos" te gebruiken voor het genereren van pseudo-labels, kunnen onderzoekers en bedrijven hun datasets uitbreiden zonder extra menselijke inspanning.

De auteurs benadrukken dat de huidige toepassing beperkt is tot het gebruik van SAM/SAM 2 als een generator van maskers. Toekomstig werk zou kunnen focussen op:

• Het testen van andere segmentatiemodellen voor pseudo-label generatie.
• Het ontwikkelen van betere maatstaven voor "diversiteit" dan alleen optische stroom (optical flow) om de meest waardevolle onannotatie frames te selecteren.
• Het verder optimaliseren van de selectie van frames om de prestaties bij extreme reducties van handmatige data (bijv. <20%) te verbeteren.

Samenvattend concludeert het papier dat onbewaakte segmentatie via foundation modellen een krachtige strategie is om de barrière voor data-annotatie te verlagen, waardoor low-data training voor video semantische segmentatie haalbaar wordt.