Technische Samenvatting: Zwak toezicht op camouflaged objectdetectie gebaseerd op het SAM-model en maskergids

1. Probleemstelling

Camouflaged Object Detection (COD) omvat de segmentatie op pixelniveau van objecten die naadloos opgaan in hun omgeving qua textuur, kleur en vorm. Hoewel diep leren COD heeft doen evolueren, vertrouwen bestaande volledig toezichtmethoden op arbeidsintensieve annotaties op pixelniveau, die kostbaar zijn om te verkrijgen. Omgekeerd lijden zwak toezichtmethoden (WSCOD) die gebruikmaken van grove annotaties (punten, krabbels of omhullende rechthoeken) vaak aan prestatieverlies, dat zich specifiek manifesteert als ambigue randen en gemiste detecties van kleine of sterk gelijkende objecten. Bovendien, hoewel het Segment Anything Model (SAM) krachtige algemene segmentatiecapaciteiten biedt, heeft het moeite met COD-taken vanwege de hoge intrinsieke gelijkenis tussen camouflaged objecten en achtergronden, en classificeert het vaak achtergrondgebieden ten onrechte als objecten (redundante voorspellingen).

2. Methodologie

De auteurs stellen een raamwerk voor dat bestaat uit twee hoofdcomponenten: BoxSAM voor het genereren van hoogwaardige pseudo-labels en MGNet (Mask-guided Network) voor de segmentatietaken.

2.1. BoxSAM: Generatie van pseudo-labels

Om de uitdaging van zwak toezicht aan te pakken, introduceren de auteurs BoxSAM, dat gebruikmaakt van annotaties in de vorm van omhullende rechthoeken als prompts voor het Segment Anything Model (SAM).

• Annotatiestrategie: Omhullende rechthoeken worden gebruikt in plaats van krabbels of punten, omdat ze minder vatbaar zijn voor menselijke subjectieve factoren (bijvoorbeeld de lengte van krabbels of de plaatsing van punten) en de minimale omhullende doos van het object definiëren.
• Strategie voor verwerking van redundantie (RPS): Aangezien SAM vaak redundante achtergrondvoorspellingen genereert in COD-scenario's, wordt een nabewerkingsstrategie toegepast.
  1. Initiële pseudo-labels worden gegenereerd door SAM met behulp van prompts in de vorm van omhullende rechthoeken.
  2. Labels waarbij het aantal gedetecteerde objecten overeenkomt met het aantal annotaties, worden direct gebruikt voor training.
  3. Labels met een afwijkend aantal (wat redundantie aangeeft) worden verwerkt met een getrainde MGNet. De voorspelde maskers worden gebruikt om de initiële SAM-uitvoer te filteren: pixels in de redundante gebieden die niet overlappen met de voorspelling van MGNet worden op nul gezet, terwijl overlappende gebieden behouden blijven. Dit verfijnt de pseudo-labels tot hoogwaardige supervisie op pixelniveau.

2.2. MGNet: Masker-gestuurde segmentatie

MGNet is ontworpen om de segmentatie te verfijnen met behulp van de maskers die door de BoxSAM-pijplijn zijn gegenereerd als gids. Het bestaat uit drie nieuwe modules:

• Cascaded Mask Decoder (CMD): Deze module fuseert progressief multi-schaal kenmerken uit de encoder (PVTv2). Het integreert semantische informatie op hoog niveau (via upsampling en concatenatie) met detailinformatie op laag niveau (verwerkt via CBAM) om een initieel masker ($P_4$) te genereren. Dit masker dient als een globale gids voor de daaropvolgende verfijning.
• Context Enhancement Module (CEM): Om gemiste detecties veroorzaakt door informatieverlies tijdens downsampling te mitigeren, maakt CEM gebruik van convolutielagen met variërende dilatiepercentages om het receptieve veld te vergroten. Het omvat ook een Block Attention (BA)-mechanisme om extractie van hoogfrequente details te versterken, wat het verlies aan context compenseert.
• Mask-guided Feature Aggregation Module (MFAM): Deze module adresseert randambiguïteit. Het maakt gebruik van het initieel masker ($P_4$) om attentiekaarten voor voorgrond en achtergrond te genereren. Deze kaarten sturen de aggregatie van kenmerken uit verschillende niveaus, waarbij kenmerken van aangrenzende niveaus worden gefuseerd om randversterkte voorspellingen te produceren.

2.3. Training en verlies

Het model wordt getraind met een hybride verliesfunctie die Weighted Binary Cross-Entropy (wBCE) en Weighted Intersection over Union (wIoU) combineert. In de setting met zwak toezicht wordt de ground truth ($G$) vervangen door de verfijnde pseudo-labels die door BoxSAM zijn gegenereerd.

3. Belangrijkste bijdragen

Het artikel schetst drie primaire bijdragen:

1. BoxSAM: Een WSCOD-methode die annotaties in de vorm van omhullende rechthoeken integreert met het SAM-model. Het introduceert een Strategie voor verwerking van redundantie om de foutieve achtergrondvoorspellingen van SAM te filteren, wat leidt tot hoogwaardige pseudo-labels voor training.
2. MGNet: Een nieuw netwerkarchitectuur dat initiële maskers als gids gebruikt. Het beschikt over de Cascaded Mask Decoder (CMD) voor progressieve maskergeneratie, de Context Enhancement Module (CEM) om gemiste detecties te verminderen, en de Mask-guided Feature Aggregation Module (MFAM) om randambiguïteit op te lossen via geleide kenmerkenfusie.
3. Prestaties: De methode bereikt state-of-the-art (SOTA) prestaties in WSCOD op drie standaarddatasets (CAMO, COD10K, NC4K) en toont superieure resultaten in zwak toezicht op SOD met gebruik van supervisie in de vorm van omhullende rechthoeken. Bovendien valideren de auteurs de generaliseerbaarheid van het model op taken voor poliepsegmentatie en industriële defectdetectie.

4. Experimentele resultaten

Uitgebreide experimenten werden uitgevoerd op drie COD-datasets en vier SOD-datasets.

• WSCOD-prestaties: BoxSAM presteerde beter dan bestaande zwak toezichtmethoden (met gebruik van supervisie via punten, krabbels en omhullende rechthoeken). Op de CAMO-dataset verbeterde het de $S_\alpha$-metriek met 2,6% ten opzichte van de suboptimale methode met omhullende rechthoeken (SAM-COD) en met 3,8% ten opzichte van de suboptimale op punten gebaseerde methode.
• Prestaties bij volledig toezicht: MGNet, wanneer getraind met ground truth, overtrof huidige SOTA CNN- en Transformer-gebaseerde COD-methoden. Bijvoorbeeld, met gebruik van PVTv2_B2 als backbone, bereikte het gemiddelde verbeteringen van 1,3% in $S_\alpha$ en 2,3% in $F_\beta$ ten opzichte van de suboptimale methode MSCAF-Net.
• Ablatiestudies:
  • Het verwijderen van de Strategie voor verwerking van redundantie (RPS) resulteerde in een prestatiedaling, wat de noodzaak ervan voor labelkwaliteit bevestigt.
  • Het vervangen van MGNet door andere backbones (SINet, HitNet, enz.) leverde inferieure resultaten op, wat het specifieke ontwerp van MGNet valideert.
  • Individuele module-ablaties bevestigden dat CMD, CEM en MFAM elk significant bijdragen aan randhelderheid en detectievolledigheid.
• Efficiëntie: MGNet vertoonde een lagere computationele complexiteit (FLOPs) en minder parameters in vergelijking met meerdere Transformer-gebaseerde concurrenten.
• Toepassingen: Het model toonde verbeterde prestaties in poliepsegmentatie (CVC-ColonDB, CVC-ClinicDB) en defectdetectie (CDS2K) in vergelijking met gespecialiseerde SOTA-modellen in die domeinen.

5. Betekenis en beperkingen

De auteurs beweren dat hun werk een haalbaar compromis biedt tussen annotatie-efficiëntie en detectienauwkeurigheid voor camouflaged objecten. Door gebruik te maken van de generalisatiecapaciteiten van SAM en de outputs te verfijnen via een gespecialiseerde redundantiestrategie en een masker-gestuurd netwerk, balanceert de methode effectief de afweging tussen de kosten van annotatie op pixelniveau en de behoefte aan precieze segmentatie.

Echter, het artikel erkent bescheiden beperkingen. Hoewel de strategie voor verwerking van redundantie de uitvoer van SAM verbetert, vertoont SAM nog steeds falende gevallen in COD, zoals segmentatiefouten of het onvermogen om sterk camouflaged objecten te identificeren wanneer geprompt met omhullende rechthoeken. De auteurs suggereren dat toekomstig onderzoek zich moet richten op het verbeteren van de nauwkeurigheid van initiële pseudo-labels, mogelijk door meerdere annotatiemethoden te combineren als prompts voor grote modellen.