dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3

1. Probleemstelling

Open-Vocabulary Semantic Segmentation (OVSS) is de taak om pixels in een afbeelding te labelen met categorieën die niet beperkt zijn tot een vast trainingsset, maar kunnen worden gedefinieerd door tekstuele beschrijvingen (open set). Hoewel moderne Vision-Language Models (VLMs) zoals CLIP sterke open-vocabulary herkenning bieden, zijn hun representaties vaak suboptimaal voor dichte voorspellingen (pixel-level).

De belangrijkste uitdagingen zijn:

• Gebrek aan ruimtelijke precisie: VLMs die zijn getraind met globale contrastieve doelen (zoals CLIP) neigen naar globale semantiek, waardoor lokale details en scherpe randen verloren gaan.
• Aanpassingsbeperkingen: Bestaande OVSS-methoden vertrouwen vaak op post-hoc verfijning van beeld-tekst similariteitskaarten of heuristieken om ruimtelijke structuur te herstellen, wat leidt tot onnauwkeurige segmentatie in complexe, rommelige scènes.
• Onvoldoende uitbuiting van DINO: Hoewel recent werk (zoals dino.txt) DINO-achtige backbones combineert met tekst, blijven deze modellen grotendeels gericht op globale doelen en presteren ze niet optimaal bij open-vocabulary segmentatie zonder specifieke aanpassing voor dichte voorspellingen.

2. Methodologie: dinov3.seg

De auteurs introduceren dinov3.seg, een framework dat specifiek is ontworpen om de dinov3.txt backbone (een DINOv3-instantiatie met tekst-uitbreiding) te optimaliseren voor OVSS. De architectuur bestaat uit zes kerncomponenten:

A. Backbones en Feature Extractie

• dinov3.txt Backbone: Verwijdert dichte visuele features ($\phi_v$) en tekstuele embeddings. In tegenstelling tot eerdere methoden die alleen lokale features gebruiken, extraheren ze zowel globale (gealigneerd met het [CLS]-token) als lokale (gebaseerd op patch-features) tekstuele embeddings.
• Semantic Prior Encoder (SPE): Een ViT-L encoder van het Segment Anything Model (SAM) die wordt gebruikt als aanvullende bron voor semantische context en globale structurele informatie.

B. Dubbelstadium Verfijning (Dual-Stage Refinement)

Dit is een centrale innovatie van het paper:

1. Vroege Verfijning (Early Refinement): Voordat er interactie plaatsvindt tussen beeld en tekst, worden de ruwe visuele features van de VLM verfijnd. Dit gebeurt met een transformer-module (AnyUp) die de features "denoist" en de discriminatiekracht verbetert, terwijl de oorspronkelijke beeld-tekst uitlijning behouden blijft.
2. Beeld-Tekst Correlatie: Er wordt cosine-similariteit berekend tussen de verfijnde visuele features en zowel de globale als lokale tekstuele embeddings. Deze worden samengevoegd tot correlatie-features.
3. Late Verfijning (Late Refinement): De resulterende beeld-tekst correlatie-features worden verder verfijnd in twee blokken:
   • Ruimtelijke Verfijning: Gebruikt Swin Transformer-blokken en wordt geleid door de SAM-features (SPE) om ruimtelijke coherentie en scherpe randen te verbeteren.
   • Klasse-Verfijning: Modelleren van semantische relaties tussen verschillende klassen om ambiguïteit te verminderen.

C. Inference Strategie: Local-Global Aggregation (LGA)

Om hoge resolutie afbeeldingen te verwerken zonder verlies van detail:

• De invoer wordt opgesplitst in overlappende sub-afbeeldingen (sliding window).
• Features worden geëxtraheerd uit zowel de volledige afbeelding (globaal) als de sub-afbeeldingen (lokaal).
• Deze features worden geaggregeerd (gemiddeld) om zowel fijne details als globale context te behouden voordat ze naar de decoder worden gestuurd.

D. Training

Het model wordt getraind met een combinatie van Focal Loss (voor onbalans tussen makkelijke en moeilijke samples) en Dice Loss (voor IoU-maximalisatie), in plaats van de standaard Binary Cross-Entropy.

3. Belangrijkste Bijdragen

1. Specifiek OVSS Framework: De eerste uitbreiding van dinov3.txt naar een volledig trainbaar OVSS-framework, in plaats van alleen zero-shot gebruik.
2. Complementaire Tekstuele Representaties: Het integreren van zowel globale als lokale tekstuele embeddings versterkt de multimodale uitlijning en verbetert de semantische discriminatie.
3. Dubbelstadium Verfijning: Een uniek schema dat visuele features voor en na de beeld-tekst interactie verfijnt, wat leidt tot robuustere voorspellingen in rommelige scènes.
4. Hoge Resolutie Inference: Een effectieve LGA-strategie die lokale details behoudt terwijl globale semantische coherentie wordt gewaarborgd.
5. State-of-the-Art Prestaties: Consistente verbetering op vijf uitdagende benchmarks.

4. Resultaten

Het paper presenteert uitgebreide experimenten op vijf benchmarks: ADE20K (A-150 en A-847), Pascal Context (PC-59 en PC-459) en Pascal VOC (PAS-20).

• Algemene Prestaties: dinov3.seg behaalt de hoogste gemiddelde mIoU (50.44) over alle datasets, wat een verbetering is ten opzichte van de huidige state-of-the-art methoden zoals ESCNet, DEDOS, en HyperCLIP.
• Ongeziene Klassen: Het model toont aanzienlijke verbeteringen in het segmenteren van "onziene" (unseen) klassen, wat de sterke generalisatiecapaciteit aantoont. Op PC-459 en A-150 zijn de winsten voor onziene klassen het grootst.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat dinov3.seg scherpere randen en fijnere details produceert dan concurrenten zoals CAT-Seg, vooral bij complexe objecten en rommelige achtergronden.
• Ablatie Studies: De studies bevestigen dat elke component (tekst-ensemble, vroege/late verfijning, LGA-inference) bijdraagt aan de totale prestatie. Het gebruik van de volledige finetuning-strategie van de backbone bleek superieur te zijn ten opzichte van gedeeltelijke finetuning.

5. Betekenis en Conclusie

dinov3.seg markeert een belangrijke stap in de evolutie van open-vocabulary segmentatie. Het paper demonstreert dat het simpelweg toepassen van een sterke VLM-backbone (zoals DINOv3) niet voldoende is; er is een specifiek, segmentatie-bewust ontwerp nodig om de inherente ruimtelijke coherentie van DINO-achtige modellen optimaal te benutten.

Door de combinatie van dual-stage refinement, complementaire tekstuele embeddings en een geavanceerde inferentie-strategie, overbrugt het de kloof tussen globale beeld-tekst uitlijning en nauwkeurige, dichte pixel-classificatie. Dit maakt het model bijzonder geschikt voor real-world toepassingen zoals robotica, autonoom rijden en medische beeldvorming, waar robuustheid tegen ongeziene objecten en scherpe randen cruciaal zijn.