RADSeg: Unleashing Parameter and Compute Efficient Zero-Shot Open-Vocabulary Segmentation Using Agglomerative Models

Probleemstelling

Open-vocabulary semantische segmentatie (OVSS) is cruciaal voor toepassingen zoals robotica en autonome navigatie, waarbij modellen objecten moeten segmenteren op basis van willekeurige natuurlijke taalbeschrijvingen zonder opnieuw getraind te zijn. Bestaande methoden kampen echter met drie fundamentele beperkingen:

1. Beperkte generalisatie: Methoden die gebaseerd zijn op training (fine-tuning van CLIP) lijden onder het gebrek aan grote, gelabelde segmentatiedatasets.
2. Hoge rekentijd: Zero-shot benaderingen die gebruikmaken van "dense inference" (het verwerken van meerdere beeldcroppen door een globale encoder zoals CLIP) zijn extreem rekentijd-intensief.
3. Complexiteit en geheugengebruik: De meest nauwkeurige huidige methoden combineren meerdere foundation-modellen (zoals CLIP, DINOv2 en SAM), wat leidt tot enorme modelgroottes, hoge latentie en een groot GPU-geheugengebruik.

Er is een dringende behoefte aan een methode die hoge nauwkeurigheid bereikt met minimale parameters en lage latentie, zowel voor 2D als 3D toepassingen.

Methodologie: RADSeg

De auteurs stellen RADSeg voor, een pipeline die gebaseerd is op RADIO (Agglomerative Vision Foundation Model). RADIO is een uniek model dat kennis distilleert uit meerdere modellen (CLIP, SigLIP, SAM en DINOv2) in één architectuur.

De kern van RADSeg bestaat uit de volgende innovatieve componenten:

1. Dichte Taal-uitlijning (Dense Language Alignment):

   • In tegenstelling tot eerdere aannames, ontdekten de auteurs een "emergent eigenschap" in RADIO: door de SigLIP CLS-token adaptor (oorspronkelijk bedoeld voor globale beeldkennis) toe te passen op de patch-wise features van RADIO, ontstaan er dichte, taal-uitgelijnde features die direct geschikt zijn voor OVSS zonder extra training.

2. Zelf-correlerende Recursieve Attention (SCRA):

   • Om de ruimtelijke coherentie te verbeteren, berekent SCRA een correlatiematrix (cosine-similariteit) tussen de patch-tokens in de laatste attention-blok van RADIO.
   • Patches met negatieve correlatie worden genegeerd (waarde $-\infty$), waardoor patches alleen naar semantisch vergelijkbare patches "kijken".
   • Dit proces wordt recursief toegevoerd aan de laatste attention-blok, wat de ruimtelijke localiteit versterkt zonder extra parameters toe te voegen.

3. Zelf-correlerende Globale Aggregatie (SCGA):

   • Bij het gebruik van "sliding windows" voor hoge resolutie kunnen er artefacten ontstaan aan de randen van de vensters. SCGA lost dit op door semantisch vergelijkbare features over verschillende vensters te middelen.
   • Dit zorgt voor consistentie tussen vensters en onderdrukt ruis, wat resulteert in scherpere segmentatiekaarten.

4. Optionele Masker-Verfijning (RADSeg+):

   • Voor nog hogere precisie kan een verfijningsstap worden toegevoegd die gebruikmaakt van de SAM (Segment Anything Model) decoder.
   • Omdat RADIO al een adaptor naar de SAM-token-ruimte heeft, hoeft alleen de SAM-decoder en neck te worden gebruikt. Dit vereist slechts 0,8% van de parameters van het volledige SAM-huge model, maar levert wel scherpe randen op.

Belangrijkste Bijdragen

• Eerste uitgebreide studie van RADIO voor OVSS: De auteurs tonen aan dat RADIO, een agglomeratief model, superieur is aan traditionele backbones voor zero-shot segmentatie.
• Nieuwe Pipeline (RADSeg): Een efficiënte architectuur die SCRA en SCGA integreert om de ruimtelijke localiteit en consistentie te maximaliseren.
• Uitgebreide Evaluatie: Het paper presenteert resultaten op vijf 2D-datasets (o.a. Pascal VOC, Cityscapes, ADE20K) en drie 3D-datasets (Replica, ScanNet, ScanNet++), waarbij consistent superioriteit wordt aangetoond.
• Efficiëntie-analyse: Een diepgaande analyse van de trade-offs tussen mIoU (nauwkeurigheid), latentie en parameteraantal.

Resultaten

RADSeg presteert opmerkelijk goed in vergelijking met state-of-the-art (SOTA) methoden:

• Nauwkeurigheid: RADSeg-base (106M parameters) verbetert de mIoU met 6-30% ten opzichte van de beste bestaande baselines in de "base" klasse.
• Verrassende Superioriteit: RADSeg-base (106M parameters) overtreft zelfs eerdere combinaties van enorme visiemodellen (zoals Trident met 1350M parameters en TextRegion met 850M parameters) in nauwkeurigheid.
• Efficiëntie:
  • Snelheid: RADSeg is 3,95x sneller dan de concurrentie.
  • Parameters: Het gebruikt 2,5x minder parameters.
  • Vergelijking met "Huge" modellen: RADSeg-base is 9,3x tot 12,6x sneller en vereist 8,1x tot 12,7x minder parameters dan de grootste concurrenten (zoals Trident Huge en TextRegion Huge), terwijl het betere of vergelijkbare resultaten behaalt.
• 3D Segmentatie: In 3D-scenario's toont RADSeg sterke multi-view consistentie en produceert het schoner, semantisch coherenter voxel-gebaseerde kaarten met veel minder uitbijters dan bestaande methoden.

Betekenis en Impact

Dit werk is significant omdat het een nieuwe richting aangeeft voor efficiënte visuele taalmodellen:

1. Paradigmaverschuiving: Het toont aan dat het combineren van meerdere grote modellen niet nodig is om SOTA-resultaten te behalen; een goed geoptimaliseerd, uniek agglomeratief model (RADIO) kan dit beter en sneller.
2. Toepasbaarheid: Door de lage parameteraantallen en lage latentie wordt OVSS haalbaar voor real-time toepassingen op beperkte hardware, zoals robots en autonome systemen.
3. Generalisatie: De methode werkt effectief zonder training op specifieke datasets, wat het ideaal maakt voor open-wereld scenario's waar nieuwe objectcategorieën continu worden tegenkomen.

Kortom, RADSeg bewijst dat "kleiner en slimmer" (via agglomeratie en slimme attention-mechanismen) vaak beter werkt dan "groter en complexer" in het domein van open-vocabulary segmentatie.