Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?

Dit paper introduceert een retrieval-gebaseerde testtijdadapter die een paar pixel-geannoteerde voorbeelden combineert met tekstprompts om de supervisie-kloof in open-vocabulaire segmentatie te overbruggen en de prestaties aanzienlijk te verbeteren zonder de open-vocabulaire capaciteiten te verliezen.

De kern

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die foto's kan bekijken. Deze robot is getraind met miljarden foto's en bijbehorende beschrijvingen. Hij kan je vertellen wat er op een foto staat als je vraagt: "Wat zie je hier?" (bijvoorbeeld: "een hond"). Maar als je vraagt om precies te tekenen waar die hond zit op de foto (elk haartje, elke poot), faalt hij vaak. Hij kan wel het woord "hond" begrijpen, maar niet precies de grenzen van het dier zien.

Dit is het probleem met Open-Vocabulary Segmentatie: robots kunnen nieuwe dingen herkennen die ze nooit eerder hebben gezien (bijvoorbeeld een "roze flamingo" als ze alleen "vogels" hebben geleerd), maar ze zijn niet goed in het precies afbakenen van die dingen op de foto.

De auteurs van dit paper hebben een oplossing bedacht genaamd RNS (Retrieve and Segment). Laten we het uitleggen met een paar simpele metaforen.

1. Het Probleem: De "Woordenboek-Robot"

Stel je voor dat de robot een woordenboek heeft. Als je zegt "auto", kijkt hij in zijn woordenboek en zegt: "Ah, auto! Ik heb dat gezien." Maar als je vraagt: "Waar zit de auto precies?", wijst hij naar de hele foto of verward naar een fiets, omdat hij de subtiele details mist. Hij heeft alleen de naam van het object, maar niet het gezicht van het object.

2. De Oplossing: De "Vriend met een Fotoalbum"

De auteurs zeggen: "Waarom laten we de robot niet gewoon een paar voorbeeldfoto's zien van het specifieke object dat we nu zoeken?"

Stel je voor dat je de robot een fotoalbum geeft.

• Situatie A (Alleen tekst): Je zegt: "Zoek een fiets." De robot denkt na en raakt in de war tussen een fiets, een motor en een scooter.
• Situatie B (Alleen foto's): Je geeft de robot een foto van een fiets. Hij kijkt naar de foto en probeert die te kopiëren. Maar als er ook een motor in de foto staat, kan hij de motor soms verwarren met de fiets, of hij ziet de fiets niet als hij er net anders uitziet dan in zijn voorbeeld.
• Situatie C (RNS - De combinatie): Je geeft de robot beide dingen: de naam "fiets" én een paar foto's van fietsen.

De magie van RNS zit hem in hoe hij deze informatie gebruikt.

3. Hoe werkt RNS? (De "Slimme Zoekmachine")

RNS doet twee dingen tegelijk, alsof het een detective is die een dossier opbouwt:

1. Het Zoeken (Retrieve): Als de robot een nieuwe foto ziet, gaat hij niet zomaar naar zijn hele album. Hij kijkt eerst naar de nieuwe foto en zegt: "Hé, dit stukje hier lijkt op de fiets in mijn album, en dat stukje daar op de motor." Hij haalt alleen de meest relevante voorbeelden uit zijn album op. Hij negeert de foto's van katten of auto's die hier niets mee te maken hebben.
2. Het Leren (Segment): Vervolgens leert de robot in een splitseconde (tijdens het kijken naar de foto) hoe hij die specifieke fiets moet tekenen, door de tekst ("fiets") te combineren met de voorbeeldfoto's die hij zojuist heeft opgehaald.

De Analogie van de Koffiebar:
Stel je voor dat je een barista (de robot) bent die nog nooit een "koffie met een speciaal patroon in de schuim" heeft gemaakt.

• Alleen tekst: De klant zegt: "Maak een latte met een hartje." De barista maakt een latte, maar het hartje is lelijk en vaag.
• Alleen foto: De klant geeft een foto van een hartje. De barista probeert het na te maken, maar als het kopje iets anders staat, faalt hij.
• RNS: De klant zegt: "Een latte met een hartje" én geeft een foto van een perfect hartje. De barista kijkt naar de foto, ziet dat het hartje schuin staat, en past zijn techniek direct aan om precies dat hartje te maken. Hij gebruikt de tekst om te weten wat het is, en de foto om te weten hoe het eruit moet zien.

4. Waarom is dit zo goed?

• Het werkt ook als je niet alles hebt: Soms heb je geen foto's van een bepaald object (bijvoorbeeld een heel zeldzame vogelsoort). RNS kan dan gewoon de naam gebruiken en doet het bijna net zo goed als zonder foto's. Maar als je wel foto's hebt, wordt het resultaat veel beter.
• Het is flexibel: Je kunt het album van de robot op elk moment uitbreiden. Heb je gisteren foto's van honden, en vandaag foto's van een specifieke hond die je kent? Voeg ze toe, en de robot kan die specifieke hond nu ook herkennen en afbakenen. Dit noemen ze gepersonaliseerde segmentatie.
• Het is snel: De robot hoeft niet opnieuw te leren (dat duurt dagen). Hij past zich in een fractie van een seconde aan voor elke nieuwe foto.

Samenvatting

De auteurs van dit paper hebben een manier bedacht om robots te helpen om niet alleen te weten wat er op een foto staat, maar ook precies waar het zit. Ze doen dit door de robot niet alleen woorden te geven, maar ook een paar voorbeeldfoto's, en hem slim te laten zoeken naar de juiste voorbeelden die bij de huidige foto passen.

Het is alsof je een robot een woordenboek én een fotoboek geeft, en hem leert om in dat fotoboek te bladeren naar precies het plaatje dat hij nodig heeft om de opdracht perfect uit te voeren. Hierdoor komen ze veel dichter bij de prestaties van mensen, zonder dat ze duizenden foto's hoeven te labelen.

Technische samenvatting

1. Probleemstelling

Open-vocabulary segmentatie (OVS) heeft als doel het segmenteren van willekeurige objectcategorieën die via tekstprompts worden gespecificeerd, gebruikmakend van Vision-Language Models (VLMs). Hoewel VLMs uitstekende zero-shot herkenningsmogelijkheden bieden op beeldniveau, presteren ze vaak minder goed dan volledig gesuperviseerde modellen op pixel-niveau. Dit prestatieverschil wordt veroorzaakt door twee hoofdoorzaken:

1. Mismatch in supervisie: VLMs worden getraind met beeldniveau-labels (image-level supervision), terwijl segmentatie fijne, pixel-level voorspellingen vereist.
2. Semantische ambiguïteit: Natuurlijke taal is vaak onvoldoende specifiek om precieze grenzen van objecten te definiëren, wat leidt tot hallucinaties of onduidelijke voorspellingen (bijv. een rijdende persoon wordt ten onrechte als een motorfiets geïdentificeerd).

Bestaande few-shot methoden zijn vaak gesloten voor nieuwe categorieën of vereisen zware aanpassingen. Het paper introduceert een oplossing die de kloof tussen zero-shot en volledig gesuperviseerde segmentatie dicht, terwijl de open-vocabulary capaciteit behouden blijft.

2. Methodologie: Retrieve and Segment (RNS)

De auteurs stellen RNS voor, een retrieval-augmented test-time adapter. In plaats van het model opnieuw te trainen, past RNS een lichtgewicht, per-afbeelding classifier toe op de vaste features van een VLM.

Kerncomponenten:

• Support Sets: Het systeem gebruikt een combinatie van tekstuele ondersteuning (klassenamen) en visuele ondersteuning (een kleine set pixel-geannoteerde voorbeelddoelen). Deze sets kunnen dynamisch groeien.
• Feature Extractie:
  • Visuele features: Voor elke support-afbeelding worden patch-level features geëxtraheerd en gepooled tot per-afbeelding visuele klassen-features ($v_c$) op basis van de ground-truth maskers.
  • Gefuseerde features: Om de modale kloof tussen tekst en beeld te overbruggen, worden tekstuele klassen-features ($t_c$) en visuele features ($v_c$) gefuseerd tot een nieuwe feature ($f_{c\lambda}$) via een leerbaar mengcoëfficiënt $\lambda$. Dit gebeurt voor meerdere $\lambda$-waarden om complementaire informatie te vangen.
• Retrieval-mechanisme: Tijdens de inferentie op een testafbeelding ($I_q$) worden de meest relevante support-features opgehaald.
  • Voor elke patch in de testafbeelding worden de $k$-naaste buren gezocht in de visuele support-set.
  • Dit creëert een "retrieved visual support set" ($V_r$) die specifiek is voor de inhoud van de testafbeelding.
• Test-time Adaptatie (TTA):
  • Een lineaire classifier ($g_\theta$) wordt getraind op de testafbeelding zelf (in minder dan een seconde op een GPU).
  • De training gebruikt een gecombineerde loss-functie:
    1. Visuele loss: Cross-entropy op de opgehaalde visuele support-features.
    2. Gefuseerde loss: Cross-entropy op de gefuseerde features van de relevante klassen.
    3. Pseudo-label loss (voor ontbrekende visuele support): Als een klasse geen visuele voorbeelden heeft, worden de features geschat via zero-shot voorspellingen en gebruikt als pseudo-labels.
  • Klasserelevantie-weights: Een gewichtsfactor ($w_c$), gebaseerd op de gelijkenis tussen de globale image-feature en de tekst-feature, onderdrukt de invloed van opgehaalde features die irrelevant zijn voor de testafbeelding.
• Region Proposals: Het model kan werken op patch-niveau of, voor hogere nauwkeurigheid, features aggregeren binnen region proposals gegenereerd door SAM (Segment Anything Model).

Omgaan met onvolledige support:
RNS is robuust in scenario's waar niet alle klassen zowel tekst als beeld hebben:

• Beeld zonder tekst: Gemiddelde tekst-features worden gebruikt als neutrale prior.
• Tekst zonder beeld: Pseudo-labels worden gegenereerd via zero-shot voorspelling om visuele features te schatten.

3. Belangrijkste Bijdragen

1. RNS Framework: Introductie van een retrieval-augmented test-time adapter die tekstuele en visuele support effectief fusing via een leerbaar mechanisme, in plaats van hand-gemaakte fusie.
2. Dynamische Uitbreidbaarheid: Het systeem ondersteunt continu groeiende support sets in een open-world setting, waarbij nieuwe voorbeelden op elk moment kunnen worden toegevoegd zonder het model opnieuw te hoeven trainen.
3. Robuustheid bij Onvolledige Data: Het biedt een oplossing voor situaties waar visuele of tekstuele support ontbreekt voor bepaalde klassen, wat essentieel is voor real-world toepassingen.
4. Persoonlijke Segmentatie: De methode is toepasbaar op "personalized segmentation", waarbij specifieke objectinstanties (bijv. "mijn auto") kunnen worden onderscheiden van de algemene klasse ("auto") door slechts een paar voorbeelden toe te voegen.

4. Resultaten

De auteurs evalueren RNS op zes benchmarks (o.a. PASCAL VOC, COCO, Cityscapes, ADE20K) met verschillende backbones (OpenCLIP, DINOv3).

• Prestatieverbetering: RNS sluit de kloof tussen zero-shot en volledig gesuperviseerde segmentatie aanzienlijk in. Met slechts 20 support-afbeeldingen per klasse ($B=20$) nadert de prestatie die van volledig gesuperviseerde modellen (gemiddeld 11,5% mIoU-kloof, vergeleken met 34% bij zero-shot).
• Vergelijking met concurrenten: RNS presteert consistent beter dan state-of-the-art methoden zoals kNN-CLIP en FREEDA, vooral bij een klein aantal support-afbeeldingen (few-shot regime). kNN-CLIP faalt vaak bij het combineren van modaliteiten en presteert slechter als de support-set groeit.
• Efficiëntie: De test-time training is extreem snel (<1 seconde op een NVIDIA A100) en vereist geen hertraining van de zware backbone.
• Ablatie-studies: Het tonen aan dat retrieval essentieel is (willekeurige selectie van support leidt tot grote prestatiedalingen) en dat het gebruik van meerdere fusie-coëfficiënten ($\Lambda$) en klasserelevantie-weights cruciaal is voor succes.

5. Betekenis en Impact

Dit paper is significant omdat het een praktische en efficiënte weg biedt om de beperkingen van huidige open-vocabulary segmentatie te overwinnen.

• Brug tussen theorie en praktijk: Het maakt OVS bruikbaar in realistische scenario's waar annotaties schaars zijn of waar specifieke objecten moeten worden geïdentificeerd (bijv. in medische beeldvorming of persoonlijke assistentie).
• Flexibiliteit: Door het loskoppelen van de zware backbone en het gebruik van een lichtgewicht adapter, biedt het een schaalbare oplossing voor dynamische omgevingen.
• Toekomstperspectief: De methode legt de basis voor systemen die continu leren van nieuwe voorbeelden zonder "catastrophic forgetting" en zonder de open-vocabulary capaciteit te verliezen.

Kortom, RNS demonstreert dat een paar goed gekozen voorbeelden, intelligent gecombineerd met tekstuele kennis via retrieval, voldoende zijn om de supervisie-kloof in open-vocabulary segmentatie te dichten.