💻 computer science

SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval

SeCo-SBIR is een semantisch consistent prompt learning-framework dat de spanning tussen domeinadaptatie en zero-shot generalisatie in sketch-based image retrieval oplost door tekstgestuurde semantische kennis in de visuele encoder te injecteren en consistentie met een bevroren CLIP-referentie af te dwingen via perturbatiegebaseerde restricties, waarmee het state-of-the-art prestaties bereikt over meerdere benchmarks.

Oorspronkelijke auteurs: Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

Gepubliceerd 2026-08-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligënte robot probeert te leren om dingen te herkennen, maar met een twist: je mag de robot alleen foto's van echte dieren laten zien, maar je wilt dat hij ook tekeningen van mensen begrijpt. Dit is de wereld van Zero-Shot Sketch-Based Image Retrieval. Het is een tak van kunstmatige intelligentie waarbij een computer een ruwe, gekrabbelde schets (zoals een stokfiguurtje van een hond) moet kunnen koppelen aan een haarscherpe foto van een echte hond, zelfs als hij dat specifieke type hond nog nooit eerder heeft gezien.

Om de uitdaging te begrijpen, kun je het brein van de robot zien als een systeem met twee hoofd"zintuigen": één voor zien (foto's) en één voor lezen (tekst). Een krachtig hulpmiddel genaamd CLIP heeft deze robot al geleerd dat het woord "hond" en een foto van een hond met elkaar gerelateerd zijn. Echter, wanneer je de robot vraagt naar een slordige, zwart-wit schets te kijken, raakt hij in de war. De schets is te verschillend van de foto. De gebruikelijke oplossing is om de robot te "fine-tunen", door hem nieuwe trucjes te leren om de kloof te overbruggen. Maar hier komt de crux: als je de robot te veel leert over de specifieke honden die je tijdens de training laat zien, komt hij in een sleur terecht. Hij wordt zo geobsedeerd door de trainingsvoorbeelden dat hij vergeet hoe hij nieuwe soorten honden moet herkennen die hij nog niet heeft gezien. Het is als een student die de antwoorden op een oefentoets zo perfect uit het hoofd leert, dat hij de echte examens faalt omdat de vragen er net even anders uitzien.

Dit is precies het probleem dat de onderzoekers van het Posts and Telecommunications Institute of Technology wilden oplossen. Ze introduceerden een nieuwe methode genaamd SeCo-SBIR, die werkt als een slimme vertaler en een strenge leraar in één. In plaats van de robot alleen maar te dwingen om schetsen uit het hoofd te leren, vonden ze een manier om de bestaande kennis van de robot over taal te gebruiken om zijn visie te sturen. Ze voegden ook een vangnet toe om ervoor te zorgen dat de robot niet te zelfverzekerd wordt over zijn nieuwe trucjes en zijn oorspronkelijke, algemene kennis vergeet.

De Twee-Delige Goocheltruc

Het paper stelt een framework voor dat de verwarring van de robot oplost met behulp van twee hoofdbegrippen, die de auteurs "text-guided prompting" en "consistency constraints" noemen.

1. De Taalvertaler (Text-Guided Prompting)
Stel je voor dat de robot een bibliotheek met boeken over dieren heeft. Wanneer hij een foto ziet, kijkt hij meestal alleen naar het plaatje. Maar met SeCo-SBIR vertellen de onderzoekers de robot: "Lees eerst het woord 'hond' in je bibliotheek voordat je naar de schets kijkt."

In technische termen gebruikt de robot zijn text encoder (het deel dat woorden begrijpt) om een prompt te verwerken. In plaats van alleen nieuwe visuele patronen vanaf nul te leren, neemt de robot de betekenis van het woord "hond" van de tekstkant en geeft deze laag voor laag door aan de visuele kant. Denk aan een gids (de tekst) die de geschiedenis van een monument toefluistert aan een fotograaf (de visuele encoder) voordat deze een foto maakt. Omdat de gids al een algemeen concept van "hond" kent door miljoenen boeken te hebben gelezen, hoeft de fotograaf niet elke individuele hond die hij ooit heeft gezien uit het hoofd te leren. Hij hoeft alleen maar het idee van een hond te begrijpen. Dit hels de robot om een schets van een nieuw hondenras te herkennen dat hij nog nooit heeft gezien, omdat de "gids" weet hoe honden er over het algemeen uitzien, ongeacht de specifieke foto.

2. De Strenge Leraar (Consistency Constraint)
Nu leert de robot deze nieuwe trucjes. Er is een risico dat hij te enthousiast wordt en begint te hallucineren, waarbij hij denkt dat elk viervoetig dier een "golden retriever" is, omdat dat is wat hij het vaakst zag tijdens de training. Om dit te voorkomen, voegden de onderzoekers een "Strenge Leraar" toe.

Deze leraar werkt door de robot twee versies van dezelfde foto te laten zien: één die lichtelijk aangepast is (geaugmenteerd) en één die schoon is. Het "bevroren" brein van de robot (de originele, ongetrainde versie) kijkt naar de aangepaste foto, terwijl het "lerende" brein naar de schone versie kijkt. De leraar eist dat beide breinen het eens zijn over wat het object is, ook al kijken ze naar verschillende versies ervan. Als het lerende brein begint af te dwalen en zegt: "Dit is een kat!", simpelweg omdat hij een kat zag tijdens de training, dan zegt de leraar: "Nee, kijk naar het originele brein; dat ziet nog steeds een hond. Je moet consistent blijven." Dit houdt de robot geworteld in zijn oorspronkelijke, algemene kennis, waardoor voorkomen wordt dat hij overfit op de specifieke trainingsdata.

Wat Ze Vonden

De onderzoekers hebben dit nieuwe systeem getest op drie verschillende "examens" (datasets) die standaard zijn in het vakgebied: Sketchy-Ext, TU-Berlin-Ext en QuickDraw-Ext. Deze tests omvatten het koppelen van schetsen aan foto's over verschillende categorieën heen, inclus\u0020met categorieën die de robot nog nooit eerder heeft gezien.

De resultaten waren zeer indrukwekkend. Op de TU-Berlin-Ext test, die bekend staat als zeer lastig omdat het veel vergelijkbare categorieën heeft, verbeterde SeCo-SBIR de nauwkeurigheid met 5,6% vergeleken met de vorige beste methode. In de "across-dataset" test, waarbij de robot getraind werd op één set tekeningen en getest werd op een volledig andere set, verbeterde de nauwkeurigheid met 6,8%.

Het paper suggereert dat deze aanpak werkt omdat het twee tegenovergestelde behoeften in balans brengt: het past de robot voldoende aan om de rommelige wereld van schetsen te begrijpen, maar behoudt zijn algemene kennis zodat hij niet vergeet hoe hij met nieuwe categorieën moet omgaan. De auteurs ontdekten dat elk onderdeel van hun systeem — de taalvertaler, de strenge leraar en de specifieke wiskunde die zij gebruikten om deze ideeën te combineren — bijdroeg aan het succes. Wanneer ze een enkel onderdeel verwijderden, daalde de prestatie van de robot.

Kortom, SeCo-SBIR laat zien dat door taal te gebruiken om visie te sturen en een "reality check" toe te voegen om overmatig leren te voorkomen, we AI kunnen bouwen die veel beter is in het herkennen van de wereld via ruwe schetsen, zelfs wanneer de objecten voor de eerste keer worden gezien.

Technische Samenvatting: SeCo-SBIR

Probleemstelling

Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) streeft naar het ophalen van natuurlijke afbeeldingen uit een database met behulp van handgetekende schets-queries, specif으로 gericht op categorieën die niet tijdens de training zijn gezien. Deze taak staat voor een fundamentele spanning: het model moet diep genoeg adapteren om de aanzienlijke cross-modale kloof tussen abstracte schetsen en gedetailleerde foto's te overbruggen, maar elke extra flexibiliteit die wordt geïntroduceerd voor adaptatie brengt het risico met zich mee dat het model overfit op de geziene trainingscategorieën, waardoor de zero-shot generalisatiecapaciteiten van pre-trained Vision-Language Models (VLMs) zoals CLIP worden aangetast.

Bestaande prompt learning-methoden voor ZS-SBIR hebben vaak moeite met deze afweging. Benaderingen zoals CLIP-AT behandelen de tekst- en visuele takken in isolatie, terwijl bidirectionele methoden zoals SpLIP tokens uitwisselen maar een gebrek hebben aan expliciete regularisatie tegen overfitting op geziene klassen. Gevolgelijk driften de geadapteerde representaties vaak af naar de distributie van geziene categorieën, waardoor ze falen in de generalisatie naar ongeziene klassen, met name in Generalized ZS-SBIR (GZS-SBIR) settings waar geziene en ongeziene klassen samen voorkomen in de retrieval-gallery.

Methodologie: SeCo-SBIR

De auteurs stellen SeCo-SBIR (Semantically Consistent Prompt Learning) voor, een framework dat is ontworpen om de spanning tussen adaptatie en generalisatie op te lossen via twee complementaire mechanismen: tekstgestuurde multi-modale prompting en een perturbatie-gebaseerde consistentie-constraint.

1. Tekstgestuurde Multi-Modale Prompting

In tegenstelling tot standaard visuele prompt tuning, waarbij geleerde tokens puur binnen de visuele encoder worden geleerd, stuurt SeCo-SBIR de leerbare prompt-vectoren eerst door de tekst encoder.

Mechanisme: Leerbare prompt-vectoren vervangen de initiële tokens van een vaste tekstuele template (bijv. "a photo of a [category]"). Deze vectoren passeren de transformer-lagen van de tekst encoder.
Cross-Modale Koppeling: Bij elke laag $l$ van de tekst encoder worden de tussenliggende prompt-representaties geprojecteerd in de embedding-ruimte van de visuele encoder via een leerbare koppelingsfunctie ( $F_l$ ).
Diepe Injectie: Deze geprojecteerde representaties worden geïnjecteerd als visuele prompts in de overeenkomstige lagen van de visuele encoder (voor zowel de foto- als de schets-tak).
Ratio: Omdat de tekst encoder robuuste, abstracte categorie-niveau semantiek heeft geleerd van grootschalige taalkundige supervisie, injecteert dit mechanisme inherent overdraagbare semantische kennis direct in het visuele pad. Dit stelt het model in staat om te adapteren aan de schets-foto domeinkloof, terwijl de adaptatie geworteld blijft in taal in plaats van in de visuele statistieken van geziene klassen.

2. Perturbatie-gebaseerde Consistentie-constraint

Om te voorkomen dat de leerbare componenten (prompts en koppelingsfuncties) overfitten op geziene categorieën, introduceren de auteurs een regularisatiestrategie die het geadapteerde model uitlijnt met een bevroren (frozen) CLIP-referentie.

Asymmetrisch Ontwerp: Voor een gegeven input wordt een geaugmenteerde view (via random erasing, cropping, flipping) gevoerd aan een bevroren CLIP visuele encoder, terwijl de schone input wordt gevoerd aan de trainbare (gepromptte + geadapteerde) encoder.
InfoNCE Objectief: Het model wordt getraind met een asymmetrische InfoNCE loss. De trainbare tak moet embeddings produceren die dichter bij de representatie van de geaugmenteerde input van de bevroren tak liggen dan bij de representaties van andere samples in de batch.
Ratio: Dit voorkomt triviale oplossingen (waarbij het trainbare model simpelweg het bevroren model kopieert) door de trainbare tak te dwingen input-invariante representaties te leren die structureel compatibel blijven met de generaliseerbare feature-ruimte van CLIP onder perturbatie.

3. Trainingsdoelstelling

Het framework maakt gebruik van een multi-objective loss functie die de volgende combineert:

Cross-Modale Triplet Loss: Trekt overeenkomende schets-foto paren naar elkaar toe en duwt niet-overeenkomende paren uit elkaar.
NT-Xent Loss: Biedt dichte batch-niveau contrastieve supervisie voor zowel de schets-naar-foto als de foto-naar-schets richting.
Classificatie Loss: Stemt visuele features af met klasse-prototypes afgeleid van de prompt-geaugmenteerde tekst encoder.
Consistentie Loss: De perturbatie-gebaseerde InfoNCE loss zoals hierboven beschreven.

Belangrijkste Bijdragen

Tekstgestuurde Multi-Modale Prompting: Een nieuw mechanisme dat visuele prompts afleidt uit de tussenliggende representaties van de tekst encoder via leerbare koppelingsfuncties. Dit benut reeds bestaande, taal-gewortelde categorie-semantiek om het visuele pad aan te passen, wat inherent de generalisatie naar ongeziene klassen bevordert.
Perturbatie-gebaseerde Consistentie-constraint: Een regularisatietechniek die gebruikmaakt van een asymmetrische InfoNCE objectief om geadapteerde embeddings uit te lijnen met een bevroren CLIP-referentie. Dit mitigeert effectief het risico op overfitting op geziene categorieën dat wordt geïntroduceerd door de extra leerbare parameters.
State-of-the-Art Prestaties: De integratie van deze componenten met lichtgewicht adapters bereikt superieure resultaten over alle standaard ZS-SBIR benchmarks.

Experimentele Resultaten

De auteurs hebben SeCo-SBIR geëvalueerd op drie standaard benchmarks: Sketchy-Ext, TU-Berlin-Ext, en QuickDraw-Ext, onder categorische, gegeneraliseerde (GZS-SBIR), en across-dataset instellingen.

Categorische ZS-SBIR: SeCo-SBIR behaalde de hoogste scores op alle metrieken over alle datasets. Met name op TU-Berlin-Ext (gevoelig voor overfitting vanwege fijnmazige categorieën), overtrof het de vorige beste (SpLIP) met +5.6% mAP@all en +6.5% P@100. Op QuickDraw-Ext verbeterde het mAP@all met +1.8%.
Generalized ZS-SBIR (GZS-SBIR): In settings waar geziene en ongeziene klassen gemengd zijn in de gallery, toonde SeCo-SBIR significante winsten, met een verbetering van +4.6% in mAP@all en +7.5% in P@100 op TU-Berlin-Ext vergeleken met SpLIP, wat wijst op een effectieve mitigatie van de bias van geziene klassen.
Across-Dataset ZS-SBIR: Wanneer getraind op Sketchy-Ext en getest op TU-Berlin-Ext en QuickDraw-Ext zonder fine-tuning, verbeterde het model mAP@all met +6.8% op QuickDraw-Ext, wat de robuustheid tegen domeinverschuivingen benadrukt.
Ablatie-studies: Experimenten bevestigden dat elk onderdeel niet-redundant bijdraagt. De tekstgestuurde koppeling leverde een +1.4% winst op ten opzichte van onafhankelijke prompting, en de consistentie-constraint was cruciaal; het voorkwam een prestatiedaling van 2.6% wanneer het werd verwijderd. Het asymmetrische perturbatie-ontwerp werd ook gevalideerd als superieur aan het gebruik van schone inputs voor beide takken.

Betekenis en Claims

Het artikel claimt dat SeCo-SBIR succesvol de kernspanning in ZS-SBIR oplost: de noodzaak voor diepe adaptatie versus de noodzaak voor zero-shot generalisatie. Door adaptatie te kanaliseren via taal-gewortelde kennis (via de tekst encoder) en de leerbare componenten expliciet te beperken (via de consistentie-constraint), past het framework het model aan de schets-foto domein aan zonder de generalisatiecapaciteiten van de pre-trained CLIP backbone op te offeren.

De auteurs positioneren dit werk als een principiële aanpak voor het inzetten van vision-language modellen in scenario's die generalisatie naar ongeziene categorieën vereisen, waarbij zij aantonen dat semantische consistentie en perturbatie-gebaseerde regularisatie effectieve strategieën zijn om de beperkingen van huidige prompt learning-paradigma's in cross-modale retrieval te overwinnen.