Pix2Key: Controllable Open-Vocabulary Retrieval with Semantic Decomposition and Self-Supervised Visual Dictionary Learning

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je op zoek bent naar een jurk in een online winkel. Je vindt er eentje die je leuk vindt, maar je wilt hem graag in het blauw hebben, zonder strepen, en met korte mouwen.

In het verleden was dit zoeken lastig voor computers. Als je de foto van de jurk en je tekst ("blauw, geen strepen, korte mouwen") aan een computer gaf, raakte de computer vaak de draad kwijt. Hij kon vergeten dat je de vorm van de jurk wilde behouden, of hij gaf je tien jurken die allemaal precies hetzelfde waren (saai), of hij gaf je jurken die wel blauw waren, maar dan met lange mouwen en bloemenpatroon (niet wat je wilde).

Deze paper introduceert Pix2Key, een slimme nieuwe manier om dit zoeken op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Van "Grote Tekst" naar "Duidelijke Kaartjes" (De Woordenlijst)

Stel je voor dat je een oude manier gebruikt waarbij je de computer alleen een lange zin geeft: "Ik wil deze jurk, maar dan blauw en zonder strepen." De computer moet dan raden wat belangrijk is en wat niet.

Pix2Key doet het anders. Het maakt voor elke foto een visuele woordenlijst (een "dictionary").

In plaats van een lange zin, maakt de computer een lijstje met kaartjes voor de foto:
- Kleur: Roze
- Patroon: Strepen
- Lengte: Midi
- Mouwen: Lang

Wanneer jij nu zegt "Ik wil het blauw en zonder strepen", maakt het systeem een aanvraag-kaartje met duidelijke instructies:

✅ Wilt: Kleur = Blauw
❌ Wil niet: Patroon = Strepen
➡️ Blijf zo: Lengte = Midi (dit is een "anker", iets dat je niet wilt veranderen).

Hierdoor weet de computer precies wat je wilt veranderen en wat je wilt behouden. Het is alsof je een bouwpakket hebt met duidelijke instructies, in plaats van een vaag verhaal.

2. De "Zelflerende Oefenboer" (V-Dict-AE)

Soms kan de computer de details van een foto niet goed zien (bijvoorbeeld: is het een lichte roze of een diepe roze?). Om dit op te lossen, heeft Pix2Key een speciale trainingstool genaamd V-Dict-AE.

Stel je voor dat je een kunstenaar bent die een foto moet tekenen, maar je mag alleen de foto zelf zien, geen tekst. De computer probeert de foto te "ontleden" in de kaartjes (woordenlijst) en bouwt de foto daarna weer op uit die kaartjes. Als de opgebouwde foto er niet uitziet als het origineel, weet hij dat hij de kaartjes niet goed heeft gemaakt.

Door dit duizenden keren te oefenen (zonder dat iemand hem moet vertellen wat de juiste antwoorden zijn), leert de computer de kleine details veel beter te zien. Hij wordt een expert in het onderscheiden van "lichtblauw" versus "donkerblauw", zelfs zonder dat hij ooit een menselijke les heeft gehad over kleding.

3. De "Diverse Lijst" (Geen Klonen)

Een ander probleem bij zoeken is dat computers vaak tien keer dezelfde jurk laten zien, alleen met een heel klein verschil. Dat is saai.

Pix2Key heeft een slimme herordening-truc. Stel je voor dat je een lijst met 100 resultaten hebt. De computer kijkt niet alleen naar welke jurk het beste past, maar ook naar hoe verschillend ze van elkaar zijn.

Als de top 5 allemaal exact dezelfde jurk is, schuift hij een paar andere, net zo goede jurken naar voren die er anders uitzien (bijvoorbeeld een andere stof of een andere snit), zodat jij een mooie, gevarieerde keuze hebt.

Waarom is dit belangrijk?

Minder gedoe: Je hoeft niet te raden hoe je je zoekopdracht moet formuleren.
Beter resultaat: De computer begrijpt precies wat je wilt veranderen en wat je wilt behouden.
Meer keuze: Je krijgt een lijst met verschillende opties, in plaats van 50 exacte kopieën.

Kortom: Pix2Key maakt van een computer die "raadt" wat je bedoelt, een computer die precies luistert naar je wensen, net als een zeer attente verkoper die een notitieblok bijhoudt met al je specifieke eisen.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Samengestelde Beeldretrieval (Composed Image Retrieval - CIR) is een multimodaal zoekprobleem waarbij een query bestaat uit een referentiebeeld en een natuurlijke taal-bewerking (edit). Het doel is om beelden te vinden die de gewenste wijziging toepassen terwijl andere relevante visuele inhoud behouden blijft.

Bestaande methoden hebben echter twee belangrijke beperkingen:

Supervisie-afhankelijkheid: Klassieke methoden vertrouwen op gesuperviseerde triplets (referentie, edit, doelbeeld). Dit is duur om te schalen en kan leiden tot het verliezen van fijne details omdat het model een enkele "fusie" moet leren die niet transparant is.
Zero-shot beperkingen: Recentere zero-shot benaderingen (zoals CIReVL) captionen het referentiebeeld en herschrijven de tekst op basis van de edit. Dit creëert een "verliesrijke bottleneck": kleine details (zoals de vorm van de halslijn of een lokaal patroon) gaan vaak verloren. Bovendien leiden ranking op basis van één samengevoegde embedding vaak tot homogene resultaten (near-duplicates) in plaats van diverse, geldige opties.

Daarnaast ontbreekt er vaak een goede evaluatiemethode die zowel de intentie van de gebruiker als de diversiteit van de resultaten kan meten, vooral in datasets waar de "gouden standaard" (target) niet altijd de enige juiste oplossing is.

2. Methodologie: Pix2Key

Pix2Key lost deze problemen op door een training-vrij framework te introduceren dat beelden en queries vertaalt naar een open-vocabulary visueel woordenboek (visual dictionary).

A. Visuele Woordenboeken (Open-Vocabulary Visual Dictionaries)

In plaats van een beeld te vertalen naar één token of één zin, wordt elk beeld omgezet in een gestructureerde lijst van attributen (key-value paren):

Voor kandidaatbeelden: Een beeld wordt omgezet in een dictionary $D_{img} = \{(k_m, v_m)\}$ , waarbij $k$ een attribuut is (bijv. kleur, patroon) en $v$ de waarde (bijv. blauw, gestreept).
Voor de query: De query wordt een getekend woordenboek $D_q = \{(k_m, v_m, p_m)\}$ $D_{q} = {(k_{m}, v_{m}, p_{m})}$ . De polariteit $p_m$ $p_{m}$ geeft de intentie aan:
- $+1$ : Gewenst attribuut (voeg toe/versterk).
- $-1$: Te vermijden attribuut (verwijder/contradict).
- $0$: Open-set anker (niet expliciet beperkt, maar behoud context van het referentiebeeld).

Deze aanpak maakt de zoekopdracht tot een matching-probleem tussen twee gestructureerde beschrijvingen in plaats van een fragiele cross-modale fusie.

B. Intentie-bewuste Relevantie Scoring

De relevantie van een kandidaat wordt berekend door de overeenkomst te meten tussen de query-dictionary en de kandidaat-dictionary in een gedeelde tekst-embeddingruimte (via een OpenCLIP text encoder):
$R(i) = \alpha p_i + \beta o_i - (1 - \alpha) n_i$
Waarbij $p_i$ de match is voor gewenste attributen, $o_i$ voor open ankers, en $n_i$ voor te vermijden attributen. Dit stelt de gebruiker in staat om de balans tussen het naleven van constraints en het behoud van context te sturen.

C. Diversiteitsbewuste Reranking

Om te voorkomen dat de top-resultaten near-duplicates zijn, past Pix2Key een diversity-aware reranking toe (gebaseerd op MMR - Maximum Marginal Relevance). Dit selecteert een lijst van resultaten die een optimale balans vinden tussen relevantie voor de query en onderlinge diversiteit, zodat er meerdere plausible opties worden aangeboden.

D. V-Dict-AE: Zelftoezichtende Pretraining

Om de kwaliteit van de visuele woordenboeken te verbeteren zonder CIR-specifieke triplets, introduceert het paper V-Dict-AE (Visual Dictionary Autoencoder).

Dit is een zelftoezichtende module die beelden encodeert naar compacte "slots" (tokenreeksen).
De training gebruikt alleen ongelabelde afbeeldingen en een bevroren diffusiemodel (Stable Diffusion) als decoder.
Het doel is om de afbeelding te reconstrueren uit de gegenereerde slots, wat het model dwingt om fijne visuele details te behouden die essentieel zijn voor reconstructie.
Na training worden deze geoptimaliseerde slots gebruikt om de dictionary-extractie te verbeteren.

3. Belangrijkste Bijdragen

Pix2Key Framework: Een training-vrij CIR-systeem dat queries en kandidaten representeert als open-vocabulary visuele woordenboeken, waardoor fijne intentie-constraints expliciet en controleerbaar worden.
Diversiteitsbewuste Reranking: Een mechanisme dat geïntegreerd is met de dictionary-representatie, waardoor een afweging mogelijk is tussen strikte constraint-naleving en result-diversiteit.
V-Dict-AE: Een zelftoezichtende autoencoder die de dictionary-representaties verfijnt zonder CIR-triplets, gebruikmakend van reconstructie via een diffusiemodel.
DFMM-Compose Benchmark: Een nieuw afgeleid benchmark (gebaseerd op DeepFashion-MM) dat gestructureerde attributenlabels combineert met gegenereerde edits. Dit maakt het mogelijk om niet alleen te meten of het doelbeeld wordt gevonden, maar ook hoe consistent de top-lijst de attributen respecteert en hoe divers de resultaten zijn.

4. Resultaten

De methode is geëvalueerd op drie benchmarks: FashionIQ, CIRR, en het nieuwe DFMM-Compose.

Prestaties (Recall@K): Pix2Key presteert consistent beter dan bestaande training-vrije methoden (zoals CIReVL) en naieve fusie-baselines.
- Op FashionIQ verbetert Pix2Key de Recall@10 met tot 3,2 punten ten opzichte van de beste zero-shot baselines.
- Het toevoegen van V-Dict-AE levert een extra verbetering van 2,3 punten op.
- Op CIRR bereikt Pix2Key+V-Dict-AE de beste resultaten voor Recall@1, @5, @10 en @50 van alle vergeleken methoden.
Intentie-uitlijning (AC@50): Op DFMM-Compose toont Pix2Key een aanzienlijk hogere "Attribute Consistency" (AC@50). Dit betekent dat de gegenereerde lijsten niet alleen het doelbeeld vinden, maar dat de hele lijst beter voldoet aan de specifieke attributen die de gebruiker wilde wijzigen of behouden.
Diversiteit (ILD@50): Dankzij de MMR-reranking behoudt Pix2Key een hoge intra-lijst diversiteit (ILD@50) zonder in te leveren op relevantie, in tegenstelling tot caption-based methoden die vaak vastlopen in near-duplicates.

5. Betekenis en Conclusie

Pix2Key vertegenwoordigt een verschuiving in CIR van het leren van een complexe fusiefunctie naar het gebruik van semantische decompositie en gestructureerde matching.

Controleerbaarheid: Door intenties te scheiden in "toevoegen", "verwijderen" en "behouden", krijgt de gebruiker meer controle over het zoekproces.
Interpreteerbaarheid: Het gebruik van woordenboeken maakt het zoekproces transparanter dan het werken met zwarte-doos embeddings.
Schaalbaarheid: Omdat het framework training-vrij is (of slechts zelftoezichtende pretraining vereist), is het makkelijker toe te passen op nieuwe domeinen zonder grote hoeveelheden gelabelde CIR-data.
Toepassingsgebied: De methode is zeer relevant voor e-commerce (bijv. "vind dit jurkje, maar dan in blauw en zonder strepen"), creatief ontwerp en visuele contentorganisatie, waar fijne details en diversiteit cruciaal zijn.

Kortom, Pix2Key biedt een praktische, schaalbare en nauwkeurige oplossing voor intentie-bewuste samengestelde beeldretrieval, die de kloof overbrugt tussen ruwe visuele input en precieze, gestructureerde zoekopdrachten.