Structured Semantic Supervision for Annotation-Scarce Composed Image Retrieval

Technische Samenvatting: Gestructureerde Semantische Supervisie voor Annotatie-arme Composed Image Retrieval

Probleemstelling
Composed Image Retrieval (CIR) beoogt een doelafbeelding te identificeren door een referentieafbeelding te combineren met een tekstuele modificatie (bijv. "dezelfde jurk maar dan rood"). Hoewel bestaande gesuperviseerde methoden een hoge prestatie leveren, vertrouwen zij sterk op handmatig geannoteerde triplets $\langle I_r, T_m, I_t \rangle$, die kostbaar zijn om te produceren en schaars zijn in doeldomeinen. Zero-shot CIR (ZS-CIR) methoden proberen dit te omzeilen door gebruik te maken van vooraf getrainde visuele-talige modellen (VLM's), maar zij worden geconfronteerd met drie primaire obstakels bij de implementatie in een doeldomein: (1) zwak geconstrangeerde gegenereerde supervisie die geen structuur heeft, (2) grove single-vector representaties die het behoud van het onderwerp verstrengelen met attribuutveranderingen, en (3) de hoge computationele kosten van online grote-model query-verbetering. Dit artikel adresseert de uitdaging van het aanpassen van CIR-modellen aan ongeannoteerde doeldomeinen zonder handmatige triplets, met een focus op fijnmazige attribuut-editing en open-domein retrieval.

Methodologie
Het voorgestelde framework introduceert een gestructureerde semantische supervisie-pipeline die ongeannoteerde afbeeldingen uit het doeldomein omzet in herbruikbare trainingssignalen, gevolgd door een multi-vector retrieval architectuur.

1. Constructie van Gestructureerde Semantische Ankers:
   Een offline Semantische Agent (gebruikmakend van een VLM/LLM zoals Qwen-VL-Flash) verwerkt ongeannoteerde afbeeldingen om "semantische ankers" te genereren. In tegenstelling tot vrije tekstbeschrijvingen zijn deze ankers veld-geconstrangeerd en bestaan ze uit drie componenten:

   • Globale Beschrijving ($\bar{d}$): Een beknopte, template-geconstrangeerde zin die het kernonderwerp en de onderscheidende context beschrijft.
   • Attribuutset ($p$): Een lijst van aanpasbare visuele eigenschappen (bijv. kleur, materiaal, mouwlengte).
   • Entiteitsset ($e$): Saliente objecten of onderdelen die behouden of expliciet gewijzigd moeten worden.
     De agent hanteert een kwaliteitscontrole-loop met behulp van nearest-neighbor visuele referenties om consistentie te waarborgen, hallucinaties te filteren en de volledigheid van de velden te valideren.

2. Doelanker-inferentie:
   Voor een gegeven referentieafbeelding $I_r$ en een gegenereerde modificatietekst $T_m$, extraheert het systeem een doelanker $\hat{A}_t = \Gamma(A(I_r), T_m)$. Dit geïnferreerde anker specificeert de verwachte semantiek na de bewerking, wat een pseudo-triplet $\tilde{\tau} = (I_r, T_m, \hat{A}_t)$ vormt voor training. De modificatieteksten worden in drie vormen gegenereerd: single-attribute, multi-attribute, en colloquiale beschrijvend, om diverse bewerkingsintenties te dekken.

3. Query-Slot-gestuurde Multi-Vector Representatie:
   Het retrieval-model maakt gebruik van een bevroren CLIP-backbone en een leerbare Query-Transformer die image patch- en text token-features aggregeert in $N_q$ query-slots ($Z = [z_1, \dots, z_{N_q}]$). Deze multi-vector benadering stelt het model in staat om het behoud van het onderwerp te scheiden van de attribuutvariatie. Een similarity filtering mechanisme selecteert de meest relevante slots voor specifieke semantische velden (beschrijving, attribuut, entiteit) om ruis uit irrelevante regio's te verminderen.

4. Multi-View Masked Joint Learning:
   Om het model af te stemmen op real-world retrieval condities, wordt een multi-view trainingsstrategie toegepast:

   • Text-Mask: Maskeert alle tekst om stabiele, enkel op beeld gebaseerde gallery-representaties te leren.
   • Img-Mask: Maskeert willekeurig image patches terwijl de attribuuttekst behouden blijft om attribuut-bewuste alignment af te dwingen.
   • No-Mask: Gebruikt volledige referentie en tekst om online query-modellering te simuleren.
     De algemene doelstelling combineert de preservation loss, de gestructureerde anker-alignment loss (over de velden beschrijving, attribuut en entiteit) en de multi-view consistentie loss.

Belangrijkste Bijdragen

1. Gestructureerd Generatie-Supervisie Protocol: Een herbruikbaar framework dat gegenereerde supervisie organiseert in een veld-geconstrangeerd schema (globale beschrijving, attributen, entiteiten) via een offline agent, wat doeldomein-adaptatie mogelijk maakt zonder handmatige triplets.
2. Query-Slot-gestuurde Multi-Vector Representatie: Een cross-modale architectuur die de semantiek van het onderwerp expliciet ontkoppelt van attribuutvariaties door gebruik te maken van meerdere retrieval vectoren en similarity filtering, waarmee de verstrengelingsproblemen van single-vector embeddings worden aangepakt.
3. Multi-View Masked Consistentie Training: Een trainingsstrategie die de gallery-indexering, attribuut-bewust leren en online query-modellering afstemt onder verschillende informatie-zichtbaarheid condities (Text-Mask, Img-Mask, No-Mask).

Experimentele Resultaten
De methode werd geëvalueerd op FashionIQ (fijnmazige mode) en CIRR (open-domein) onder een zero-shot doeldomein-adaptatie setting.

• FashionIQ: De aanpak behaalde een gemiddelde R@10 van 31.81 en een R@50 van 53.07 (met gebruik van ViT-L/14). Dit presteerde respectievelijk 2.42 en 2.19 procentpunten beter dan de sterkste zero-shot baseline (FTI4CIR). Het overtrof ook andere ZS-CIR methoden zoals SEARLE en LinCIR.
• CIRR: Het model behaalde R@1 = 24.20, R@5 = 55.18, R@10 = 66.71, en R@50 = 90.30. Hoewel het iets zwakker is dan sommige gesuperviseerde methoden op top-rank relationele precisie, demonstreerde het een sterke brede recall (hoge R@50), concurrerend met methoden zoals LDRE en FTI4CIR.
• Ablatie-studies: Het verwijderen van de gestructureerde ankercomponenten (Onderwerp, Attribuut, Context) of de multi-view masking strategieën resulteerde in significante prestatieverliezen, wat de noodzaak van gestructureerde supervisie en de specifieke trainingsviews bevestigt.

Betekenis en Claims
Het artikel claimt dat gestructureerde semantische supervisie een beheersbare route biedt voor het aanpassen van CIR-modellen aan doeldomeinen waar geannoteerde triplets niet beschikbaar zijn. Door gegenereerde data te organiseren in expliciete velden en een multi-vector representatie te gebruiken, handelt de methode effectief complexe attribuut-editing af (met name in mode) zonder dat daarvoor dure handmatige annotatie of zware online inferentie nodig is.

De auteurs merken bescheiden op dat hoewel het framework uitblinkt in attribuut-gestuurde en lokale detail-editing, het uitdagingen ervaart bij edities die complexe relationele redenering, viewpoint veranderingen of abstracte intentie vereisen. De betekenis ligt in de verschuiving van het paradigma van "de schaal van gegenereerde data" naar "de structuur van gegenereerde supervisie", wat een lichtgewicht, offline-adaptieve oplossing biedt voor interactieve visuele zoekopdrachten en e-commerce scenario's waar gebruikersfeedback vaak specifiek is voor attributen.