Technische Samenvatting: Ontkoppeling van Eindpunt- en Semantische Transitie-Learning voor Zero-Shot Samengestelde Beeldretrieval (DeCIR)

1. Probleemdefinitie

Zero-Shot Samengestelde Beeldretrieval (ZS-CIR) heeft als doel een doelbeeld op te halen op basis van een referentiebeeld en een tekstuele modificatie, zonder afhankelijk te zijn van handmatig geannoteerde referentie-instructie-doeltriplets. Hoewel projectie-gebaseerde methoden (die beelden afbeelden op tekst-embeddings met modellen zoals CLIP) een lichtgewicht inferentie bieden zonder Large Language Models (LLM's), kampen ze met een semantische transitie-bottleneck.

Bij deze methoden inferreert de tekstencoder impliciet de transitie van de bron (referentie) naar het doel. Zonder expliciete supervisie voor deze transitie valt het model echter vaak in een "eindpunt-korte weg". In plaats van een bron-geconditioneerde semantische transitie te leren (bijvoorbeeld: "verander het groene vogeltje in twee groene vogeltjes"), behandelt het model de modificatietekst louter als een kenmerkhint aan de doelkant (bijvoorbeeld: "twee vogeltjes"), waarbij elk beeld wordt opgehaald dat overeenkomt met het doelkenmerk, terwijl de specifieke beperkingen van het referentiebeeld worden genegeerd.

Bovendien identificeren de auteurs dat het naïef toevoegen van supervisie voor semantische transitie aan dezelfde low-rank tekstadapter die wordt gebruikt voor eindpunt-uitlijning, een optimalisatieconflict creëert. De doelstellingen van het uitlijnen van de query met het doeleindpunt en het uitlijnen van de instructie met de semantische verplaatsing (transitie) concurreren om dezelfde parameterruimte, wat leidt tot gradiëntinterferentie die de prestaties verslechtert.

2. Methodologie: DeCIR

Het voorgestelde framework, DeCIR, adresseert deze problemen door conflictbewuste eindpunt-transitie-ontkoppeling en een nieuwe samenvoegstrategie.

2.1 Supervisieconstructie via LLM's (Alleen Offline)

Om het gebrek aan geannoteerde triplets te overwinnen, gebruikt DeCIR een LLM (specifiek glm-4-flash) offline om standaard beeld-omschrijvingparen (uit CC3M) om te zetten in gestructureerde forward/reverse edit-tuples.

• Forward Edit: Genereert een doelomschrijving en een instructie die een specifieke visuele verandering van de bron beschrijft.
• Reverse Edit: Genereert een instructie die de forward-verandering ongedaan maakt.
• Dit proces creëert een bidirectioneel supervisiessignaal $(I_{ref}, c_{src}, t_{fwd}, c_{tgt}, t_{rev})$ zonder dat menselijke annotatie of LLM-gebruik tijdens inferentie vereist is.

2.2 Ontkoppelde Trainingsarchitectuur

DeCIR maakt gebruik van twee gespecialiseerde low-rank tekstadaptertakken over de CLIP tekstencoder, geïnitieerd vanuit dezelfde gewichten maar apart geoptimaliseerd:

1. Eindpunt-uitlijningstak ($E^{end}_T$): Geoptimaliseerd met een contrastieve loss ($L_{end}$) om de samengestelde query-embedding uit te lijnen met de gegenereerde doelomschrijvings-embedding. Deze tak definieert de inzetbare retrievelpad.
2. Semantische Transitietak ($E^{trans}_T$): Geoptimaliseerd met een transitie-loss ($L_{trans}$) om de forward-instructie uit te lijnen met de semantische verplaatsingsvector ($\delta = f^{trans}_{tgt} - f_{src}$) en de reverse-instructie met $-\delta$. Deze tak leert de richting van de verandering te coderen in plaats van het uiteindelijke eindpunt.

De visuele encoder LoRA-parameters en het inversienetwerk ($f_\phi$) worden uitsluitend bijgewerkt door de eindpunt-tak, zodat de retrievelpad stabiel blijft terwijl de transitietak zich specialiseert in instructiesemantiek.

2.3 Low-Rank Directional Merge (LRDM)

Om een lichtgewicht inferentiepijplijn te behouden, worden de twee takken na training samengevoegd tot een enkele inzetbare adapter.

• Gedeelde Basis: Beide takken delen de low-rank output-basismatrix $B_\ell$.
• Coëfficiëntsamenvoeging: De tak-specifieke coëfficiëntmatrices ($A^{end}_\ell$ en $A^{trans}_\ell$) worden lineair samengevoegd: $A^{merge}_\ell = (1-\alpha)A^{end}_\ell + \alpha A^{trans}_\ell$.
• Asymmetrie: De eindpunt-tak behoudt de backbone-structuur, terwijl de transitietak semantische transitiecoëfficiënten bijdraagt binnen die gedeelde basis. De transitietak wordt na het samenvoegen verwijderd, wat resulteert in een enkele tekstadapter voor inferentie.

3. Belangrijkste Bijdragen

1. Identificatie van de Semantische Transitie-bottleneck: Het artikel toont aan dat projectie-gebaseerde ZS-CIR faalt bij complexe bewerkingen omdat de tekstencoder de modificatie reduceert tot een hint aan de doelkant, waardoor bron-geconditioneerd bewijs verloren gaat.
2. Diagnose van Optimalisatieconflict: Door middel van layer-wise gradiëntprobing tonen de auteurs aan dat gezamenlijke optimalisatie van eindpunt-uitlijning en semantische transitie-uitlijning in een gedeelde adapter aanzienlijke gradiëntinterferentie veroorzaakt, met name in diepere transformerlagen.
3. Ontkoppeld Leerframework: DeCIR introduceert een trainingsstrategie die eindpunt- en transitielearing scheidt in gespecialiseerde takken om interferentie te voorkomen.
4. Low-Rank Directional Merge (LRDM): Een samenvoegtechniek die semantische transitiegevoeligheid in de projectie-gebaseerde pijplijn vouwt zonder de inferentiecomplexiteit te verhogen of LLM's tijdens runtime te vereisen.

4. Experimentele Resultaten

DeCIR werd geëvalueerd op vier benchmarks: CIRR (disambiguatie van natuurlijke beelden), CIRCO (ranking van meerdere doelen), FashionIQ (modebewerkingen) en GeneCIS (conditionele retrieval).

• Prestaties: DeCIR presteert consequent beter dan state-of-the-art projectie-gebaseerde methoden (zoals Pic2Word, DistillCIR, Slerp) en benadert of overtreft LLM-gebaseerde methoden (zoals CIReVL) in retrievalechtheid.
  • Op CIRCO (ViT-L/14) behaalde DeCIR 21,3% mAP@5, een verbetering van 2,6% ten opzichte van de vorige beste (DistillCIR).
  • Op CIRR bereikte DeCIR 33,4% R@1 (ViT-L/14), wat DistillCIR (32,3%) overtreft.
  • Op FashionIQ behaalde het de beste gemiddelde prestatie over de categorieën jurk, overhemd en top.
• Ablatiestudies:
  • Ontkoppeling: Gezamenlijke training van beide doelstellingen in een gedeelde adapter presteerde slechter dan alleen retrieval-training, wat het gradiëntconflict bevestigt. Ontkoppelde training gevolgd door LRDM leverde de beste resultaten op.
  • Samenvoeging: LRDM presteerde beter dan generieke modelsamenvoegstrategieën (Task Arithmetic, TIES, DARE), wat het ontwerp van asymmetrische coëfficiëntsamenvoeging valideert.
  • Inferentie-efficiëntie: DeCIR behoudt een lichtgewicht inferentieprofiel vergelijkbaar met andere projectie-gebaseerde methoden (ongeveer 467M parameters) en vereist geen LLM's of redeneerlussen tijdens inferentie, in tegenstelling tot zware LLM-gebaseerde benaderingen.

5. Betekenis en Claims

Het artikel claimt dat DeCIR de afweging tussen de efficiëntie van projectie-gebaseerde methoden en de redeneercapaciteiten van LLM-gebaseerde methoden succesvol oplost. Door expliciet de bron-naar-doel semantische transitie te modelleren via ontkoppeld leren en samenvoegen, stelt DeCIR lichtgewicht modellen in staat complexe, fijnmazige bewerkingen uit te voeren zonder in eindpunt-korte wegen te vervallen.

De auteurs benadrukken dat hun aanpak de afweging tussen nauwkeurigheid en efficiëntie in ZS-CIR verbetert. Ze claimen niet om LLM-gebaseerd redeneren volledig te vervangen, maar tonen aan dat met de juiste supervisieconstructie en architectonische ontkoppeling projectie-gebaseerde modellen concurrerende prestaties kunnen behalen terwijl ze de inzetvoordelen behouden van lichtgewicht en LLM-vrij tijdens inferentie. Het werk is beperkt tot projectie-gebaseerde settings en vertrouwt op offline LLM-supervisie voor het genereren van trainingsdata.