Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

Technische Samenvatting: CLARA voor Composed Image Retrieval

Probleemstelling
Composed Image Retrieval (CIR) stelt gebruikers in staat om een collectie te doorzoeken met behulp van een referentieafbeelding en een modificatietekst (bijv. "een outfit zoals deze, maar dan formeler"). Huidige systemen gaan er doorgaans van uit dat een gecomponeerde query naar één enkele doelafbeelding leidt, wat wordt geëvalueerd via Recall@K tegen een enkele annotatie. De auteurs stellen echter dat deze aanname gebrekkig is: een gecomponeerde query specificeert zelden een unieke afbeelding, maar definieert eerder een "regio in het collectief". Het specifieke lid dat de gebruiker beoogt, is door de query alleen niet eenduidig te bepalen.

Recente pogingen om deze ambiguïteit aan te pakken, verpakken een retriever in een conformal prediction-laag om een kandidaatenset terug te geven met een gegarandeerde dekking waarschijnlijkheid, waarbij tekstuele vragen worden gebruikt om resterende onzekerheid op te lossen. De auteurs identificeren twee kritieke tekortkomingen in deze bestaande aanpak:

1. Verlies van Dekkingsgarantie: Garanties voor conformal dekking rusten op data-uitwisselbaarheid. Wanneer een systeem adaptief een vraag stelt en zijn overtuiging bijwerkt op basis van het antwoord, induceert dit een feedback covariate shift. Het opnieuw toepassen van de oorspronkelijke kalibratiedrempel op de bijgewerkte overtuiging maakt de dekkingsgarantie ongeldig, waardoor de werkelijke dekking na de eerste beurt aanzienlijk onder het nominale niveau zakt.
2. Inefficiënte en Circulaire Verduidelijking: Tekstuele vragen zijn een kanaal met een lage bandbreedte voor het overbrengen van fijnmazige visuele onderscheiden (gezichtspunt, textuur, stijl). Bovendien gebruiken huidige tekstgebaseerde beleidsregels een multimodaal model om gebruikersantwoorden te voorspellen om vragen te selecteren, wat een circulaire evaluatie creëert waarbij het model zowel de vragen stelt als beantwoordt, wat potentieel optimaliseert voor een simulator in plaats van voor echte gebruikers.

Methodologie: CLARA
De auteurs stellen CLARA voor (CLArification by Rendering Alternatives), een framework dat tekstgebaseerde ondervraging vervangt door generatieve visuele disambiguatie, terwijl een wiskundig geldige dekkingsgarantie over interactierondes behouden blijft.

1. Gekalibreerde Overtuiging en Conformal Sets:
   Het systeem houdt een overtuigingsverdeling $p(I|q, h_m)$ bij over het collectief, geconditioneerd op de query en de interactiegeschiedenis. Het gebruikt adaptive conformal prediction om een kandidaatenset $C$ te genereren waarvoor de kans dat de ware doelafbeelding in de set zit ten minste $1-\alpha$ is. De grootte van deze set dient als een directe maatstaf voor ambiguïteit.

2. Generatieve Visuele Disambiguatie (Tonen, niet Vragen):
   Wanneer de kandidaatenset te groot is (wat duidt op hoge ambiguïteit), stelt CLARA geen tekstuele vraag. In plaats daarvan:

   • Modus-partitionering: Het clustert de kandidaatenset in $k$ modi op basis van interpreteerbare ambiguïteitsassen (behouden attributen, gewijzigde attributen, gezichtspunt, achtergrond).
   • Genereren-om-te-dekken: Het selecteert een subset van modi om een submodulair dekking-diversiteitsdoel te maximaliseren, waardoor het panel de volledige overtuigingsruimte vertegenwoordigt zonder redundantie.
   • Renderen en Snappen: Een conditioneel diffusiemodel rendert een prototype-afbeelding voor elke geselecteerde modus. Cruciaal is dat elk gerenderd prototype wordt "gesnapt" naar het dichtstbijzijnde echte exemplaar uit het collectief (het medoïde van de modus). De gebruiker ziet de gerenderde afbeelding, maar selecteert de echte subset uit het collectief. Dit zorgt ervoor dat artefacten in de generatie de voorspellingsset niet kunnen opblazen of de dekkingsgarantie kunnen schenden.
   • Gebruikersinteractie: De gebruiker kiest simpelweg het prototype dat het dichtst bij hun intentie ligt. Dit biedt een hoogwaardig, model-vrij signaal.

3. Turn-Valid Dekking via Selectie-Herweging:
   Om de feedback covariate shift aan te pakken die wordt veroorzaakt door de selectie van de gebruiker, behandelt CLARA elke verhelderingsronde als een expliciete verschuiving in de query-distributie.

   • Het berekent een likelihood ratio gewicht $w_m$ op basis van de selectiegeschiedenis van de gebruiker en het selectiemodel $\pi$.
   • Het past weighted split conformal prediction toe, waarbij de nonconformity scores tijdens de kalibratie worden hergewogen.
   • Proposition 1 bewijst dat met deze herweging de dekkingsgarantie ($Pr(IT \in C) \geq 1-\alpha$) standhoudt bij elke vastgestelde beurt, en niet alleen bij de eerste.

4. Overtuigingsupdate:
   Bij een keuze van de gebruiker wordt de overtuiging bijgewerkt via een logische herweging die de vorige overtuiging vermenigvuldigt met een zachte lidmaatschaps-likelihood (die een ondergrens heeft om te voorkomen dat het ware doel wordt weggegooid bij een foutieve keuze) en een semantische update die de gekozen modus aan de tekstuele query toevoegt.

Belangrijkste Bijdragen

• Identificatie van Feedback Covariate Shift: Het paper demonstreert dat standaard conformal dekking in interactieve CIR faalt na de eerste beurt door adaptieve selectie en stelt een theoretisch framework voor om dit te corrigeren via selectie-hergewogen conformal prediction.
• Generatieve Visuele Disambiguatie: CLARA vervangt tekstuele vragen door een dekking-gestuurde rendering van kandidaat-modi. Dit elimineert de "antwoord-model" circulariteit en maakt gebruik van de hoge bandbreedte van visuele signalen voor fijnmazige onderscheidingen.
• Turn-Valid Garantie: De auteurs leveren een bewijs dat hun gewogen conformal benadering de nominale dekking over alle interactierondes heen handhaaft.
• AmbiCIR-V: Een nieuw evaluatieprotocol en dataset-extensie die open-domein en fashion benchmarks verenigt met visuele verhelderingsmetrieken, inclus\u0026lt; de dekking door beurten en ambiguïteitsas-annotaties.

Resultaten
Experimenten werden uitgevoerd op open-domein (CIRR), multi-positieve (CIRCO) en fashion (FashionIQ) benchmarks.

• Single-Turn Prestaties: CLARA is statistisch gelijkwaardig aan state-of-the-art single-turn methoden, wat bevestigt dat de resolutie-laag kosteloos is voor precieze queries.
• Dekkingstabiliteit: In tegenstelling tot "naïeve" interactieve conformal methoden die tot 10 procentpunten onder de nominale dekking zakken tegen de derde beurt, behoudt CLARA de nominale dekking (ca. 90%) over alle rondes en ambiguïteitsassen.
• Interactie-efficiëntie: CLARA bereikt het doel in minder rondes dan het sterkste tekstvraag-beleid (EIG-TEXT). Het voordeel is het grootst bij gezichtspunt- en attribuut-ambiguïteit, waar visuele selectie beter presteert dan tekstuele ondervraging.
• Menselijke Studie: Een studie met 30 deelnemers bevestigde dat echte gebruikers voorkeur geven aan visuele panelen boven tekstvragen en een hoger succespercentage bereiken met minder beurten, wat de gesimuleerde resultaten valideert.
• Robuustheid: Het systeem blijft robuust tegen gebruikersfouten (soft likelihood updates) en adversariële keuzes, waarbij de dekking gracieus degradeert in plaats van catastrofaal.

Betekenis en Claims
Het paper claimt het vakgebied vooruit te helpen door CIR te herformuleren van een "één-query-één-doel" taak naar een probleem van "gekalibreerde intentie-resolutie". De betekenis ligt in:

1. Theoretische Rigor: Het vaststellen dat interactieve retrieval een feedback covariate shift probleem is en het bieden van de eerste methode die een geldige dekking garandeert bij elke beurt van de interactie.
2. Praktisch Gebruiksgemak: Het demonstreren dat "tonen" (visuele rendering) een superieur kanaal is aan "vragen" (tekst) voor het oplossen van visuele ambiguïteit, waardoor de noodzaak voor complexe, potentieel bevooroordeelde antwoordmodellen wordt weggenomen.
3. Getrouwe Synthese: Het introduceren van een "snap-to-corpus" mechanisme dat het gebruik van generatieve modellen voor visualisatie mogelijk maakt zonder de statistische garanties van het retrieval-systeem te ondermijnen.

De auteurs concluderen dat het behandelen van retrieval als een visueel interactief, gekalibreerd proces — ambiguïteit meten, vastleggen wanneer men zeker is, en alternatieven tonen wanneer dat niet het geval is — een noodzakelijke stap is voorbij de huidige single-turn aannames.