💻 computer science

CIRCLED: A Multi-turn CIR Dataset with Consistent Dialogues across Domains

Het artikel introduceert CIRCLED, een grootschalige, hoogwaardige dataset voor multi-turn samengestelde afbeeldingsretrieval (MTCIR) die negen domeinen bestrijkt en de beperkingen van bestaande, op mode gerichte datasets aanpakt door dialoogconsistentie te waarborgen en een robuuste benchmark te bieden voor toekomstig onderzoek.

Oorspronkelijke auteurs: Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke outfit te vinden in een enorm, eindeloos warenhuis, maar je kunt het niet perfect in één zin beschrijven. Je weet dat je een "rode jurk" wilt, maar wanneer je de resultaten ziet, denk je: "Nee, dat is te fel. Ik wil het donkerder, met lange mouwen, en misschien een riem."

In de wereld van de informatica heet dit Multi-Turn Composed Image Retrieval (CIR). Het is een systeem waarbij je begint met een foto en een tekstbeschrijving, en vervolgens je zoekopdracht beurt voor beurt verfijnt totdat je precies vindt wat je wilt.

Het artikel introduceert een nieuw hulpmiddel genaamd CIRCLED om onderzoekers te helpen betere systemen te bouwen voor dit soort zoekopdrachten. Hieronder volgt een uiteenzetting van wat ze hebben gedaan, met gebruikmaking van eenvoudige analogieën.

Het Probleem: De "Gebroken Kaart"

Voor dit artikel hadden onderzoekers een dataset (een verzameling oefenproblemen) genaamd Multi-turn FashionIQ. Maar de auteurs zeggen dat deze oude dataset als een gebroken kaart was.

Het Probleem: In de oude dataset maakten de stappen om het antwoord te vinden niet altijd zin. Stel je voor dat je op zoek bent naar een "zwarte jurk".
- Beurt 1: Je vraagt om een "rode jurk".
- Beurt 2: Het systeem toont je een "kleurrijke feestjurk".
- Beurt 3: Je vraagt om een "zwarte jurk".
- De Glitch: De oude dataset bevatte soms stappen waarbij de zoekopdracht eigenlijk verder van het doel verwijderd raakte, of de instructies waren repetitieve onzin (zoals drie keer achter elkaar zeggen "maak het rood"). Het was als een GPS die je vertelde naar het noorden te rijden, dan naar het zuiden, en daarna weer naar het noorden, zonder je ooit dichter bij je bestemming te brengen.
De Beperking: De oude dataset had alleen kleding (mode). Het testte niet of het systeem een hond, een auto of een landschap kon vinden.

De Oplossing: CIRCLED (De "Perfecte Kompas")

De auteurs bouwden CIRCLED, een nieuwe dataset die fungeert als een perfect kompas.

Consistente Vooruitgang: In CIRCLED beweegt elke enkele stap in het gesprek je dichter bij het doel. Als het doel een "zwarte jurk" is, brengt elke beurt je iets dichter bij een zwarte jurk, zonder ooit af te dwalen.
Nieuwe Informatie: Elke keer als je spreekt, voeg je iets nieuws toe. Je herhaalt jezelf niet. Het is als een detective die aanwijzingen verzamelt: "Eerst is het een hond. Ten tweede is het een golden retriever. Ten derde draagt het een rode halsband." Elke aanwijzing voegt waarde toe.
Breder Horizont: Ze bleven niet alleen bij kleding hangen. Ze breidden de dataset uit om algemene items op te nemen (zoals in de CIRR- en CIRCO-datasets), zodat het systeem kan leren om naar van alles te zoeken, niet alleen naar mode.

Hoe Ze Het Bouwden: De "Robot Winkelassistent"

Om deze dataset te creëren, vroegen ze niet zomaar mensen om willekeurige gesprekken te schrijven. Ze gebruikten een slimme, geautomatiseerde pijplijn:

Het Startpunt: Ze namen bestaande zoekopdrachten met één beurt (één foto + één tekst).
De Simulatie: Ze gebruikten een krachtige AI (een LLM) om te fungeren als een "winkelassistent".
- De AI kijkt naar de zoekresultaten.
- Als het perfecte item niet bovenaan staat, kiest de AI het dichtstbijzijnde item dat het heeft gevonden.
- De AI schrijft vervolgens een nieuwe instructie over hoe dat "dichtstbijzijnde item" moet worden veranderd in het "perfecte item".
- Voorbeeld: "De jurk is rood, maar ik wil hem zwart. Voeg ook een riem toe."
De Kwaliteitscontrole (De Filters): Dit is het belangrijkste deel. Ze voerden de gesprekken door vier strenge filters om kwaliteit te waarborgen:
- Succesfilter: Vond de zoekopdracht het item uiteindelijk wel? Zo niet, gooi het weg.
- Multi-turn Filter: Duurde het echt langer dan één stap? Als het antwoord direct werd gevonden, is het geen "multi-turn" gesprek, dus gooi het weg.
- Rank-Consistentie Filter: Werden de zoekresultaten halverwege slechter? Als het "perfecte item" halverwege het gesprek verdween uit de top 10-lijst, is het gesprek gebroken. Gooi het weg.
- Geen-Herhaling Filter: Herhaalde de AI gewoon dezelfde woorden? Als de nieuwe instructie te veel leek op de oude, gooi het weg.

Het Resultaat: Een Enorme, Hoogwaardige Speelplaats

Het uiteindelijke resultaat is een dataset met 22.608 gesprekken (sessies).

Het is ongeveer twee keer zo groot als de vorige beste dataset.
Het bevat meer dan 200.000 afbeeldingen.
Het behandelt mode (jurken, overhemden) en algemene items (dieren, objecten).
De gesprekken variëren van 2 tot 6 beurten, met een gemiddelde van ongeveer 2,5 beurten.

Waarom Dit Belangrijk Is

De auteurs testten verschillende bestaande AI-methoden op deze nieuwe dataset. Ze ontdekten dat:

Tekst is Koning: In deze multi-turn gesprekken zijn de tekstuele instructies die je geeft veel belangrijker dan de referentieafbeeldingen die je toont.
Progressief Leren: De beste systemen zijn die welke het volledige gesprekshistorie kunnen onthouden, niet alleen het laatste wat je zei.
Een Nieuwe Standaard: Omdat CIRCLED consistent en van hoge kwaliteit is, biedt het onderzoekers een eerlijke manier om te testen of hun nieuwe "zoekrobots" echt slimmer worden of gewoon gokken.

Kortom, CIRCLED is een nieuwe, hoogwaardige trainingsomgeving die ervoor zorgt dat AI leert een logisch, stap-voor-stap gesprek te voeren om precies te vinden waar je naar op zoek bent, zonder in de war te raken of zichzelf te herhalen.

Technische Samenvatting: CIRCLED – Een Multi-turn CIR Dataset met Consistente Dialogen over Domeinen

1. Probleemstelling

Bestaand onderzoek naar Multi-Turn Composed Image Retrieval (MTCIR) staat voor twee kritieke beperkingen:

Inconsistente Dialoggeschiedenis: Huidige datasets, zoals Multi-turn FashionIQ, worden geconstrueerd door eenvoudig single-turn queries te concateneren. Deze aanpak garandeert niet dat tussenliggende beurten progressief de ground truth (GT) benaderen. Bijgevolg kunnen tussenliggende afbeeldingen en bijschriften afwijken van het doel, waardoor het onmogelijk is om de ophaalprestaties bij tussenliggende beurten te evalueren of realistisch iteratief zoekgedrag te modelleren.
Domeinbeperking: Vorig werk is bijna uitsluitend beperkt tot het mode-domein (bijv. jurken, overhemden), waardoor multi-turn CIR in algemene domeinen grotendeels onontgonnen blijft.

Deze beperkingen belemmeren de ontwikkeling van robuuste multi-turn CIR-systemen die zich kunnen aanpassen aan veranderende gebruikersintenties en diverse visuele contexten.

2. Methodologie

Dataset Constructie (CIRCLED)

De auteurs introduceren CIRCLED, een nieuwe dataset die is geconstrueerd door drie bestaande single-turn CIR-datasets uit te breiden: FashionIQ, CIRR en CIRCO. Het constructieproces omvat het genereren van multi-turn sessies die een gebruiker simuleren die zijn zoekopdracht verfijnt op basis van tussenresultaten.

Sessiegeneratie: Beginnend met een ground truth-afbeelding $Z$ $Z$ , genereert het proces een reeks beurten $\{(I_1, T_1), \dots, (I_L, T_L)\}$ ${(I_{1}, T_{1}), \dots, (I_{L}, T_{L})}$ .
- Beurt 1: Gebruikt de originele referentieafbeelding en het relatieve bijschrift uit de bron-dataset.
- Vervolgende Beurten: Als de GT niet voldoende wordt gerangschikt, selecteert een basis ophaalalgoritme de dichtstbijzijnde afbeelding uit de top- $K$ resultaten als nieuwe referentieafbeelding ( $I_l$ ). Vervolgens genereert een Vision-Language Model (VLM) een nieuw relatief bijschrift ( $T_l$ ) dat het verschil beschrijft tussen de geselecteerde afbeelding en de GT, terwijl herhaling van eerdere bijschriften expliciet wordt vermeden.
Basis Ophaalalgoritme: De auteurs maken gebruik van een uitgebreide versie van CIReVL (Karthik et al., 2024) om de sessiegeneratie te sturen. Deze pijplijn gebruikt:
- BLIP voor afbeeldingbijschriften.
- GPT-4o-mini voor het samenvoegen van bijschriften, het genereren van verschilbeschrijvingen en het updaten van queries.
- CLIP voor kenmerkextractie en vergelijkingsmatching.
- Het query-updatemechanisme aggregeert kenmerken van de geselecteerde afbeelding, niet-geselecteerde afbeeldingen en de samengevoegde tekst om de ophaling naar de GT te sturen.

Kwaliteitscontrolefilters

Om hoogwaardige, consistente dialogen te waarborgen, worden vier filters toegepast op de gegenereerde sessies:

Ophaalsucces-filter: Verwijdert sessies waarbij de GT nooit voorkomt in de top-10 kandidaten over 6 beurten.
Multi-turn-filter: Sluit sessies uit die slagen in de eerste beurt, zodat alleen echte multi-turn interacties (2+ beurten) worden behouden.
Rank-marge-filter ( $\epsilon$ -consistentie): Dwingt uit dat de GT-rang verbetert (of binnen een kleine marge $\epsilon=30$ blijft) bij elke beurt ( $r_{l+1} \le r_l + \epsilon$ ). Dit zorgt voor monotoon vooruitgang naar het doel.
Tekst-redundantiefilter ( $\tau$ -diversiteit): Zorgt ervoor dat relatieve bijschriften bij elke beurt nieuwe informatie bieden door de cosinusgelijkenis tussen nieuwe en eerdere bijschriften te beperken ( $\tau=0.8$ ).

Evaluatieprotocol

Het artikel stelt een beurt-voor-beurt evaluatiekader voor waarbij een ophaalalgoritme $S$ cumulatief wordt geëvalueerd. Voor een sessie van lengte $L$ ontvangt het algoritme bij beurt $l$ de geschiedenis $\{(I_1, T_1), \dots, (I_l, T_l)\}$ en voert een rang $r_l$ uit voor de GT.

Drie metrieken worden geïntroduceerd om verschillende aspecten van prestaties te vangen:

Hits@10 (beurt-voor-beurt): Het aandeel queries dat tegen beurt $l$ de top-10 bereikt.
Final Recall@10: Nauwkeurigheid met gebruik van alle beschikbare informatie bij de laatste beurt.
AUC over Hits@10: Het oppervlak onder de Hits@10-curve, wat convergentiesnelheid en vroege bereikbaarheid meet.

3. Belangrijkste Bijdragen

CIRCLED Dataset: Een grootschalige, multi-turn CIR-dataset met 22.608 sessies over negen subsets (die Mode en Algemene domeinen bestrijken). Het bevat 202.845 afbeeldingen en ondersteunt sessies van 2–6 beurten, wat de schaal en generaliteit van Multi-turn FashionIQ aanzienlijk overtreft.
Consistente Dialogstructuur: In tegenstelling tot eerdere datasets, dwingt CIRCLED $\epsilon$ -consistentie en $\tau$ -diversiteit af, zodat elke beurt progressief en informatief naar de ground truth beweegt. Dit maakt het mogelijk om de ophaalprestaties bij elke tussenliggende beurt te evalueren.
Brede Domeindekking: De dataset reikt verder dan mode en omvat algemene domeinen (via CIRR en CIRCO), wat onderzoek faciliteert naar multi-turn CIR voor diverse objecttypes en scène-modificaties.
Evaluatiekader: De introductie van beurt-voor-beurt metrieken (Hits@10, AUC) maakt een gedetailleerde analyse mogelijk van hoe goed methoden historische context benutten, in plaats van alleen de nauwkeurigheid van de laatste beurt te meten.

4. Experimentele Resultaten

De auteurs evalueerden verschillende basis-methoden op CIRCLED, waaronder Text-only, Image-only, Pic2Word, CIReVL en MagicLens.

Prestaties per beurt: Resultaten tonen aan dat de ophaalnauwkeurigheid over het algemeen verbetert met meer beurten, hoewel deze vaak verzadigt. MagicLens presteert sterk op data uit algemene domeinen (CIRCO), terwijl CIReVL uitblinkt in het mode-domein.
Modi: Text-only basissen presteren consequent beter dan Image-only basissen over alle subsets, wat aangeeft dat relatieve bijschriften in multi-turn situaties meer discriminerende informatie bevatten dan alleen referentieafbeeldingen.
Metricesensitiviteit: De AUC-metriek onthult prestatieverschillen die Final Recall@10 mogelijk mist. Bijvoorbeeld, op de CIRR-validatieset presteert CIReVL vanaf Beurt 2 beter dan Text-only, maar verlaagt zijn zwakkere prestatie in de eerste beurt zijn totale AUC, wat het belang benadrukt van het evalueren van de volledige traject.
Kwaliteitsvalidatie: Een LLM-as-a-Judge-evaluatie (met GPT-5-mini) bevestigde dat CIRCLED-sessies het hoogst scoren in Coherentie, Doelvoortgang en Algemene kwaliteit in vergelijking met ongefilterde sessies of eenvoudige concatenaties van single-turn datasets.

5. Betekenis en Claims

Het artikel beweert dat CIRCLED een praktische, hoogwaardige benchmark biedt die het gebrek aan geschiedenisconsistentie en domeindiversiteit in eerdere werken aanpakt. Door te waarborgen dat multi-turn dialogen coherent zijn en progressief convergeren naar het doel, maakt de dataset het mogelijk iteratief zoekgedrag te bestuderen dat eerder niet meetbaar was.

De auteurs benadrukken dat hun werk toekomstig onderzoek naar multi-turn CIR faciliteert door:

Een gestandaardiseerd evaluatiekader aan te bieden dat zowel de uiteindelijke nauwkeurigheid als de convergentiesnelheid vastlegt.
Een dataset te verschaffen die onderzoek ondersteunt buiten het mode-domein.
De ontwikkeling mogelijk te maken van systemen die visuele en tekstuele aanwijzingen effectief kunnen aggregeren over meerdere interactiebeurten.

De dataset en de code zijn publiek beschikbaar om reproduceerbaarheid en verdere vooruitgang op dit gebied te ondersteunen.