IntRec: Intent-based Retrieval with Contrastive Refinement

Each language version is independently generated for its own context, not a direct translation.

IntRec: De slimme zoekhond die luistert naar jouw aanwijzingen

Stel je voor dat je een zeer specifieke zoektocht hebt in een enorme, rommelige schuur vol met duizenden voorwerpen. Je zegt tegen je robot-assistent: "Haal die kleine rode paraplu met het bloemenpatroon voor me."

De meeste huidige robots (die we 'open-vocabulary detectoren' noemen) kijken naar de schuur, zien tien rode paraplu's met bloemen, en kiezen er willekeurig één uit. Ze zeggen: "Hier is je paraplu!" Maar dat is de verkeerde. De robot is verward en kan niet begrijpen waarom jij die ene specifieke paraplu wilt. Ze werken als een eenmalige gok: één vraag, één antwoord, en als het fout is, is het gedaan.

IntRec is een nieuwe manier om deze robots slimmer te maken. Het is alsof je de robot een geheugen geeft en leert om te leren van fouten.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Intent State": Een dubbel geheugen

In plaats van alleen te onthouden wat je zegt, onthoudt IntRec twee dingen tegelijk:

Het "Ja-lijstje" (Positieve ankers): Dit zijn de dingen die je bevestigt. "Ja, dit is een paraplu, en ja, hij is rood."
Het "Nee-lijstje" (Negatieve beperkingen): Dit is het nieuwe, slimme deel. Als de robot de verkeerde paraplu pakt en jij zegt: "Nee, dat is niet de goede, die is te groot," dan schrijft de robot dat direct op in zijn Nee-lijstje.

Het is alsof je een detective bent die niet alleen zoekt naar de dader, maar ook een lijstje maakt van mensen die het niet kunnen zijn.

2. De "Contrastieve" zoektocht: Het spel van "Warmer/Kouder"

Normaal gesproken zoekt een robot alleen naar wat het meest lijkt op je vraag. IntRec doet iets anders: het vergelijkt.

Het kijkt naar alle objecten in de kamer en zegt:

"Hoeveel lijkt dit op mijn Ja-lijstje?" (Hoe meer, hoe beter).
"Hoeveel lijkt dit op mijn Nee-lijstje?" (Hoe meer, hoe slechter).

Als er twee paraplu's zijn die precies hetzelfde lijken, maar jij hebt de ene al afgekeurd, dan krijgt die ene een zware straf in de score. De andere paraplu, die nog niet is afgekeurd, springt direct naar de top van de lijst.

3. Het gesprek: Van "Gokken" naar "Verstevigen"

Het proces verloopt als een kort gesprek:

Jij vraagt: "De kleine bloemenparaplu."
De robot probeert: "Is dit het?" (Hij pakt de verkeerde).
Jij corrigeert: "Nee, dat is de grote. Ik wil de kleine."
De robot update: Hij stopt de grote paraplu in zijn Nee-lijstje. Hij herrekent alles.
Het resultaat: "Ah! Nu snap ik het. De kleine is de enige die overblijft die niet op de 'grote' lijst staat." Hij pakt de juiste.

Dit gebeurt in een fractie van een seconde (minder dan 30 milliseconde extra), maar het maakt een enorm verschil.

Waarom is dit zo belangrijk?

In de echte wereld zijn dingen vaak verwarrend. Denk aan een foto met twintig identieke kopjes op een tafel. Als je vraagt om "dat kopje links van de koffiepot", kunnen de oude robots in de war raken omdat alle kopjes er hetzelfde uitzien.

IntRec is als een mens die meedenkt. Als jij zegt "Niet dat ene, maar het andere," begrijpt de robot direct dat hij moet zoeken naar iets dat anders is dan het eerste, maar nog steeds past bij je oorspronkelijke idee.

Kortom:
IntRec is geen robot die alleen luistert naar één zin. Het is een robot die luistert, onthoudt wat je afkeurt, en zijn zoektocht verfijnt tot hij precies weet wat jij bedoelt. Het maakt de interactie tussen mens en machine veel natuurlijker en nauwkeuriger, vooral in rommelige situaties waar de verwarring groot is.

Each language version is independently generated for its own context, not a direct translation.

Titel: IntRec: Intent-based Retrieval with Contrastive Refinement

Auteurs: Pourya Shamsolmoali et al. (Universiteit van York, Shanghai Jiao Tong University, ÉTS Montreal, ECNU)
Publicatie: AAMAS 2026

1. Het Probleem

Moderne visuele systemen worden geacht complexe gebruikersintenties te begrijpen om specifieke objecten in open-wereld omgevingen te lokaliseren (object retrieval). Bestaande open-vocabulary detectoren (zoals Grounding DINO, OWL-ViT) opereren echter volgens een eenmalige ("one-shot") benadering:

Ze matchen één tekstuele query met kandidaat-regio's in een afbeelding en retourneren de regio met de hoogste overeenkomstsscore.
Beperking: Deze systemen zijn "stateless" (geheugenloos). Als de query ambigu is (bijv. "de kleinere rode paraplu" in een scène met meerdere rode paraplu's) of als er veel visueel vergelijkbare objecten zijn, falen deze modellen vaak. Ze kunnen geen gebruikmaken van gebruikersfeedback om hun voorspelling te verfijnen.
Er is geen mechanisme om negatieve feedback (bijv. "niet deze, maar die") te integreren om distractors uit te sluiten.

2. Methodologie: Het IntRec Framework

IntRec introduceert een interactief, stateful framework dat objectretrieval omvormt tot een iteratief leerproces. De kern van de methode bestaat uit drie componenten:

A. Intent State (IS) – Het Geheugen

In plaats van intentie te coderen als één enkel vector, onderhoudt IntRec een Intent State (IS) die gedurende de interactie evolueert. Deze staat bestaat uit twee geheugensets:

Positieve Ankers ( $Z_{pos}$ ): Embeddings van bevestigde cues (de initiële query en door de gebruiker bevestigde objecten).
Negatieve Constraints ( $Z_{neg}$ ): Embeddings van verworpen hypothesen (objecten die de gebruiker heeft afgewezen).

De initiële staat ( $IS_0$ ) wordt gevormd door de tekstuele prompt en eventuele referentieafbeeldingen te coderen (via CLIP) en te fuseren.

B. Contrastieve Rangschikking (Contrastive Alignment)

Voor elke interactieronde $t$ worden alle kandidaat-regio's ( $R$ ) opnieuw gerangschikt op basis van de huidige $IS_t$ . De score voor een regio $r_j$ wordt berekend als:
$Score(r_j | IS_t) = \max_{z^+ \in Z_{pos}} \cos(r_j, z^+) - \lambda \cdot \max_{z^- \in Z_{neg}} \cos(r_j, z^-)$

Het eerste term maximaliseert de gelijkenis met positieve ankers.
Het tweede term (met gewicht $\lambda$ ) straft regio's die lijken op verworpen voorbeelden.
Dit creëert een "vallei" in de embedding-ruimte rondom niet-gewenste concepten, waardoor fijne onderscheiding mogelijk wordt tussen visueel vergelijkbare objecten.

C. Interactieve Update Cyclus

Het model presenteert de top-k kandidaten aan de gebruiker.
De gebruiker geeft feedback:
- Positief: Bevestigt een object (voegt toe aan $Z_{pos}$ ) of geeft een nieuwe tekstuele nuance.
- Negatief: Wijs een object af (voegt toe aan $Z_{neg}$ ).
De $IS$ wordt bijgewerkt en het model herhaalt de rangschikking. Dit proces stopt wanneer het doelobject is bevestigd.

3. Belangrijkste Bijdragen

Formulering van Intentie als Stateful Learning: IntRec breekt met de traditionele stateless benadering door gebruikersfeedback expliciet te modelleren als een dynamisch geheugen van positieve en negatieve voorbeelden.
Contrastieve Verfijning: Het introduceren van een rangschikkingsfunctie die zowel positieve overeenkomst als negatieve straf combineert, wat leidt tot superieure disambiguatie in rommelige scènes.
Theoretische Garantie: De auteurs tonen wiskundig aan dat hun contrastieve mechanisme ambiguïteit kan oplossen zolang de penalty-weight ( $\lambda$ ) voldoende is om de overlap tussen het doelobject en de distractor te overwinnen.
Efficiëntie: Het systeem voegt minder dan 30 ms latentie toe per interactie, wat het geschikt maakt voor real-time toepassingen.

4. Resultaten en Experimenten

De auteurs evalueren IntRec op grote schaal benchmarks (LVIS, Objects365) en een speciaal samengestelde LVIS-Ambiguous dataset (gevuld met visueel vergelijkbare objecten).

Algemene Prestaties (LVIS): IntRec bereikt 35.4 AP, wat een verbetering is ten opzichte van state-of-the-art methoden zoals OVMR (+2.3), CoDet (+3.7) en CAKE (+0.5).
Ambiguïteit Oplossing (LVIS-Ambiguous):
- De baseline (Turn-0) scoort slecht (14.8 AP) vanwege de verwarring tussen vergelijkbare objecten.
- Na één enkele correctieve feedback (Turn-1) stijgt de score naar 22.7 AP (+7.9 verbetering). Dit toont aan dat het model snel kan herstellen van initiële fouten.
Transfer Learning: Zelfs zonder fine-tuning op nieuwe datasets (Object365, COCO), presteert IntRec beter dan bestaande methoden, vooral op zeldzame objectklassen.
Ablatie Studies:
- Het verwijderen van de Intent State (stateless variant) leidt tot een dramatische daling van -10.8 AP, wat aantoont dat het geheugen cruciaal is.
- Het uitschakelen van negatieve feedback kost -5.9 AP, wat de noodzaak van contrastief leren bevestigt.
- Een lokale rangschikking (per object) werkt beter dan een globale toewijzing (Sinkhorn-algoritme).

5. Betekenis en Toekomst

Betekenis:
IntRec lost een fundamentele beperking op in open-vocabulary detectie: het onvermogen om om te gaan met ambiguïteit en distractors. Door interactie en feedback te integreren, verandert het systeem van een statische "zoekmachine" in een dynamische "assistent" die de intentie van de gebruiker verfijnt. Dit is essentieel voor toepassingen zoals mens-robot samenwerking, AR/VR en geavanceerde visuele zoekopdrachten.

Beperkingen en Toekomstig Werk:
Het huidige systeem is afhankelijk van de initiële set kandidaat-regio's gegenereerd door de detector. Als de detector het doelobject helemaal niet detecteert (bijv. door zware occlusie of te klein formaat), kan de interactieve verfijning het niet herstellen. Toekomstig werk richt zich op het dynamisch updaten of genereren van nieuwe kandidaat-bounding boxes op basis van gebruikersfeedback.

Conclusie:
IntRec demonstreert dat het toevoegen van een simpele, contrastieve feedback-loop aan bestaande vision-language modellen de prestaties aanzienlijk kan verbeteren, vooral in complexe, ambiguïe scenario's, zonder extra supervisie of zware computatievereisten.