IntRec: Intent-based Retrieval with Contrastive Refinement

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ IntRec : Le Détective qui Écoute (et qui se Souvient)

Imaginez que vous demandez à un robot de vous trouver un objet précis dans une pièce très encombrée. Vous lui dites : « Trouve-moi le petit parapluie avec des fleurs. »

Le robot regarde autour de lui, voit dix parapluies, et vous en montre un.
Problème : Ce n'est pas le bon ! C'est un parapluie rouge, sans fleurs.
Réaction classique : Un robot normal vous dirait : « Désolé, c'est le meilleur que j'ai trouvé avec votre demande. » et il s'arrête là. Il est comme un lecteur de code-barres : il scanne une fois, donne une réponse, et oublie tout.

IntRec, c'est différent. C'est comme si vous aviez un détective privé qui travaille avec vous.

1. Le Problème : La "Photo Instantanée" vs La "Conversation"

Les systèmes actuels (comme les détecteurs de la dernière génération) fonctionnent en "une seule prise". Ils regardent la photo, comparent votre phrase à tous les objets, et choisissent celui qui ressemble le plus.

L'analogie : C'est comme si vous deviez choisir un ami sur une photo de groupe en une seconde, sans pouvoir dire "Non, pas celui-là, c'est mon cousin". Si deux personnes se ressemblent, le système se trompe et ne peut pas se corriger.

2. La Solution : L'État d'Intention (Le "Carnet de Notes")

IntRec introduit une idée géniale : l'État d'Intention.
Imaginez que le détective a un carnet de notes (une mémoire) qu'il remplit au fur et à mesure de la conversation.

La Page "OUI" (Ancres positives) : Quand vous dites "Oui, c'est ça !", le détective colle une photo de l'objet dans la colonne "C'est ça".
La Page "NON" (Contraintes négatives) : Quand vous dites "Non, ce n'est pas ça, c'est trop grand", le détective ne jette pas la photo. Il la colle dans la colonne "À éviter" et écrit en gros : "PAS ÇA !".

C'est ce carnet de notes qui change tout. Au lieu de juste chercher ce qui ressemble à votre demande, le système cherche ce qui ressemble à votre demande MAIS qui ne ressemble pas à ce que vous avez rejeté.

3. Comment ça marche ? (La Danse du "Pour" et du "Contre")

Voici le processus, étape par étape, avec une analogie de tri de pommes :

Le premier tour (La devinette) : Vous dites "Je veux la pomme rouge". Le robot vous montre une pomme.
Le feedback (La correction) : Vous dites : "Non, celle-là est trop petite. Je veux la grosse pomme rouge."
L'ajustement (Le tri) :
- Le robot garde l'idée de "Pomme Rouge" (Page OUI).
- Il ajoute "Pas de petite pomme" dans sa liste d'interdits (Page NON).
- Il regarde à nouveau toutes les pommes. Cette fois, il élimine automatiquement toutes les petites pommes (même si elles sont rouges) parce qu'elles sont dans la liste "NON".
Le résultat : Il vous montre la grosse pomme rouge. C'est gagné !

4. Pourquoi c'est révolutionnaire ?

Dans les scènes complexes (comme un marché avec des centaines de fruits similaires), les robots classiques sont perdus. Ils voient 50 pommes rouges et ne savent pas laquelle vous voulez.

IntRec, grâce à son carnet de notes, devient un expert de la nuance.

L'analogie : C'est la différence entre un GPS qui vous dit "Tournez à droite" et vous laisse dans un cul-de-sac, et un GPS intelligent qui dit : "Tournez à droite... oh, vous avez pris la mauvaise rue ? Pas de problème, je vais recalculer en sachant que vous ne voulez pas aller vers le centre-ville, mais vers la plage."

5. Les Résultats en Chiffres (Sans le jargon)

Les chercheurs ont testé ce système sur des bases de données géantes (comme LVIS) :

Avant la correction : Le système se trompe souvent, comme les autres.
Après une seule correction : Son taux de réussite explose. Il devient beaucoup plus précis que les meilleurs systèmes actuels.
La vitesse : Cette conversation supplémentaire ne prend que 30 millisecondes. C'est plus rapide que le clignement d'un œil !

En Résumé

IntRec, c'est passer d'un système qui devine une fois pour toutes, à un système qui apprend de vos erreurs en temps réel.

Au lieu de dire "Je ne comprends pas", il dit : "Ah, je vois, ce n'est pas celui-là. Je vais noter 'pas celui-là' et chercher ailleurs." C'est une intelligence plus humaine, plus flexible, et capable de résoudre les énigmes visuelles les plus compliquées en écoutant simplement ce que vous lui dites.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La récupération d'objets spécifiés par l'utilisateur au sein de scènes complexes reste une tâche difficile, particulièrement lorsque les requêtes sont ambiguës ou impliquent plusieurs objets similaires (par exemple, « la plus petite tasse à gauche » dans une image contenant de nombreuses tasses).

Les détecteurs à vocabulaire ouvert (Open-Vocabulary Detectors - OVD) actuels fonctionnent selon un paradigme « one-shot » (en un seul coup) :

Ils alignent une requête textuelle avec des régions candidates d'une image.
Ils sélectionnent la région ayant le score de similarité le plus élevé.
Limitation majeure : Ces modèles sont « sans état » (stateless). Ils ne peuvent pas intégrer de retours d'information utilisateur pour corriger les erreurs. Dans des scènes encombrées avec des distracteurs visuellement similaires, ils produisent souvent des prédictions incorrectes ou incohérentes car ils manquent de profondeur temporelle ou logique pour résoudre l'ambiguïté.

2. Méthodologie : Le cadre IntRec

Les auteurs proposent IntRec, un cadre de recherche d'objets interactif et étatique (stateful) qui affine les prédictions grâce aux retours utilisateur.

A. L'État d'Intention (Intent State - IS)

Au cœur du système se trouve une structure de mémoire appelée État d'Intention (IS), qui évolue au fil des interactions. Contrairement à un simple vecteur d'embedding, l'IS maintient deux ensembles de mémoires :

Ancres positives ( $Z_{pos}$ ) : Stockent les indices confirmés par l'utilisateur (ex: la requête initiale, une image de référence, ou un objet confirmé).
Contraintes négatives ( $Z_{neg}$ ) : Stockent les hypothèses rejetées (ex: les objets que l'utilisateur a explicitement refusés).

L'IS initial ( $IS_0$ ) est créé en fusionnant l'embedding du texte et de l'image de référence (si fourni) via un CLIP.

B. Fonction de classement contrastif

Pour chaque tour d'interaction $t$ , le modèle classe les régions candidates $R$ en utilisant une fonction de score contrastif. Pour une région candidate $r_j$ , le score est défini par :

$S(r_j | IS_t) = \max_{z^+ \in Z_{pos}^{(t)}} \cos(r_j, z^+) - \lambda \cdot \max_{z^- \in Z_{neg}^{(t)}} \cos(r_j, z^-)$

Le premier terme maximise la similarité avec les ancres positives.
Le second terme pénalise la similarité avec les exemplaires négatifs (les objets rejetés), contrôlé par le poids $\lambda$ .
Cela permet de créer des « vallées » de scores autour des concepts non désirés dans l'espace d'embedding, facilitant la discrimination fine.

C. Boucle interactive et mise à jour

Le processus suit une boucle itérative :

Le modèle présente les meilleures candidats à l'utilisateur.
L'utilisateur fournit un feedback :
- Négatif : L'objet rejeté est ajouté à $Z_{neg}$ .
- Positif (confirmation ou raffinement) : L'objet confirmé ou une nouvelle description textuelle est ajouté à $Z_{pos}$ .
L'État d'Intention est mis à jour, et le modèle re-classe toutes les régions candidates en utilisant la nouvelle fonction de score.
Ce cycle se répète jusqu'à ce que l'objet cible soit confirmé.

3. Contributions Clés

Reformulation du problème : Passage d'une recherche d'objets statique à un problème d'affinement d'intention interactif, résolvant les ambiguïtés des détecteurs à vocabulaire ouvert.
Module d'État d'Intention (IS) : Une architecture de mémoire qui accumule dynamiquement les indices positifs et les contraintes négatives, permettant au modèle d'apprendre de ses erreurs sans supervision supplémentaire.
Fonction de classement contrastif : Un mécanisme qui utilise simultanément la similarité positive et la dissimilarité négative pour distinguer des objets visuellement très proches.
Preuve théorique : Les auteurs démontrent mathématiquement que leur mécanisme contrastif garantit la résolution de l'ambiguïté dès qu'un feedback négatif est fourni sur un distracteur, à condition que le poids de pénalité $\lambda$ soit approprié.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks LVIS et Objects365, avec une attention particulière sur la détection d'objets rares et les scénarios ambigus.

Performance Globale (LVIS) : IntRec atteint 35,4 AP (Average Precision), surpassant les méthodes de l'état de l'art comme OVMR (+2,3), CoDet (+3,7) et CAKE (+0,5).
Benchmark Ambigu (LVIS-Ambiguous) : Ce sous-ensemble contient des images où plusieurs objets similaires rendent la tâche difficile.
- Le modèle de base (Turn-0) obtient 14,8 AP.
- Après un seul tour de feedback correctif (Turn-1), la performance bondit à 22,7 AP (+7,9 points), démontrant une capacité exceptionnelle à récupérer des erreurs initiales.
Transfert (Zero-shot) : Sur Objects365 et COCO, le modèle montre une amélioration significative après correction, en particulier pour les classes rares.
Efficacité : Chaque interaction ajoute moins de 30 ms de latence (environ 15 % du temps d'inférence total) sur une carte GPU RTX 3090.
Qualité : Les visualisations montrent que IntRec produit des cartes d'attention plus nettes et localise précisément les objets, évitant les boîtes redondantes fréquentes chez les modèles de base.

5. Signification et Conclusion

Ce travail marque une avancée significative pour les systèmes de vision par ordinateur interactifs. Il démontre que l'intégration d'un mécanisme de mémoire étatique et d'un apprentissage par contraste (via le rejet) permet de surmonter les limites fondamentales des détecteurs actuels face à l'ambiguïté sémantique.

Limites et perspectives :
Le modèle dépend toujours de la qualité de la proposition initiale de régions (bounding boxes). Si le détecteur initial ne génère pas de boîte pour l'objet cible (ex: objet trop petit ou fortement occlus), le processus interactif ne peut pas le récupérer. Les auteurs prévoient d'explorer des mécanismes pour mettre à jour ou raffiner les propositions de candidats eux-mêmes en fonction des retours utilisateur dans les travaux futurs.

En résumé, IntRec transforme la recherche d'objets d'une tâche de correspondance unique en un dialogue collaboratif, offrant une précision bien supérieure dans des environnements réels et complexes.