💻 computer science

Cross-Granularity Ranking Disagreement for Uncertainty-Aware Image-Text Retrieval

Ce document introduit le Cross-granularity Ranking Uncertainty (CRU), un cadre léger qui estime directement l'incertitude de recherche à partir des désaccords dans l'espace de classement entre les distributions d'appariement globales et locales afin d'améliorer la détection d'erreurs, le calibrage et la prédiction sélective dans la recherche d'images et de textes sans nécessiter de multiples passages avant.

Auteurs originaux : Wei Chen, Yuhang Chen

Publié 2026-08-07

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Chen, Yuhang Chen

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez dans une bibliothèque immense où chaque livre possède une image sur sa couverture, et chaque image possède une histoire écrite à côté. Votre travail consiste à trouver la correspondance parfaite : une image qui va avec une phrase spécifique, ou une phrase qui décrit une photo précise. C'est le monde de la recherche d'images et de textes, un super-pouvoir utilisé par les moteurs de recherche, les applications de shopping et les galeries d'art numérique pour connecter ce que nous voyons avec ce que nous lisons. Pendant longtemps, les ordinateurs sont devenus très doués pour cela, en utilisant des vues « globales » pour saisir l'ambiance générale d'une scène. Mais voici la partie délicate : parfois, même lorsqu'un ordinateur vous donne une liste de correspondances, il ne sait pas s'il a réellement raison. Il peut être super confiant mais totalement dans l'erreur, ou il peut être confus parce que deux images se ressemblent presque de manière identique. Dans le monde réel, savoir quand faire confiance à l'ordinateur est tout aussi important que d'obtenir la réponse elle-même. Si un moteur de recherche peut dire : « Je suis assez sûr de celui-ci, mais je devine totalement pour celui-là », il devient un outil bien plus utile.

C'est exactement le problème que Wei Chen et Yuhang Chen abordent dans leur nouvelle recherche. Ils ont remarqué que si les ordinateurs sont excellents pour classer des listes de correspondances, ils échouent souvent à nous dire à quel point ce classement est « instable ». Pour y remédier, ils ont construit un nouveau système appelé CRU (Cross-granularity Ranking Uncertainty — Incertitude de Classement Cross-granularité). Considérez cela comme l'embauche de deux détectives différents pour résoudre un mystère. Un détective, l'agent « Global », regarde la vue d'ensemble : « Est-ce une scène de plage ? Oui. » L'autre détective, l'agent « Local », zoome sur les détails infimes : « La personne a-t-elle des chaussures rouges ? Oui. Y a-t-il un parapluie bleu ? Non. » Habituellement, ces deux-là sont d'accord. Mais quand ils ne sont pas d'accord — quand l'agent Global dit « Plage ! » mais que l'agent Local voit « Chaussures rouges sur une montagne » — c'est un énorme signal d'alarme. CRU utilise ce désaccord pour calculer un « score d'inquiétude ». Si le score est élevé, le système sait que la réponse pourrait être fausse. Les chercheurs ont découvert qu'en écoutant les deux détectives et en vérifiant s'ils se disputent, leur système non seulement trouve de meilleures correspondances, mais sait aussi exactement quand dire : « Hé, je ne suis pas sûr de celui-ci », rendant l'ensemble du processus de recherche plus intelligent et plus fiable.

Les deux détectives et le score d'inquiétude

Dans le monde de la recherche d'images et de textes, les ordinateurs tentent généralement d'associer une photo et une phrase en les transformant en nombres mathématiques (appelés plongements ou embeddings) et en voyant à quel point ils sont proches. Les méthodes traditionnelles reposent souvent sur une vue « globale » unique, ce qui revient à regarder un tableau depuis l'autre bout de la pièce. Vous pouvez dire qu'il s'agit d'un paysage, mais vous pourriez manquer le fait que le chien dans le coin est en réalité un chat. D'autres méthodes tentent d'examiner les détails « locaux », comme l'association de mots spécifiques à des parties spécifiques de l'image, mais cela peut être lent et désordonné.

Les auteurs de cet article soutiennent que la meilleure façon de trouver des erreurs n'est pas de construire un modèle plus grand et plus complexe, mais d'écouter la différence entre ces deux façons de regarder. Ils ont créé un cadre où l'ordinateur agit comme un panel de deux juges.

Le Juge Global : Regarde l'image et la phrase dans leur ensemble pour saisir l'idée principale.
Le Juge Local : Regarde de minuscules fragments de l'image et des mots spécifiques pour vérifier les détails minutieux.

Dans un monde parfait, les deux juges seraient d'accord sur les meilleures correspondances. Mais dans le monde réel, ils sont souvent en désaccord. Peut-être que le Juge Global pense qu'une image de « coucher de soleil » correspond à une phrase sur le « coucher de soleil », mais le Juge Local remarque que la phrase dit « coucher de soleil sur l'océan » et que l'image est en réalité un coucher de soleil sur un désert.

Comment fonctionne CRU : Le détecteur de « désaccord »

La magie de CRU réside dans la façon dont il mesure ce désaccord. Au lieu de simplement demander : « Quel est votre degré de confiance ? » (ce qui peut être trompeur si l'ordinateur est sûre de lui mais se trompe), CRU pose deux questions spécifiques :

Ambiguïté : L'ordinateur est-il confus ? Si les deux juges répartissent leurs votes sur de nombreuses images différentes, le système sait que la réponse est floue.
Désaccord : Les juges se battent-ils ? Si le Juge Global est sûr à 100 % que l'Image A est la meilleure, mais que le Juge Local est sûr à 100 % que l'Image B est la meilleure, c'est un conflit.

CRU combine ces deux sentiments en un seul « Score d'Incertitude ». Si le score est bas, le système est confiant et le classement est probablement correct. Si le score est élevé, le système sait que quelque chose cloche.

Ce qui rend cela spécial, c'est que cela ne nécessite pas de faire tourner le cerveau de l'ordinateur plusieurs fois (comme d'autres méthodes qui tentent de deviner en répétant le même test encore et encore). Il le fait tout en une seule passe. C'est comme si deux détectives résolvaient l'affaire en une seule fois et comparaient immédiatement leurs notes pour voir s'ils sont sur la même longueur d'onde.

Les résultats : Plus intelligent, pas seulement plus rapide

Les chercheurs ont testé leur nouveau système sur trois jeux de données célèbres : Flickr30K-1K, MS-COCO-1K et MS-COCO-5K. Ce sont essentiellement de gigantesques bibliothèques de photos et de légendes utilisées pour entraîner l'IA.

Voici ce qu'ils ont trouvé :

Une meilleure précision : CRU n'a pas seulement été meilleur pour repérer les erreurs ; il a aussi trouvé de meilleures correspondances. Sur le test Flickr30K-1K, il a obtenu un score (appelé rSum) de 520.4. Sur MS-COCO-1K, il a atteint 535.1, et sur le plus grand MS-COCO-5K, il a marqué 446.9. Ces chiffres étaient plus élevés que les meilleures méthodes précédentes, ce qui signifie que le système trouve la bonne photo plus souvent.
Une meilleure détection d'erreurs : Lorsqu'il s'agissait de repérer les erreurs, CRU était un champion. Comparé à la méthode la plus forte précédente (appelée PCME++), CRU a amélioré sa capacité à détecter les erreurs (mesurée par l'AUROC) de 4,3 à 4,6 points.
Calibration : C'est un mot savant pour dire « être honnête ». Si un système dit qu'il est sûr à 90 %, il devrait avoir raison 90 % du temps. CRU était bien meilleur que les autres méthodes sur ce point. Il a réduit l'« Erreur de Calibration Attendue » (ECE) jusqu'à 0,023, ce qui signifie que ses niveaux de confiance étaient très proches de la réalité.
Récupération sélective : C'est la capacité de dire : « Je ne suis pas sûr de celui-ci, alors je vais passer mon tour. » Lorsque les chercheurs ont demandé au système d'ignorer les réponses les plus incertaines, le taux d'erreur a chuté de manière significative. CRU a réduit l'« Aire sous la courbe Risque-Couverture » (AURC) de 16,4 % à 21,6 % par rapport à la meilleure base de référence. Cela signifie qu'en ignorant simplement les conjectures dont il n'était pas sûr, le système est devenu beaucoup plus fiable.

Pourquoi cela importe

L'article suggère qu'en traitant l'appariement global et local comme des « opinions complémentaires » plutôt que comme de simples étapes pour obtenir un score, nous pouvons construire des systèmes qui sont non seulement précis, mais aussi conscients d'eux-mêmes. Les auteurs excluent explicitement l'idée qu'il faille des modèles probabilistes complexes qui tournent des milliers de fois pour obtenir ce genre d'aperçu. Au lieu de cela, ils montrent qu'une simple passe déterministe (une seule fois) qui vérifie le désaccord entre deux « vues » différentes est suffisante.

Ils notent également que, bien que le système soit excellent, il n'est pas parfait. Il dépend des données sur lesquelles il a été entraîné, et si le monde change radicalement (comme un changement soudain dans la façon dont les gens prennent des photos ou écrivent des légendes), le système pourrait avoir besoin d'être recalibré. Mais pour l'instant, CRU offre un moyen pratique et efficace de créer des moteurs de recherche d'images qui ne se contentent pas de donner une réponse, mais qui vous disent aussi à quel point vous pouvez lui faire confiance. Cela transforme une recherche aveugle en une conversation où l'ordinateur sait quand dire : « Je pense que je sais, mais laissez-moi revérifier. »

Résumé Technique : Désaccord de Classement Trans-Granularité pour la Récupération Image-Texte Sensible à l'Incertitude

1. Énoncé du Problème

Les systèmes de récupération image-texte sont généralement optimisés pour la précision du classement (par exemple, le Recall@K) mais manquent de mécanismes pour indiquer la fiabilité de leurs listes retournées. Dans des scénages réels, les requêtes peuvent être incomplètes, les candidats peuvent être presque indiscernables, ou des attributs cruciaux peuvent être omis. Un score de similarité élevé ne suffit pas à révéler si un résultat est fiable.

Les approches existantes sensibles à l'incertitude représentent souvent les modalités sous forme de distributions de probabilité au sein de l'espace d'embedding. Cependant, cette incertitude est apprise indirectement et peut ne pas refléter le risque d'erreur du classement final. D'autres méthodes, telles que le dropout de Monte Carlo ou les ensembles profonds (deep ensembles), nécessitent une inférence stochastique ou plusieurs modèles, ce qui est coûteux en termes de calcul pour des galeries à grande échelle. Les mesures de confiance post-hoc (par exemple, les marges de score supérieur) sont peu coûteuses mais échouent souvent à détecter les conflits de décision où différents mécanismes de récupération sont individuellement confiants mais en désaccord sur l'ordre des candidats.

2. Méthodologie : Incertitude de Classement Trans-Granularité (CRU)

Les auteurs proposent CRU, un cadre déterministe qui estime l'incertitude de la récupération directement à partir de l'espace de classement des candidats plutôt que de l'espace d'embedding. La méthode utilise deux « opinions » de récupération complémentaires dérivées d'une paire partagée d'encodeurs : une Branche Sémantique Globale et une Branche de Détail Locale.

2.1 Représentation de Caractéristiques à Double Granularité

Le cadre emploie un Vision Transformer (ViT) et un encodeur de texte BERT.

Branche Globale : Extrait les jetons sémantiques globaux (ex: [CLS]) pour capturer l'intention au niveau de la scène. Elle utilise la similarité cosinus pour une récupération efficace et indexable.
Branche Locale : Agrège les correspondances mot-patch via un opérateur LogMeanExp contrôlé par température. Cette branche vérifie les détails fins (attributs, quantités, relations) que les vecteurs globaux pourraient supprimer.

2.2 Distributions de Classement dans l'Espace des Candidats

Pour comparer les deux branches, CRU construit un ensemble de support de candidats partagé $C_q$ en prenant l'union des top- $K$ candidats de chaque branche. Les scores bruts sont standardisés et convertis en distributions de classement catégorielles $p_g$ et $p_l$ via une fonction softmax.

2.3 Décomposition de l'Incertitude

CRU décompose la fiabilité en deux modes de défaillance distincts :

Ambiguïté de Classement Intra-Branche ( $U_{amb}$ ): Mesurée par l'entropie de Shannon normalisée de chaque distribution de branche. Une entropie élevée indique qu'une branche ne peut pas distinguer les candidats (évidence diffuse).
Désaccord de Classement Trans-Granularité ( $U_{dis}$ ): Mesuré par la divergence de Jensen–Shannon (JS) entre les distributions globale et locale. Une divergence élevée indique que les deux branches sont confiantes mais préfèrent des candidats différents (opinions conflictuelles).

Le score d'incertitude final $U(q)$ est une combinaison convexe de ces deux composantes :
$U(q) = \alpha U_{amb}(q) + (1 - \alpha)U_{dis}(q)$

2.4 Fusion Dynamique Sensible à la Confiance et Calibrage

Fusion Dynamique : Le modèle calcule des poids de fusion par requête basés sur la confiance de la branche ( $1 - \text{entropie}$ ) pour produire un score de similarité fusionné $S_f$ . Cela garantit que le classement final est cohérent et interprétable.
Calibrage Sensible à la Correction : Un calibrateur logistique léger mappe le score d'incertitude $U(q)$ vers une probabilité d'erreur top-1 prédite $\hat{r}_q$ . Celui-ci est entraîné à l'aide d'une perte de cross-entropie binaire contre l'indicateur d'erreur top-1 réel, garantissant que le score d'incertitude est calibré par rapport aux taux d'erreur empiriques.
Perte de Cohérence : Un terme de cohérence encourage l'accord entre les branches uniquement pour les requêtes où le classement fusionné est déjà confiant, évitant ainsi de forcer l'accord sur des requêtes non résolues.

2.5 Efficacité de l'Inférence

CRU ne nécessite qu'un seul passage direct (forward pass) déterministe. Il effectue une récupération globale pour extraire un pool de candidats, applique ensuite le re-classement local uniquement à ce pool, et calcule l'incertitude. Il évite ainsi la surcharge de calcul liée à l'échantillonnage ou aux ensembles.

3. Contributions Clés

L'article revendique les contributions suivantes :

Formulation dans l'Espace des Candidats : Une nouvelle formulation de l'incertitude de récupération qui expose les conflits entre la sémantique globale et les détails locaux directement dans l'espace de décision.
Score Décomposable : Une méthode combinant l'ambiguïté de classement et le désaccord JS trans-granularité, couplée à une fusion sensible à la confiance par requête.
Calibrage et Prédiction Sélective : Un mécanisme de calibrage sensible à la correction et une cohérence pondérée par la confiance qui permettent une récupération sélective (abstention) sans passages d'inférence supplémentaires.
Évaluation Complète : Expérimentations approfondies couvrant la précision de la récupération, la détection d'erreurs, le calibrage et l'ablation des composants sur des benchmarks standards.

4. Résultats Expérimentaux

La méthode a été évaluée sur Flickr30K-1K, MS-COCO-1K et MS-COCO-5K.

Précision de la Récupération : CRU a atteint des valeurs rSum de 520.4 (Flickr30K-1K), 535.1 (MS-COCO-1K) et 446.9 (MS-COCO-5K). Ces résultats représentent des améliorations respectives de 4.2, 2.6 et 3.9 points par rapport à la forte base de référence GRM.
Détection d'Erreur : Par rapport à la base de référence d'incertitude la plus forte (PCME++), CRU a amélioré l'Aire Sous la Courbe ROC (AUROC) de 4.3–4.6 points et l'Aire Sous la Courbe Précision-Rappel (AUPR) de 4.3–4.9 points.
Calibrage : L'Erreur de Calibrage Attendu (ECE) a été considérablement réduite (par exemple, de 0.047 à 0.024 sur Flickr30K-1K), représentant une réduction relative de ~49–53%.
Récupération Sélective : L'Aire Sous la Courbe Risque-Couverture (AURC) a été réduite de 16.4–21.6% par rapport à PCME++, indiquant que le maintien de seules les requêtes à faible incertitude produit un taux d'erreur nettement inférieur.
Efficacité : Le cadre maintient son efficacité en limitant le matching local à un petit pool de candidats ( $R=100$ ) et en évitant l'inférence stochastique.

5. Signification et Revendications

L'article pose que l'incertitude dans l'espace de classement est un indicateur plus efficace du risque de récupération que l'incertitude dans l'espace d'embedding. En traitant les matchers globaux et locaux comme des opinions complémentaires, CRU peut détecter les scénarios de type « confiant mais erroné » où un mécanisme de classement unique échouerait à signaler le risque.

Les auteurs affirment que CRU offre une voie pratique pour construire des systèmes de récupération qui non seulement classent avec précision, mais indiquent également quand leurs sorties ne doivent pas être fiables. Ceci est réalisé en un seul passage déterminat, ce qui le rend adapté au déploiement à grande échelle. Les résultats démontrent qu'en modélisant explicitement le désaccord entre différentes granularités de matching, on améliore non seulement la détection d'erreurs et le calibrage, mais aussi la précision de la récupération elle-même.

Les auteurs restent modestes quant aux limites, notant que le calibrage est défini par rapport aux annotations disponibles (qui peuvent ne pas être exhaustives) et que des changements de distribution sévères peuvent encore dégrader les performances, suggérant un besoin de travaux futurs sur les garanties conformes.