💬 NLP

UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering

UniHEAR est un cadre unifié et léger qui surmonte les limitations de la recherche à source unique et du reclassement aveugle à la source dans le domaine du Questionnement Visuel Basé sur la Connaissance en employant un descripteur de recherche grossier, un portage de modalité attentionnel guidé par la recherche et une fusion de sources pondérée par l'entropie pour atteindre des performances de pointe sur les bancs d'essai E-VQA et InfoSeek.

Auteurs originaux : Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre une énigme difficile, mais que la réponse n'est pas cachée dans l'image devant vous ; elle est cachée dans une immense bibliothèque de livres, de sites web et de photos que vous ne pouvez pas voir. C'est le monde du Knowledge-Based Visual Question Answering (KB-VQA) (Réponse à des questions visuelles basées sur la connaissance). Il s'agit d'une branche de l'intelligence artificielle où un ordinateur regarde une image, lit une question à son sujet, puis doit aller déterrer les faits appropriés dans le monde extérieur pour donner une réponse intelligente. Considérez cela comme un détective qui peut voir la scène de crime mais qui a besoin de consulter la base de données de la police pour savoir qui est le suspect.

Pendant longtemps, ces détectives de l'IA ont eu un problème majeur : ils étaient terribles pour trouver les bons indices. Ils s'appuyaient généralement sur une seule méthode de recherche. Parfois, ils cherchaient seulement des images qui ressemblaient à celle de la question (comme chercher un jumeau), et d'autres fois, ils cherchaient seulement du texte qui sonnait comme la question (comme chercher un synonyme). Mais que se passe-t-il si la réponse se trouve dans une image qui ne ressemble pas exactement à l'originale, ou dans un texte qui n'utilise pas exactement les mêmes mots ? L'IA passerait à côté. De plus, même lorsqu'ils trouvaient une liste d'indices possibles, ils étaient souvent « aveugles » à la provenance de ces indices, traitant une supposition floue de la même manière qu'un coup sûr. Ce document présente un nouveau système appelé UniHEAR qui corrige ces erreurs en permettant à l'IA de chercher de deux manières différentes à la fois et en utilisant une astuce ingénieuse pour décider quels indices sont les meilleurs.

La nouvelle boîte à outils du détective : UniHEAR

Découvrez UniHEAR, un nouveau cadre d'IA léger conçu pour être l'ultime détective des énigmes visuelles. Les auteurs, une équipe de l'Université du Sichuan, ont réalisé que les systèmes d'IA existants étaient coincés dans deux grands pièges.

Piège n°1 : La recherche à l'œil unique
Imaginez que vous cherchez un chien perdu. Si vous ne demandez qu'aux personnes qui ont vu un chien qui ressemble exactement au vôtre, vous pourriez manquer la personne qui a vu un chien qui aboie exactement comme le vôtre. Les systèmes d'IA existants faisaient souvent cela. Ils cherchaient soit des correspondances visuelles (Image-vers-Image), soit des correspondances textuelles (Image-vers-Texte), mais rarement les deux. Cela créait un « goulot d'étranglement de la récupération à source unique ». Si la véritable réponse ne se trouvait que dans la recherche textuelle, la recherche visuelle échouait, et vice versa. Le résultat ? L'IA manquait les faits réels dont elle avait besoin pour répondre.

Piège n°2 : Le trieur sans indice
Une fois que l'IA avait trouvé une liste d'indices potentiels, elle devait les trier pour trouver le meilleur. L'ancienne méthode était comme un bibliothécaire qui traite chaque livre sur l'étagère de la même manière, qu'il provienne de la section « Histoire » ou de la section « Fiction ». Le document appelle cela le « Réclassement aveugle à la source de récupération » (Retrieval-Source-Blind Ranking). L'IA ignorait le fait que certains indices étaient de fortes correspondances visuelles tandis que d'autres étaient de fortes correspondances textuelles, ce qui la menait à perdre du temps sur des informations redondantes et à classer les mauvaises réponses en haut de la liste.

Comment UniHEAR résout le mystère

UniHEAR change la donne en agissant comme un détective qui utilise deux moteurs de recherche différents simultanément, puis utilise un filtre intelligent pour choisir le vainqueur.

Étape 1 : La double recherche
Au lieu de choisir une seule façon de chercher, UniHEAR envoie la question vers deux « bibliothèques » différentes en même temps :

La Bibliothèque Visuelle : Elle cherche des images qui ressemblent à celle de la question.
La Bibliothèque Textuelle : Elle cherche des résumés textuels qui correspondent au sens de la question.
Elle combine les résultats des deux dans un seul et même « pool de candidats ». Cela garantit que si la réponse est cachée dans une image ou un paragraphe, elle sera trouvée.

Étape 2 : L'« ID Card » pour chaque indice
C'est la partie ingénieuse. Pour chaque indice (ou « entité ») trouvé dans ce grand pool, UniHEAR crée un Descripteur de Récupération Grossier spécial. Considérez cela comme une carte d'identité pour l'indice. Cette carte ne dit pas seulement « J'ai trouvé ceci » ; elle enregistre comment cela a été trouvé. Elle note :

À quelle hauteur l'indice se trouvait-il sur la liste ?
Quel était le niveau de confiance du moteur de recherche ?
À quel point le moteur de recherche était-il « surpris » (entropie) de le trouver ?
Cette carte d'identité dit au système : « Hé, cet indice provient de la recherche textuelle et était classé n°1, tandis que celui-ci provient de la recherche d'image et était classé n°5. »

Étape 3 : Le filtre intelligent (Gating guidé par la récupération)
Le tri arrive maintenant. Les anciens systèmes traitaient tous les indices de la même manière. UniHEAR utilise un nouveau module appelé Gating d'Attention de Modalité Guidé par la Récupération (Retrieval-Guided Attentive Modality Gating). Imaginez un videur à l'entrée d'un club qui regarde la carte d'identité de chaque personne tentant d'entrer.

Si un indice provient de la Recherche Visuelle, le videur sait que la partie visuelle est déjà « prouvée », il n'a donc pas besoin de se concentrer autant sur les caractéristiques visuelles à nouveau. Il déplace son attention vers le texte.
Si un indice provient de la Recherche Textuelle, il déplace son attention vers les détails visuels.
Cela empêche l'IA de rester bloquée dans une boucle consistant à regarder la même chose deux fois. Elle utilise la « carte d'identité » pour décider exactement quel poids accorder à l'image par rapport aux mots.

Étape 4 : Le mélange final
Enfin, UniHEAR ajoute un bonus « sans entraînement ». Il prend les scores originaux des moteurs de recherche et les mélange avec le nouveau score de tri intelligent, en utilisant une méthode appelée Fusion de Source Pondérée par l'Entropie (Entropy-Weighted Source Fusion). Cela garantit que si un moteur de recherche était très confiant (faible entropie), ses indices reçoivent un petit coup de pouce supplémentaire.

Les résultats : Plus rapide et plus intelligent

Les auteurs ont testé UniHEAR sur deux ensembles de données majeurs, E-VQA et InfoSeek, qui sont comme les « examens finaux » pour ces détectives de l'IA.

Meilleur pour trouver des indices : Sur le test E-VQA, UniHEHE a amélioré le score « Recall@1 » (la capacité à trouver la toute première bonne réponse) de 6,7 points par rapport à la méthode la plus forte précédente. Sur InfoSeek, il s'est amélioré de 1,2 point. Cela signifie qu'il a trouvé la bonne réponse beaucoup plus souvent qu'avant.
Meilleur pour répondre aux questions : En ce qui concerne la réponse aux questions, UniHEAR a obtenu des résultats de pointe (state-of-the-art). Par exemple, sur l'ensemble de données E-VQA, il a obtenu un score de 53,2 %, battant d'autres méthodes de haut niveau qui utilisent des modèles beaucoup plus grands et plus lourds.
Léger : Malgré le fait qu'il fasse plus de travail (recherche dans deux sources et utilisation de filtres complexes), UniHEAR est étonnamment léger. Il utilise un modèle de seulement 197 millions de paramètres, alors que ses concurrents utilisent souvent des modèles de 1,2 milliard à 1,7 milliard de paramètres. C'est comme obtenir la puissance d'un supercalculateur dans un sac à dos.

Ce que cela signifie

Le document argumente explicitement contre l'idée que nous devons nous reposer sur un seul type de recherche ou que nous pouvons ignorer la provenance d'un indice. Les auteurs montrent que ignorer la « source » de l'information mène à des erreurs. En prouvant que la combinaison des recherches visuelles et textuelles, puis l'utilisation d'un filtre intelligent sensible à la source, fonctionne mieux, UniHEAR suggère une nouvelle voie pour l'IA. Il montre que vous n'avez pas besoin d'un cerveau géant et lourd pour être intelligent ; vous avez juste besoin de savoir comment chercher aux bons endroits et écouter les bons indices.

En bref, UniHEAR est un détective plus léger, plus rapide et plus précis qui sait utiliser à la fois ses yeux et ses lunettes de lecture pour résoudre des mystères visuels, prouvant que parfois, la meilleure façon de trouver la vérité est de l'observer sous deux angles différents à la fois.

Résumé Technique : UniHEAR

Énoncé du Problème

Le Questionnement Visuel Basé sur la Connaissance (KB-VQA) nécessite que les modèles récupèrent des connaissances sur des entités externes (par exemple, de Wikipédia) pour répondre à des questions fondées sur une entrée visuelle. Les systèmes de récupération augmentée existants font face à deux limitations critiques :

Goulot d'étranglement de la récupération à source unique : Les systèmes actuels s'appuient généralement sur une seule modalité de récupération, soit l'Image-vers-Image (I2I), soit l'Image-vers-Texte (I2T). Ces modalités divergent considérablement ; l'I2I privilégie la similitude morphologique (couleur, forme), tandis que l'I2T met l'accent sur la cohérence sémantique. Par conséquent, sous un budget de récupération limité, les entités de vérité terrain ne sont souvent capturées que par une seule source, rendant la récupération à source unique intrinsèquement incomplète et limitant le plafond de précision du VQA.
Reclassement aveugle à la source de récupération : Les reclasseurs (rerankers) existants attribuent souvent une attention modale uniforme à tous les candidats, ignorant les origines de récupération et les priors au niveau des candidats établis lors de l'étape de récupération grossière. Cela conduit à une dépendance redondante envers des modalités qui ont déjà été exploitées par les récupérateurs grossiers à grande échelle, réduisant la discriminabilité du processus de reclassement et provoquant un mauvais classement des entités de vérité terrain.

Méthodologie : UniHEAR

Les auteurs proposent UniHEAR (Unified Heterogeneous-Source Attentive Retrieval), un cadre léger conçu pour jeter un pont entre la récupération grossière et le reclassement fin grâce à une architecture unifiée. Le cadre opère en trois étapes :

1. Récupération grossière à sources hétérogènes

Le système fait correspondre simultanément l'image de requête avec deux sources de base de connaissances complémentaires : des images d'entités (I2I) et des résumés textuels (I2T).

Pool de candidats : L'union des top- $k$ candidats de ces deux sources forme un pool de candidats unifié, assurant une couverture complémentaire.
Descripteur de Récupération Grossière (CRD) : Chaque entité candidate est caractérisée par un descripteur $D(e)$ $D (e)$ qui encode l'évidence de récupération comme guide a priori. Ce descripteur inclut :
- Le rang normalisé ( $r_s$ ) au sein de chaque source.
- Les scores de similitude bruts ( $sim_s$ ) et la similitude z-normalisée ( $z_s$ ).
- L'écart de similitude par rapport à l'entité la mieux classée ( $\delta_s$ ).
- L'entropie au niveau du pool ( $H_s$ ) pour mesurer la concentration de la distribution de récupération et la fiabilité de la source.
  Ce descripteur comble le fossé entre les récupérateurs grossiers à grande échelle et le reclasseur léger.

2. Reclassement d'entités multimodal guidé par la récupération

Cette étape utilise un reclasseur léger basé sur l'architecture VISTA, amélioré par deux modules novateurs :

Portage Attentionnel de Modalité Guidé par la Récupération (RAMG) : Au lieu de traiter tous les candidats de la même manière, le RAMG conditionne les poids d'attention modale sur le Descripteur de Récupération Grossière. Il utilise des paramètres de modulation affine ( $\gamma, \beta$ ) dérivés du descripteur pour ajuster les logits d'attention. Cela permet au modèle de réduire la dépendance aux modalités déjà exploitées lors de la récupération grossière (par exemple, en réduisant l'attention visuelle pour les candidats déjà confirmés via I2I) et d'agréger les représentations spécifiques aux modalités ( $C_{it}, C_t, C_i$ ) en une représentation fusionnée unifiée.
Fusion de Source Pondérée par l'Entropie (EWSF) : Ce module réintègre les priors de récupération grossière comme un complément sans entraînement au score de reclassement appris. Il pondère les scores spécifiques à la source par le rang normalisé et l'entropie du pool, puis les calibre via un ratio de moyenne de pool avant de les fusionner avec le score de reclassement appris.

3. Génération Augmentée par Sections Multi-Entités

Pour la génération de la réponse finale, le cadre agrège les sections à travers les top- $k_e$ entités reclassées.

Sélection de Sections : Il combine la similitude IT2T fine au niveau des sections avec les scores de récupération au niveau des entités.
Allocation Proportionnelle au Rang : Les sections sont allouées proportionnellement au rang de l'entité (par exemple, l'entité la mieux classée reçoit plus de sections que les entités moins bien classées) afin de concentrer le budget de contexte sur les entités les plus fiables.
Génération : Un Grand Modèle de Langage Multimodal (MLLM) génère la réponse finale conditionnée par l'image d'entrée, la question et les sections récupérées agrégées.

Stratégie d'Entraînement

UniHEAR emploie une stratégie d'entraînement hybride pour unifier la récupération au niveau de l'entité et de la section au sein d'un seul modèle :

Perte Contrastive ( $L_{con}$ ) : Optimise les représentations fusionnées pour distinguer les paires positives des négatifs difficiles.
Perte Auxiliaire de Préservation de Modalité ( $L_{aux}$ ) : Une perte auxiliaire préserve les capacités de correspondance intermodale (IT2T, I2T, I2I) requises pour la récupération ultérieure au niveau des sections. Elle inclut un masque binaire pour filtrer les supervisions positives peu fiables (par exemple, lorsque les étiquettes d'images de vérité terrain sont manquantes ou que les URL sont inaccessibles), évitant ainsi l'effondrement modal.

Contributions Clés

Cadre Unifié : Propose UniHEAR, un cadre léger qui unifie la récupération d'entités à sources hétérogènes et le reclassement, en construisant un Descripteur de Récupération Grossière pour encoder l'évidence multi-sources.
Mécanisme de Portage Novateur : Introduit le Portage Attentionnel de Modalité Guidé par la Récupération (RAMG), qui conditionne l'attention modale sur les descripteurs de récupération pour atténuer la dépendance redondante aux modalités.
Fusion Sans Entraînement : Implémente la Fusion de Source Pondérée par l'Entropie (EWSF) pour réincorporer les priors de récupération grossière calibrés sans surcoût d'entraînement.
Objectif d'Entraînement Unifié : Conçoit une stratégie d'entraînement combinant l'apprentissage contrastif avec une perte auxiliaire de préservation de modalité pour permettre une récupération fluide de l'entité vers la section au sein d'un seul modèle.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur les jeux de données E-VQA et InfoSeek.

Performance de Récupération : UniHEAR atteint des performances de récupération de pointe. Sur E-VQA, il améliore le Recall@1 de 6,7 points par rapport au meilleur baseline (OMGM) et de 33,9 points par rapport aux baselines basées sur les MLLM (ReflectiVA). Sur InfoSeek, il améliore le Recall@1 de 1,2 point par rapport à OMGM.
Performance VQA : Sans ajustement fin (fine-tuning) de la génération, UniHEAR avec Qwen2.5-VL-7B atteint 53,2 % de précision sur E-VQA, surpassant tous les baselines de récupération augmentée sous le même générateur. Avec un générateur ajusté, il atteint 50,4 % sur E-VQA et 44,1 % sur InfoSeek, surpassant tous les baselines.
Efficacité : Malgré l'unification de sources hétérogènes et la gestion d'un pool de candidats plus large, UniHEM maintient une architecture légère avec seulement 197M de paramètres (contre 1,2B–1,7B pour les concurrents basés sur BLIP-2). Le module RAMG n'ajoute que 0,59M de paramètres (0,3 % de surcharge), démontnant que le portage guidé par la récupération améliore la performance avec un coût de paramètre négligeable.

Signification

L'article affirme que UniHEAR établit la récupération à sources hétérogènes avec reclassement guidé par la récupération comme un paradigme prometteur pour la recherche future en KB-VQA. En traitant explicitement le Goulot d'étranglement de la Récupération à Source Unique et le Reclassement Aveugle à la Source de Récupération, le cadre démontre que l'exploitation de signaux complémentaires provenant de plusieurs sources, guidée par les priors de récupération grossière, peut améliorer considérablement la précision de la récupération et la performance du VQA en aval tout en maintenant une haute efficacité. Les résultats suggèrent que des modèles unifiés et légers peuvent surpasser des systèmes plus larges, à source unique ou à plusieurs étapes, en utilisant efficacement la richesse des preuves déjà mises en évidence lors de la récupération grossière.