🤖 AI

CVSearch: Empowering Multimodal LLMs with Cognitive Visual Search for High-Resolution Image Perception

CVSearch est un cadre adaptatif sans entraînement qui améliore la perception d'images haute résolution des modèles de langage multimodaux de grande taille en combinant dynamiquement une recherche assistée par des experts avec un nouveau mécanisme de balayage sensible à la sémantique afin d'équilibrer la couverture et l'efficacité.

Auteurs originaux : Liupeng Li, Haoqian Kang, Zhenyu Lu, Jinpeng Wang, Bin Chen, Ke Chen, Yaowei Wang

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Liupeng Li, Haoqian Kang, Zhenyu Lu, Jinpeng Wang, Bin Chen, Ke Chen, Yaowei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une photographie géante et haute résolution d'une rue de ville animée, et que vous demandiez à un ordinateur : « Où est garée la toute petite voiture rouge près de la boulangerie ? »

Les modèles d'IA actuels (Modèles de Langage Multimodaux à Grande Échelle) sont comme des personnes dotées d'un cerveau très puissant mais d'yeux très faibles. Ils comprennent parfaitement le langage, mais lorsqu'ils regardent une image massive, ils la réduisent souvent à une petite vignette floue pour gagner du temps. Ce faisant, ils manquent complètement la toute petite voiture rouge.

Pour résoudre ce problème, les chercheurs ont créé CVSearch. Ne voyez pas CVSearch comme un nouveau cerveau, mais comme une paire de lunettes intelligente et une stratégie de recherche qui aide l'IA à examiner l'image comme le ferait un détective humain.

Voici comment cela fonctionne, décomposé en étapes simples :

1. L'« Aperçu » (La vérification rapide)

Lorsque vous posez une question, CVSearch jette d'abord un coup d'œil rapide et informel à l'image entière.

L'analogie : Imaginez entrer dans une pièce et demander : « Y a-t-il un chat ici ? » Si vous voyez immédiatement un chat sur le canapé, vous n'avez pas besoin d'ouvrir chaque tiroir. Vous dites simplement : « Oui, il y en a un. »
Ce que dit l'article : Si l'IA se sent confiante qu'elle dispose d'assez d'informations à partir de l'image globale, elle répond immédiatement. Cela économise énormément de temps.

2. L'« Assistant Expert » (Le scan rapide)

Si l'IA n'est pas sûre (peut-être que l'objet est petit ou caché), elle fait appel à un « Expert Visuel » (un outil appelé SAM 3).

L'analogie : C'est comme faire appel à un gardien de sécurité qui est excellent pour repérer les choses. Vous dites : « Cherchez une voiture rouge. » Le gardien pointe un endroit.
Le problème : Parfois, le gardien ne le trouve pas. Peut-être que la voiture est minuscule, ou que le gardien passe juste une mauvaise journée. Si le gardien échoue, les anciennes méthodes abandonneraient simplement en disant : « Je ne peux pas le trouver. »
Ce que dit l'article : CVSearch ne lâche pas prise. Si l'expert échoue, il traite cet échec comme un signal pour passer à un mode plus approfondi.

3. Le « Détective Intelligent » (L'exploration en profondeur)

C'est la plus grande innovation de l'article. Si l'expert échoue, CVSearch ne se contente pas de scanner l'image entière à l'aveugle. Il utilise un flux de travail d'Évaluation Cognitive puis Recherche.

La « Grille Intelligente » (Découpage Adaptatif Guidé Sémantiquement) :
- Ancienne méthode : Imaginez essayer de trouver une aiguille dans une botte de foin en coupant la botte en blocs carrés rigides et parfaits. Vous pourriez couper l'aiguille en deux, ce qui la rendrait difficile à reconnaître.
- Méthode CVSearch : Au lieu de carrés rigides, CVSearch examine la « forme » de l'image. Il découpe l'image en morceaux qui suivent naturellement les objets. Il garde la voiture entière dans un seul morceau et le ciel dans un autre. Il ne coupe pas la voiture en deux.
- L'analogie : Au lieu de couper une pizza en grille, vous la coupez le long des lignes naturelles des garnitures afin que chaque part contienne un pepperoni entier.
La Recherche « Ascendante » :
- Ancienne méthode : La plupart des méthodes de recherche commencent par le haut (l'image globale) et descendent en profondeur. Si elles commettent une erreur en haut, elles continuent de commettre des erreurs jusqu'en bas.
- Méthode CVSearch : Elle commence par le bas (les petits morceaux détaillés) et remonte.
- L'analogie : Imaginez essayer de trouver une personne spécifique dans une foule. Au lieu de regarder toute la foule et de deviner, vous regardez d'abord les visages des individus. Une fois que vous trouvez un visage qui ressemble à la cible, vous zoomez pour voir où ils se tiennent. Cela empêche l'IA de se perdre dans l'image globale.

4. Le « Filtre de Concentration » (Complexité Visuelle)

CVSearch est aussi paresseux de manière intelligente. Il sait que le ciel ou un mur vide ne nécessitent pas beaucoup d'attention.

L'analogie : Si vous cherchez une personne spécifique, vous ne fixez pas le ciel bleu vide. Vous concentrez votre énergie sur la partie animée de la rue où se trouvent les gens.
Ce que dit l'article : Il calcule un « Score de Complexité Visuelle ». Si une partie de l'image est ennuyeuse (faible complexité), il l'ignore. Si elle est animée et détaillée (forte complexité), il consacre plus de temps à l'examiner.

Le Résultat

L'article affirme qu'en combinant ces trois éléments — vérifier si un coup d'œil rapide suffit, utiliser d'abord un expert, puis effectuer une exploration en profondeur intelligente et consciente de la forme si nécessaire — CVSearch est beaucoup plus rapide et plus précis que les méthodes précédentes.

Les anciennes méthodes étaient soit trop lentes (vérifiant chaque pouce carré), soit trop fragiles (s'appuyant entièrement sur l'expert qui pourrait manquer des choses).
CVSearch est comme un détective qui sait quand jeter un coup d'œil rapide, quand faire appel à un spécialiste et quand utiliser une loupe sur les parties les plus intéressantes de la scène de crime, tout en maintenant l'intégrité des preuves (les objets).

L'article démontre cela sur des images haute résolution (comme des photos 8K) où trouver des détails minuscules est difficile, montrant que leur méthode trouve la « voiture rouge » et le « petit casque » bien mieux que d'autres systèmes d'IA, sans avoir besoin de réentraîner le cerveau de l'IA.

Résumé Technique : CVSearch

Énoncé du Problème

Les modèles de langage multimodaux de grande taille (MLLM) font face à un goulot d'étranglement critique dans la perception d'images haute résolution (HR). Les modèles actuels reposent généralement sur des schémas de traitement à résolution fixe qui sous-échantillonnent agressivement les images d'entrée, les rendant « aveugles » aux petits objets et aux détails fins essentiels pour les tâches du monde réel. Bien que des recherches récentes aient tenté de résoudre ce problème par le biais de paradigmes basés sur le recadrage, d'encodeurs visuels haute résolution et de la recherche visuelle, les solutions existantes peinent avec un compromis fondamental entre couverture et efficacité :

Les méthodes basées sur le recadrage préservent les détails locaux mais rompent la cohérence spatiale, provoquant une « fragmentation sémantique » où les objets s'étendant sur les limites des recadrages sont divisés en tokens disjoints.
Les encodeurs visuels HR injectent des caractéristiques haute fréquence mais manquent souvent de flexibilité pour gérer des rapports d'aspect variables et reposent toujours sur un traitement global.
Les paradigmes de recherche visuelle offrent une perception active mais se divisent en deux sous-catégories aux limitations distinctes :
- La Recherche assistée par expert visuel (par exemple, SEAL, DyFo) est efficace mais fragile ; si l'expert externe échoue à générer des propositions précises (fréquent avec les objets minuscules ou occlus), le système souffre de points aveugles irréversibles.
- La Recherche par balayage (par exemple, RAP, ZoomEye) assure une couverture exhaustive via un balayage rigide en grille mais est agnostique sémantiquement. Cela entraîne une redondance computationnelle sur les régions d'arrière-plan et fracture les sémantiques des objets en raison d'une partition rigide.

Le défi central consiste à combler le fossé entre l'efficacité de l'assistance par expert et la robustesse de la recherche exhaustive sans compromettre l'intégrité sémantique.

Méthodologie : CVSearch

CVSearch est un cadre adaptatif sans entraînement qui habilite les MLLM de capacités de recherche visuelle cognitives et humaines. Il fonctionne selon un flux de travail Évaluer puis Rechercher, alternant dynamiquement entre une perception globale non sélective et une attention sérielle sélective en fonction de la difficulté de la tâche. Le cadre repose sur trois innovations clés :

1. Mécanisme de Commutation Adaptative Piloté par la Cognition

Inspiré par le contrôle cognitif humain, CVSearch effectue d'abord une Évaluation Globale pour quantifier la suffisance de l'information ( $c_q$ ).

Si l'information globale est suffisante, le modèle fournit une réponse directe.
Si elle est insuffisante, il déclenche une Recherche assistée par expert visuel (utilisant SAM 3) pour une localisation rapide.
Crucialement, si l'expert échoue (c'est-à-dire échoue à générer des propositions valides), le système ne se termine pas. Au lieu de cela, il interprète cet échec comme un signal pour activer un Balayage conscient de la scène, assurant une transition fluide de la localisation rapide vers une exploration complète.

2. Patching Adaptatif Guidé Sémantiquement (SGAP)

Pour résoudre la fragmentation sémantique inhérente au balayage rigide en grille, CVSearch introduit le SGAP au sein de la phase de Balayage conscient de la scène.

Mécanisme : Au lieu de grilles fixes, SGAP utilise les caractéristiques visuelles extraites de l'expert (même lorsque la localisation échoue) pour effectuer un clustering adaptatif. Il sur-segmente l'image en superpixels atomiques (via SLIC) puis les regroupe en régions sémantiquement cohérentes en utilisant un clustering agglomératif contraint par un graphe d'adjacence de régions.
Optimisation : Le nombre de clusters ( $k$ ) est optimisé dynamiquement pour minimiser une fonction de coût qui pénalise le chevauchement spatial tout en maximisant la qualité du clustering (score de silhouette).
Avantage : Cela garantit que les patches d'image s'alignent sur les contours des objets plutôt que de les traverser, préservant ainsi l'intégrité sémantique.

3. Stratégie de Recherche Dynamique Ascendante

Pour surmonter la propagation d'erreurs inhérente aux méthodes de recherche descendantes, CVSearch emploie une stratégie de Recherche Dynamique Ascendante pilotée par un Prior de Complexité Visuelle.

Complexité Visuelle ( $c_v$ ) : Quantifie la valeur d'exploration d'un patch basée sur la dispersion de ses caractéristiques atomiques. Une complexité élevée indique des premiers plans riches sémantiquement ; une faible complexité indique des arrière-plans redondants.
Flux de Recherche : La recherche initie à la couche la plus profonde (nœuds feuilles) où des informations locales détaillées sont disponibles, agrégeant les preuves vers le haut.
Élagage et Priorisation : Les nœuds à faible complexité visuelle sont élagués. Au sein de chaque couche, les nœuds sont triés par une valeur de priorité ( $c_x$ ) qui pondère la complexité visuelle, la confiance d'existence et les priorités d'enfants agrégées.
Raffinement Itératif : Si la cible reste non confirmée après une recherche complète, le candidat le mieux classé de la première couche est réinjecté dans le pipeline pour un raffinement itératif, permettant au modèle de récupérer après des échecs initiaux.

Contributions Clés

Cadre Hiérarchique Cognitif : CVSearch est le premier cadre sans entraînement à unifier l'efficacité de la recherche assistée par expert visuel avec la robustesse du balayage conscient sémantiquement via un mécanisme de commutation conscient des échecs.
Granularité Préservant la Sémantique : Le SGAP proposé réutilise les caractéristiques d'expert visuel pour construire des patches d'image sémantiquement cohérents, surmontant efficacement la fragmentation causée par les grilles rigides.
Exploration Ascendante Robuste : La stratégie de recherche dynamique ascendante empêche la propagation d'erreurs typique des méthodes descendantes, améliorant considérablement la perception des petits objets.
Performances de l'État de l'Art : Des expériences extensives démontrent que CVSearch atteint une précision de pointe (SOTA) sur les benchmarks haute résolution tout en améliorant substantiellement l'efficacité de la recherche par rapport aux bases de balayage.

Résultats Expérimentaux

Les auteurs ont évalué CVSearch sur une suite complète de benchmarks haute résolution, incluant V Bench*, HR-Bench (4K/8K), MME-RealWorld-Lite, TreeBench et FineRS-4K.

Gains de Performance : L'intégration de CVSearch avec des MLLM open-source (par exemple, LLaVA-OV-7B, Qwen2.5-VL-7B, InternVL2.5-8B) a produit des améliorations substantielles. Par exemple, l'application de CVSearch à InternVL2.5-8B a augmenté la précision globale sur HR-Bench 8K de +20,2 % et sur V* Bench de +16,2 % (atteignant 91,6).
Comparaison avec l'État de l'Art : CVSearch a surpassé à la fois les méthodes assistées par expert (par exemple, DyFo) et les méthodes basées sur le balayage (par exemple, ZoomEye, RAP) sur tous les benchmarks. Sur V* Bench, il a dépassé le fort DyFo assisté par expert (81,2) avec un score de 91,6.
Efficacité : Bien qu'introduisant une certaine surcharge par rapport à un modèle à passage unique standard, CVSearch surpasse nettement les cadres de balayage existants en précision et en débit. Sur HR-Bench 4K, il a atteint un débit de 3,77 échantillons/minute, soit presque 3 fois plus rapide que ZoomEye et RAP, tout en maintenant une précision supérieure.
Évolutivité : Le cadre a démontré des gains de performance constants sur des modèles de tailles variées (2B à 32B) et de générations différentes (Qwen2.5-VL à Qwen3-VL), prouvant son efficacité même pour des backbones hautement avancés.

Importance et Revendications

L'article revendique que CVSearch résout le dilemme critique efficacité-robustesse dans la perception visuelle haute résolution en reformulant la recherche visuelle comme un processus de prise de décision cognitif et hiérarchique. En imitant les mécanismes de recherche visuelle humaine — spécifiquement l'interaction entre l'extraction globale non sélective de l'essentiel et l'attention sérielle sélective — le cadre permet aux MLLM de capturer des détails fins avec une redondance computationnelle minimale.

Les auteurs soulignent que ce travail oriente le domaine vers une compréhension multimodale haute résolution plus efficace, évolutive et accessible. En priorisant l'allocation adaptative des ressources et en atténuant la redondance computationnelle grâce à l'élagage conscient sémantiquement et à l'exploration ascendante, CVSearch permet aux MLLM existants d'exécuter des tâches complexes de raisonnement visuel sans nécessiter de réentraînement extensif ou de pipelines d'apprentissage par renforcement.

Limites Reconnues :
L'article note modestement deux limitations principales :

Latence Computationnelle : Bien que plus rapide que les méthodes basées sur le balayage, le processus de recherche itérative est intrinsèquement plus lent que l'inférence à passage unique standard ou les bases légères assistées par expert.
Dépendance à l'Expert Visuel : L'implémentation actuelle repose exclusivement sur SAM 3 pour les propositions de régions ; la capacité de généralisation avec différents types d'experts visuels reste inexplorée.