🤖 AI

CVSearch: Empowering Multimodal LLMs with Cognitive Visual Search for High-Resolution Image Perception

CVSearch is een trainingsvrij, adaptief raamwerk dat de perceptie van hoge-resolutieafbeeldingen door multimodale grote taalmodellen verbetert door dynamisch expertgestuurd zoeken te combineren met een nieuw semantisch bewust scansmechanisme om dekking en efficiëntie in evenwicht te brengen.

Oorspronkelijke auteurs: Liupeng Li, Haoqian Kang, Zhenyu Lu, Jinpeng Wang, Bin Chen, Ke Chen, Yaowei Wang

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liupeng Li, Haoqian Kang, Zhenyu Lu, Jinpeng Wang, Bin Chen, Ke Chen, Yaowei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, hoogwaardige foto van een drukke stadsstraat hebt, en je vraagt aan een computer: "Waar staat de kleine rode auto geparkeerd bij de bakker?"

Huidige AI-modellen (Multimodale Grootte Taalmodellen) lijken op mensen met zeer sterke hersenen maar zeer zwakke ogen. Ze begrijpen taal perfect, maar wanneer ze naar een enorm beeld kijken, verkleinen ze het vaak tot een klein, wazig miniatuur om tijd te besparen. Hierdoor missen ze de kleine rode auto volledig.

Om dit op te lossen, hebben onderzoekers CVSearch gebouwd. Denk aan CVSearch niet als een nieuw brein, maar als een slimme bril en een zoekstrategie die de AI helpt het beeld te bekijken zoals een menselijk detective dat zou doen.

Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. De "Blik" (De Snelle Check)

Wanneer je een vraag stelt, werpt CVSearch eerst een snelle, informele blik op het hele beeld.

De Analogie: Stel je voor dat je een kamer binnenloopt en vraagt: "Is er hier een kat?" Als je direct een kat op de bank ziet, hoef je geen enkele lade te openen. Je zegt gewoon: "Ja, er is er een."
Wat het paper zegt: Als de AI er zeker van is dat ze genoeg informatie heeft uit het hele plaatje, geeft ze direct antwoord. Dit bespaart enorm veel tijd.

2. De "Deskundige Assistent" (De Snelle Scan)

Als de AI niet zeker is (misschien is het object klein of verborgen), roept ze een "Visuele Expert" aan (een tool genaamd SAM 3).

De Analogie: Dit is alsof je een beveiliger belt die uitstekend is in het opsporen van dingen. Je zegt: "Zoek naar een rode auto." De beveiliger wijst naar een plek.
Het Probleem: Soms mist de beveiliger het. Misschien is de auto te klein, of heeft de beveiliger gewoon een slechte dag. Als de beveiliger faalt, zouden de oude methoden gewoon opgeven en zeggen: "Ik kan het niet vinden."
Wat het paper zegt: CVSearch geeft niet op. Als de expert faalt, behandelt ze dat falen als een signaal om over te schakelen naar een grondigere modus.

3. De "Slimme Detective" (De Diepe Duik)

Dit is de grootste innovatie van het paper. Als de expert faalt, scant CVSearch niet blind het hele plaatje. Het gebruikt een Cognitive Assess-then-Search workflow.

Het "Slimme Rooster" (Semantisch Gesteunde Adaptieve Patching):
- Oude Manier: Stel je voor dat je probeert een naald in een hooiberg te vinden door de hooiberg in perfecte, stijve vierkante blokken te snijden. Je zou de naald misschien doormidden snijden, waardoor het moeilijk wordt om hem te herkennen.
- CVSearch Manier: In plaats van stijve vierkanten, kijkt CVSearch naar de "vorm" van het beeld. Het snijdt het beeld in stukken die de objecten natuurlijk volgen. Het houdt de hele auto in één stuk bij elkaar en de lucht in een ander stuk. Het snijdt de auto niet doormidden.
- De Analogie: In plaats van een pizza in een rooster te snijden, snijd je hem langs de natuurlijke lijnen van de beleg, zodat elke schijf een hele pepperoni heeft.
De "Bottom-Up" Zoektocht:
- Oude Manier: De meeste zoekmethoden beginnen bovenaan (het grote plaatje) en boren zich naar beneden. Als ze bovenaan een fout maken, blijven ze die fouten tot onderaan maken.
- CVSearch Manier: Het begint onderaan (de kleine, gedetailleerde stukken) en werkt zich omhoog.
- De Analogie: Stel je voor dat je probeert een specifieke persoon in een menigte te vinden. In plaats van naar de hele menigte te kijken en te raden, kijk je eerst naar de gezichten van individuele mensen. Zodra je een gezicht vindt dat op het doel lijkt, zoom je uit om te zien waar ze staan. Dit voorkomt dat de AI verdwaalt in het grote plaatje.

4. De "Focusfilter" (Visuele Complexiteit)

CVSearch is ook op een slimme manier lui. Het weet dat de lucht of een lege muur niet veel aandacht nodig hebben.

De Analogie: Als je op zoek bent naar een specifieke persoon, staar je niet naar de lege blauwe lucht. Je richt je energie op het drukke deel van de straat waar mensen zijn.
Wat het paper zegt: Het berekent een "Visuele Complexiteitsscore". Als een deel van het beeld saai is (lage complexiteit), negeert het het. Als het druk en gedetailleerd is (hoge complexiteit), besteedt het meer tijd aan het bekijken daarvan.

Het Resultaat

Het paper beweert dat door deze drie dingen te combineren—controleren of een snelle blik voldoende is, eerst een expert gebruiken, en vervolgens een slimme, vormbewuste diepe duik te doen indien nodig—CVSearch veel sneller en accurater is dan eerdere methoden.

Oude methoden waren ofwel te traag (elk vierkantje controleren) of te breekbaar (volledig vertrouwen op de expert die dingen kan missen).
CVSearch is als een detective die weet wanneer ze een snelle blik moet werpen, wanneer ze een specialist moet bellen, en wanneer ze een vergrootglas moet gebruiken op de meest interessante delen van de misdaadplek, terwijl ze tegelijkertijd het bewijs (de objecten) intact houdt.

Het paper demonstreert dit op hoogwaardige afbeeldingen (zoals 8K-foto's) waar het vinden van kleine details moeilijk is, en laat zien dat hun methode de "rode auto" en de "kleine helm" veel beter vindt dan andere AI-systemen, zonder dat het brein van de AI opnieuw getraind hoeft te worden.

Technische Samenvatting: CVSearch

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) staan voor een kritieke bottleneck in de perceptie van beelden met hoge resolutie (HR). Huidige modellen vertrouwen doorgaans op verwerkingsschema's met vaste resolutie die invoerbeelden agressief verkleinen, waardoor ze "blind" worden voor kleine objecten en fijnmazige details die essentieel zijn voor real-world taken. Hoewel recent onderzoek heeft geprobeerd dit aan te pakken via op bijsnijden gebaseerde paradigma's, HR-visuele encoders en visuele zoekopdrachten, kampen bestaande oplossingen met een fundamentele afweging tussen dekking en efficiëntie:

Op bijsnijden gebaseerde methoden behouden lokale details maar verbreken de ruimtelijke coherentie, wat leidt tot "semantische fragmentatie" waarbij objecten die de bijsnijgrenzen overschrijden, worden opgesplitst in disjuncte tokens.
HR-visuele Encoders injecteren hoogfrequente kenmerken maar missen vaak flexibiliteit in het hanteren van variërende beeldverhoudingen en vertrouwen nog steeds op globale verwerking.
Paradigma's voor Visuele Zoekopdrachten bieden actieve perceptie maar vallen uiteen in twee subcategorieën met specifieke beperkingen:
- Visueel Expert-geassisteerde Zoekopdracht (bijv. SEAL, DyFo) is efficiënt maar breekbaar; als de externe expert geen accurate voorstellen genereert (wat vaak voorkomt bij kleine of verduisterde objecten), lijdt het systeem aan onomkeerbare blinde vlekken.
- Scan-gebaseerde Zoekopdracht (bijv. RAP, ZoomEye) zorgt voor exhaustieve dekking via een rigide raster-scanning maar is semantisch onwetend. Dit leidt tot computere redundante op achtergrondgebieden en breekt objectsemantiek door rigide partitionering.

De kernuitdaging is het overbruggen van de kloof tussen de efficiëntie van expertgeleiding en de robuustheid van exhaustieve zoekopdrachten zonder de semantische integriteit te compromitteren.

Methodologie: CVSearch

CVSearch is een trainingsvrij, adaptief raamwerk dat MLLM's bevoegdheden verleent met cognitieve, mensachtige visuele zoekcapaciteiten. Het werkt volgens een Beoordelen-dan-Zoeken workflow, waarbij dynamisch wordt gewisseld tussen niet-selectieve globale perceptie en selectieve seriële aandacht, afhankelijk van de taakmoeilijkheid. Het raamwerk wordt onderbouwd door drie kerninnovaties:

1. Cognitief Gedreven Adaptief Schakelmechanisme

Geïnspireerd door menselijke cognitieve controle, voert CVSearch eerst een Globale Beoordeling uit om de informatievolheid ( $c_q$ ) te kwantificeren.

Als globale informatie voldoende is, geeft het model direct een antwoord.
Als dit onvoldoende is, triggert het een Visueel Expert-geassisteerde Zoekopdracht (met behulp van SAM 3) voor snelle lokalisatie.
Cruciaal: als de expert faalt (d.w.z. geen geldige voorstellen genereert), stopt het systeem niet. In plaats daarvan interpreteert het deze mislukking als een signaal om Scenabewuste Scanning te activeren, waardoor een naadloze overgang van snelle lokalisatie naar uitgebreide exploratie wordt gewaarborgd.

2. Semantisch Gidsen Adaptief Patchen (SGAP)

Om de semantische fragmentatie aan te pakken die inherent is aan rigide raster-scanning, introduceert CVSearch SGAP binnen de fase van Scenabewuste Scanning.

Mechanisme: In plaats van vaste roosters, gebruikt SGAP visuele kenmerken die uit de expert zijn gehaald (zelfs wanneer lokalisatie faalt) om adaptieve clustering uit te voeren. Het segmenteert het beeld overmatig in atomaire superpixels (via SLIC) en clusterde deze vervolgens tot semantisch coherente regio's met behulp van Agglomeratieve Clustering, beperkt door een regio-adjacentiegrafiek.
Optimalisatie: Het aantal clusters ( $k$ ) wordt dynamisch geoptimaliseerd om een kostenfunctie te minimaliseren die ruimtelijke overlapping bestraft terwijl het de clusteringkwaliteit (silhouetscore) maximaliseert.
Voordeel: Dit zorgt ervoor dat beeldpatches aligneren met objectcontouren in plaats van er dwars doorheen te snijden, waardoor de semantische integriteit behouden blijft.

3. Dynamische Bottom-Up Zoekstrategie

Om de foutpropagatie aan te pakken die inherent is aan top-down zoekmethoden, hanteert CVSearch een Dynamische Bottom-Up Zoekstrategie gedreven door een Visuele Complexiteitsprioriteit.

Visuele Complexiteit ( $c_v$ ): Kwantificeert de exploratiewaarde van een patch op basis van de spreiding van zijn atomaire kenmerken. Hoge complexiteit wijst op semantisch rijke voorgronden; lage complexiteit wijst op redundante achtergronden.
Zoekflow: De zoekopdracht begint op de diepste laag (bladknopen) waar gedetailleerde lokale informatie beschikbaar is, en aggregeert bewijs naar boven toe.
Pruning & Prioritering: Knopen met lage visuele complexiteit worden verwijderd (gepruned). Binnen elke laag worden knopen gesorteerd op een prioriteitswaarde ( $c_x$ ) die visuele complexiteit, bestaanszekerheid en geaggregeerde kindprioriteiten weegt.
Iteratieve Verfijning: Als het doel na een volledige zoekopdracht niet is bevestigd, wordt de best gerangschikte kandidaat uit de eerste laag teruggevoerd in de pijplijn voor iteratieve verfijning, waardoor het model kan herstellen van initiële mislukkingen.

Kernbijdragen

Cognitief Hiërarchisch Raamwerk: CVSearch is het eerste trainingsvrije raamwerk dat de efficiëntie van visueel expert-geassisteerde zoekopdrachten verenigt met de robuustheid van semantisch-bewuste scanning via een mislukking-bewust schakelmechanisme.
Semantisch Behoudende Granulariteit: Het voorgestelde SGAP hergebruikt visuele expertkenmerken om semantisch consistente beeldpatches te construeren, waardoor de fragmentatie veroorzaakt door rigide roosters effectief wordt overwonnen.
Robuuste Bottom-Up Exploratie: De dynamische bottom-up zoekstrategie voorkomt foutpropagatie die typerend is voor top-down methoden, wat de perceptie van kleine objecten aanzienlijk verbetert.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat CVSearch SOTA-nauwkeurigheid bereikt op HR-benchmarks, terwijl het tegelijkertijd de zoekefficiëntie aanzienlijk verbetert ten opzichte van scan-gebaseerde basismodellen.

Experimentele Resultaten

De auteurs hebben CVSearch geëvalueerd op een uitgebreide reeks benchmarks met hoge resolutie, waaronder V Bench*, HR-Bench (4K/8K), MME-RealWorld-Lite, TreeBench en FineRS-4K.

Prestatiewinst: Het integreren van CVSearch met open-source MLLM's (bijv. LLaVA-OV-7B, Qwen2.5-VL-7B, InternVL2.5-8B) leverde aanzienlijke verbeteringen op. Zo verhoogde het toepassen van CVSearch op InternVL2.5-8B de algehele nauwkeurigheid op HR-Bench 8K met +20,2% en op V* Bench met +16,2% (waarmee 91,6 werd bereikt).
Vergelijking met SOTA: CVSearch presteerde beter dan zowel expert-geassisteerde methoden (bijv. DyFo) als scan-gebaseerde methoden (bijv. ZoomEye, RAP) op alle benchmarks. Op V* Bench overtrof het de sterke expert-geassisteerde DyFo (81,2) met een score van 91,6.
Efficiëntie: Hoewel het enige overhead introduceert ten opzichte van een standaard single-pass model, presteerde CVSearch aanzienlijk beter dan bestaande scan-gebaseerde raamwerken in zowel nauwkeurigheid als doorvoer. Op HR-Bench 4K bereikte het een doorvoer van 3,77 samples/minuut, bijna 3x sneller dan ZoomEye en RAP, terwijl het een hogere nauwkeurigheid behield.
Schaalbaarheid: Het raamwerk toonde consistente prestatiewinsten over modellen van variërende grootte (2B tot 32B) en generaties (Qwen2.5-VL tot Qwen3-VL), waarmee de effectiviteit zelfs voor zeer geavanceerde backbones wordt bewezen.

Betekenis en Claims

Het artikel claimt dat CVSearch het kritieke dilemma tussen efficiëntie en robuustheid in visuele perceptie met hoge resolutie oplost door visuele zoekopdrachten te herformuleren als een cognitief, hiërarchisch besluitvormingsproces. Door menselijke visuele zoekmechanismen na te bootsen – specifiek de wisselwerking tussen niet-selectieve globale gist-extractie en selectieve seriële aandacht – stelt het raamwerk MLLM's in staat om fijnmazige details te vangen met minimale computere redundante.

De auteurs benadrukken dat dit werk het veld in de richting stuurt van meer efficiënt, schaalbaar en toegankelijk multimodaal begrip met hoge resolutie. Door prioriteit te geven aan adaptieve resource-toewijzing en computere redundante te verminderen via semantisch-bewuste pruning en bottom-up exploratie, stelt CVSearch bestaande MLLM's in staat complexe visuele redeneertaken uit te voeren zonder de noodzaak van uitgebreide hertraining of reinforcement learning-pijplijnen.

Erkende Beperkingen:
Het artikel noteert nederig twee primaire beperkingen:

Computere Latentie: Hoewel sneller dan scan-gebaseerde methoden, is het iteratieve zoekproces inherent trager dan standaard single-pass inferentie of lichtgewicht expert-geassisteerde basismodellen.
Afhankelijkheid van Visuele Expert: De huidige implementatie vertrouwt uitsluitend op SAM 3 voor regio-voorstellen; het generalisatievermogen met verschillende soorten visuele experts blijft onontdekt.