💻 computer science

MIRAGE: Runtime Scheduling for Multi-Vector Image Retrieval with Hierarchical Decomposition

MIRAGE is een efficiënt runtime-schedulingframework voor multi-vector beeldextractie dat een nieuw hiërarchisch decompositieparadigma hanteert om de query-beelduitlijning te verbeteren en computationele redundantie te minimaliseren, waarbij het significante nauwkeurigheidsverbeteringen bereikt terwijl de berekening tot wel 3,5 keer wordt verminderd in vergelijking met bestaande systemen.

Oorspronkelijke auteurs: Maoliang Li, Ke Li, Yaoyang Liu, Jiayu Chen, Zihao Zheng, Yinjun Wu, Chenchen Liu, Xiang Chen

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maoliang Li, Ke Li, Yaoyang Liu, Jiayu Chen, Zihao Zheng, Yinjun Wu, Chenchen Liu, Xiang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Een speld zoeken in een hooiberg (De verkeerde manier)

Stel je voor dat je op zoek bent naar een specifieke foto in een enorme digitale fotoalbum. Je zegt tegen de computer: "Zoek een foto van een meisje dat een vogel vasthoudt en een shirt draagt met een knoopje."

De Oude Manier (Single Vector): De computer probeert je hele verzoek en de hele foto samen te vatten in één enkele "samenvattende notitie." Het is alsof je probeert de complexe plot van een film in één zin te beschrijven. Het is snel, maar het mist vaak de details. De computer vindt misschien een foto van een meisje en een vogel, maar mist het knoopje op het shirt omdat de "samenvattende notitie" te vaag werd.
De "Betere" Manier (Multi-Vector / MVR): Om dit op te lossen, breken recente systemen je verzoek op in kleinere delen ("meisje", "vogel", "knoopje") en breken ze de foto op in veel kleine stukjes. Het controleert elk stukje van de foto tegen elk deel van je verzoek. Dit is veel nauwkeuriger, maar het is traag en uitputtend. Het is alsof je 100 verschillende detectives inhuurt om elke baksteen in een gebouw te controleren om één specifieke barst te vinden. Het werkt, maar het duurt eeuwig en kost veel energie.

De Oplossing: MIRAGE (De Slimme Projectmanager)

De auteurs hebben MIRAGE ontwikkeld, een systeem dat fungeert als een slimme projectmanager voor deze detectives. In plaats van blindelings alles te controleren, organiseert MIRAGE de zoektocht om zowel nauwkeurig als snel te zijn.

Dit zijn de drie belangrijkste trucs die MIRAGE gebruikt:

1. De "Zoomlens"-strategie (Hiërarchische Decompositie)

Stel je voor dat je objecten in een foto zoekt. Sommige objecten zijn groot (zoals een hele kamer), sommige zijn gemiddeld (zoals een stoel), en sommige zijn minuscuul (zoals een knoopje).

Het Probleem: De oude "Multi-Vector"-systemen gebruikten slechts één vast zoomniveau voor alles. Als ze te veel inzoomden, hakten ze de stoel in stukken. Als ze te ver uitzoomden, misten ze het knopje.
De MIRAGE Fix: MIRAGE gebruikt meerdere zoomniveaus tegelijkertijd. Het bekijkt de foto met een "groothoeklens" (grof), een "standaard lens" (gemiddeld) en een "macrolens" (fijn).
- Het koppelt het woord "kamer" aan het groothoekbeeld.
- Het koppelt het woord "stoel" aan het standaardbeeld.
- Het koppelt het woord "knoopje" aan het macrobeeld.
- Resultaat: Elk object vindt zijn perfecte match-grootte, waardoor de zoektocht veel nauwkeuriger wordt.

2. De "Stop de Doodlopende Wegen"-strategie (Runtime Scheduling)

Zelfs met de zoomlens is het nog steeds te veel werk om elke hoek voor elke foto te controleren. MIRAGE werkt als een slim filter dat de zoektocht voortijdig stopt wanneer het overduidelijk is dat een foto niet degene is die je zoekt.

De "Long Tail" Pruning: Stel je voor dat je op zoek bent naar een specifieke auto. In de eerste paar seconden van het scannen zie je 100 foto's. Bij 90 van hen is duidelijk dat er geen auto in zit. MIRAGE zegt: "Stop! Verspil geen tijd aan het inzoomen op deze 90 foto's." Het sluit ze direct uit.
De "Early Exit": Soms vind je het antwoord snel. Als je op zoek bent naar een "rode bal" en de computer vindt een perfecte match op het "gemiddelde zoomniveau", hoeft hij geen tijd meer te verspillen aan het controleren van het "super-fijne zoomniveau". Hij stopt daar.
De "Empty Holes" Verwijdering: Soms stelt de computer een zoomniveau in dat bijna identiek is aan het niveau ernaast (zoals 10% versus 11% inzoomen). MIRAGE realiseert zich dat deze redundant zijn en verwijdert de onnodige stap, wat tijd bespaart.

3. De "Auto-Pilot" Configuratie

Elk fotoalbum is anders. Sommige bevatten kleine details, andere grote scènes. Handmatig vertellen aan de computer hoeveel zoomniveaus hij moet gebruiken of hoe streng hij moet filteren, is moeilijk.

De MIRAGE Fix: Het systeem heeft een zelfregulerende modus. Voordat het de hoofddatabase begint te doorzoeken, doet het een snelle "testrit" op een kleine steekproef. Het bepaalt automatisch de perfecte instellingen (hoeveel zoomniveaus, hoe streng de filtering) voor dat specifieke dataset. Je hoeft geen expert te zijn om het werkend te krijgen; het configureert zichzelf.

De Resultaten: Sneller en Slimmer

Het paper testte MIRAGE tegen de huidige beste systemen:

Nauwkeurigheid: Het vond de juiste foto's veel beter dan de oude "enkele samenvatting"-methode en zelfs beter dan de vorige "multi-vector"-methoden.
Snelheid: Het was 3,5 keer sneller dan het vorige beste multi-vector systeem.
Efficiëntie: Dit bereikte het door minder onnodig werk te verrichten, niet door snellere hardware te gebruiken.

Samenvattende Analogie

Beschouw het oude systeem als een brute-force zoektocht: "Ik ga elke pagina van elk boek in de bibliotheek lezen om het woord 'appel' te vinden." Het vindt het wel, maar het duurt een leven lang.

MIRAGE is als een bibliothecaris met een slimme index:

Het weet dat het eerst in de sectie "Fruit" moet kijken (Coarse Zoom).
Als het een boek ziet dat duidelijk over "Auto's" gaat, gooit het dat direct weg (Pruning).
Als het het woord "appel" op pagina 5 vindt, hoeft het pagina 6 tot en met 500 niet meer te lezen (Early Exit).
Het leert automatisch welke sectie van de bibliotheek het meest relevant is voor jouw specifieke vraag (Auto-Configuration).

Het resultaat? Je krijgt het juiste antwoord, veel sneller en met minder inspanning.

Technische Samenvatting: MIRAGE – Runtime Scheduling voor Multi-Vector Image Retrieval met Hiërarchische Decompositie

1. Probleemstelling

Multimodale Retrieval-Augmented Generation (RAG) systemen vertrouwen steeds vaker op Multi-Vector Retrieval (MVR) om de nauwkeurigheid te verbeteren ten opzichte van single-vector methoden. Hoewel MVR queries en afbeeldingen deelt in fijnere componenten (de "1+N Modus"), staat het voor aanzienlijke uitdagingen op het gebied van efficiëntie en praktische toepasbaarheid:

Granulariteits-mismatch: Vaste decompositie-granulariteiten sluiten vaak niet aan bij de variërende schalen van objecten binnen een afbeelding. Een enkel granulariteitsniveau kan grote objecten fragmenteren of verschillende objecten samenvoegen, wat leidt tot suboptimale retrieval-nauwkeurigheid.
Computationele Redundantie: Fijnmazige decompositie verhoogt het aantal gelijkenisberekeningen drastisch. Bestaande methoden missen mechanismen om structurele redundantie uit te buiten, zoals het feit dat grove granulariteiten vaak voldoende zijn om relevante van irrelevante afbeeldingen te onderscheiden, of dat niet alle queries de fijnste granulariteit vereisen voor convergentie.
Gebrek aan Aanpasbaarheid: Huidige benaderingen vereisen doorgaans handmatige afstemming van decompositieparameters (bijv. het aantal segmenten $N$ ), wat niet triviaal is en varieert per dataset.

2. Methodologie

De auteurs stellen MIRAGE voor, een runtime scheduling framework dat een hiërarchisch decompositieparadigma introduceert en computationele redundantie uitbuit om een balans te vinden tussen nauwkeurigheid en efficiëntie.

2.1 Hiërarchische Decompositie ("1+M+N Modus")

MIRAGE breidt de standaard "1+N Modus" uit naar een "1+M+N Modus":

Structuur: In plaats van een enkele vaste granulariteit, worden afbeeldingen hiërarchisch gesegmenteerd in meerdere granulariteiten ( $M$ ), variërend van grof naar fijn.
Matching: Het systeem iterereert door deze granulariteiten. Voor elke sub-query wordt de gelijkenis gescoord tegen beeldsegmenten op elk granulariteitsniveau.
Aggregatie: De uiteindelijke score voor een sub-query is de maximale gelijkenis gevonden over alle onderzochte granulariteiten. Dit stelt het systeem in staat om adaptief de optimale segmentgrootte voor elk specifiek object te selecteren, wat de robuustheid van de uitlijning (alignment) verbetert.

2.2 Computationele Efficiëntie via Redundantie-exploitatie

MIRAGE identificeert en elimineert drie soorten redundantie die inherent zijn aan hiërarchische retrieval:

Low-Similarity Tail Pruning: Ground-truth afbeeldingen ranken consistent hoog, zelfs bij grove granulariteiten. MIRAGE gebruikt een online algoritme om afbeeldingen met lage scores te verwijderen uit de daaropvolgende, duurdere fijnmazige iteraties, waardoor de zoekruimte dynamisch wordt verkleind.
Hierarchy Depth Optimization (Early Exit): Niet alle queries vereisen het doorlopen van de volledige hiërarchie. MIRAGE monitort de convergentie van de top- $K$ ranglijst met behulp van de Kendall's $\tau$ coëfficiënt. Zodra de ranglijst stabiliseert (wat aangeeft dat de beste matches zijn gevonden), verlaat het systeem de procedure voortijdig, waardoor onnodige diepe traversals worden vermeden.
Hollow Hierarchy Elimination: Naburige granulariteiten vangen vaak dezelfde objecten op, wat "holle" tussenliggende niveaus creëert. MIRAGE gebruikt een offline algoritme om datasets te profileren en deze redundante tussenliggende granulariteiten te verwijderen, waardoor de hiërarchische structuur vóór runtime wordt geoptimaliseerd.

2.3 Geautomatiseerde Configuratie

Om praktische bruikbaarheid in diverse scenario's te garanderen, integreert MIRAGE een latency-gestuurd geautomatiseerd configuratie-algoritme. Het voert een grid search uit over parameters (initiële pruning ratio, decay rate, early-exit drempelwaarde en granulariteit stride) om de optimale afweging tussen nauwkeurigheid en throughput te vinden voor een specifieke dataset, waardoor handmatige afstemming overbodig is.

3. Belangrijkste Bijdragen

Hiërarchisch Framework: Introductie van de "1+M+N Modus", die zich aanpast aan variërende objectschalen door scores over meerdere granulariteiten te aggregeren, wat de retrieval-uitlijning aanzienlijk verbetert.
Redundantie-exploitatie: Systematische identificatie en eliminatie van computationele redundanties (low-similarity tails, onnodige diepte en holle hiërarchieën) om retrieval te versnellen zonder de nauwkeurigheid op te offeren.
Geautomatiseerde Scheduling: Een gezamenlijk optimalisatieframework dat algoritme-decompositie en computationele scheduling parameters automatisch configureert op basis van datasetkarakteristieken.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op vier datasets (CREPE, MSCOCO, NoCaps, Flickr) waarbij MIRAGE werd vergeleken met Vanilla single-vector retrieval en het state-of-the-art POQD (1+N Modus) systeem.

Nauwkeurigheid: MIRAGE bereikt substantiële verbeteringen in nauwkeurigheid. Vergeleken met POQD verbetert het de NDCG@10 met ongeveer 1.43x tot 1.52x (een absolute winst van ~5 procentpunt). Het presteert beter dan de naïve "1+M+N" benadering door effectief redundantie te verwijderen.
Efficiëntie: Hoewel de ruwe hiërarchische benadering computationeel duur is, verminderen de optimalisatietechnieken (O1, O2, O3) de overhead drastisch. MIRAGE bereikt een versnelling van tot wel 3.5x ten opzichte van het bestaande MVR-systeem (POQD) terwijl de superieure nauwkeurigheid behouden blijft.
Trade-off: Het framework slaagt erin de Pareto-frontier te verschuiven, waarbij configuraties worden geboden die een hogere nauwkeurigheid bieden dan Vanilla retrieval met een aanzienlijk betere throughput dan ongeoptimaliseerde MVR.

5. Betekenis en Claims

Het artikel claimt de eerste hiërarchische decompositie-benadering te presenteren in het domein van multimodale RAG. De betekenis ligt in:

Algoritmische Fundering: Het biedt een uitbreidbare basis die de nauwkeurigheidsverbetering van naïeve MVR verdubbelt.
Praktische Leefbaarheid: Door de computationele kosten met tot wel 3.5x te verlagen, maakt het fijnmazige multimodale retrieval haalbaar voor real-world implementaties, waarbij de efficiëntie van single-vector retrieval wordt benaderd terwijl de nauwkeurigheidsvoordelen van decompositie behouden blijven.
Aanpasbaarheid: De geautomatiseerde configuratiecapaciteit zorgt ervoor dat het systeem robuust is in diverse implementatiescenario's zonder dat er deskundige handmatige afstemming nodig is.