🤖 AI

CAMI: Cost-Aware Agent-Guided Multi-Indexing for Semantic Retrieval

CAMI is een kostenbewust framework dat de constructie van semantische retrieval-indices optimaliseert door de selectie van verrijking te behandelen als een budgettair portfolio-probleem, waarbij gebruik wordt gemaakt van agentic discovery en vroege pruning om configuraties met een hoge recall te identificeren tegen aanzienlijk lagere computationele kosten dan bij een exhaustieve zoektocht.

Oorspronkelijke auteurs: Adnan Qidwai, Anand Eswaran, Sonam Mishra, Jaydeep Sen, Sachindra Joshi

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adnan Qidwai, Anand Eswaran, Sonam Mishra, Jaydeep Sen, Sachindra Joshi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar het perfecte recept voor een enorme, complexe soep (jouw "zoekresultaten") met behulp van een gigantische bibliotheek aan ingrediënten (jouw "documentcorpus").

In het verleden zou je misschien gewoon alles in de pot gegooid hebben en gehoopt op het beste. Maar moderne zoeksystemen proberen slimmer te zijn. Ze gebruiken niet alleen de ruwe ingrediënten; ze maken "smaakversterkers" (zoals samenvattingen, geherformuleerde vragen of mindmaps) voor elk ingrediënt voordat ze überhaupt beginnen met koken. Dit helpt de soep beter te laten smaken en beter aan te sluiten bij waar de klant (de gebruiker) eigenlijk naar op zoek is.

Er is echter één groot probleem: het kost een fortuin om al die smaakversterkers te maken.

Als je een miljoen ingrediënten hebt, en je probeert vijf verschillende soorten smaakversterkers te maken voor elk ingrediënt met vijf verschillende chefs (AI-modellen), dan ben je al door je geld heen voordat je überhaupt begint met koken. Je kunt niet simpelweg elke mogelijke combinatie proberen om te zien welke het lekkerst smaakt; de rekening zou astronomisch zijn.

Dit is waar CAMI om de hoek komt kijken. Zie CAMI als een slimme, budgetbewuste hoofdchef die precies weet hoe hij het beste soeprecept kan vinden zonder ook maar één dollar te verspillen.

Zo werkt CAMI, opgedeeld in eenvoudige stappen:

1. De "Proefstrategie" (Multi-Fidelity Evaluation)

In plaats van een volledige, miljoen liter grote pan soep te koken om een nieuw recept te testen, kookt CAMI eerst een piepklein, representatief lepeltje.

De Metafoor: Stel je voor dat je wilt testen of het toevoegen van "gerookte paprika" werkt. Je kookt niet meteen de hele batch. Je kookt een klein kopje. Als het vies smaakt, gooi je het direct weg. Als het lekker smaakt, dan ga je pas over naar een grotere pan.
De claim uit het paper: CAMI test deze "smaakversterkers" (genoemd Enriched Data Representations of EDR's) eerst op kleine deelverzamelingen van data. Dit bespaart een enorme hoeveelheid geld omdat slechte ideeën vroegtijdig worden gestopt voordat ze duur worden.

2. De "Lego-blokjes Aanpak" (Atomic Units)

Oude methoden probeerden complete, vooraf gemaakte soeprecepten te testen als enkele, onveranderlijke blokken. CAMI behandelt ingrediënten als Lego-blokjes.

De Metafoor: In plaats van "Recept A" (een vaste mix van paprika, zout en ui) te testen, test CAMI de "Paprika-blokje" en het "Zout-blokje" apart. Zodra het weet dat het "Paprika-blokje" goed is, kan het dit later aan een "Zout-blokje" klikken zonder de paprika opnieuw te hoeven testen.
De claim uit het paper: CAMI breekt het probleem af in "atomaire eenheden" (een specifiek type smaakversterker + een specifiek AI-model). Het test deze individueel en combineert vervolgens de winnaars. Dit betekent dat het geen geld verspilt aan het opnieuw evalueren van onderdelen van het recept waarvan het al weet dat ze werken.

3. De "Creatieve Sous-Chef" (Agentic Discovery)

Meestal houden chefs zich aan een vaste lijst met ingrediënten (zoals "samenvatting" of "parafrasering"). Maar soms heeft een specifieke soort soep een vreemd, op maat gemaakt ingrediënt nodig dat niemand had bedacht.

De Metafoor: CAMI heeft een creatieve assistent (een AI-agent) die naar de specifieke ingrediënten in jouw bibliotheek kijkt en zegt: "Hé, voor deze specifieke soep zouden we misschien een 'causale link'-versterker moeten proberen in plaats van een standaard samenvatting."
De claim uit het paper: Het systeem gebruikt een AI-agent om nieuwe, op maat gemaakte "smaakversterkers" uit te vinden die specifiek zijn afgestemd op de data waarmee het werkt, in plaats van alleen een generieke, vooraf ingestelde lijst te gebruiken.

4. De "Budgetbewaker" (Cost-Aware Search)

Het belangrijkste deel van CAMI is dat het nooit over budget gaat. Het heeft een strikt budget voor de "proeverijen".

De Metafoor: De hoofdchef heeft een portemonnee. Elke keer als hij een nieuwe combinatie probeert, gaat er geld uit. Als een combinatie te duur is of niet lekker smaakt, wordt deze direct geschrapt. De chef geeft alleen geld uit aan combinaties die een echte kans hebben om de winnaar te worden.
De claim uit het paper: Het systeem gebruikt een wiskundige methode (genaamd MO-ASHA) om te beslissen welke ideeën het waard zijn om als volgende getest te worden. Het stopt met het verspillen van geld aan ideeën die waarschijnlijk niet zullen slagen, waardoor het de beste "Recall vs. Cost"-balans vindt.

De Resultaten: Wat hebben ze gevonden?

Het paper testte dit systeem op verschillende moeilijke "soeprecepten" (datasets zoals wetenschappelijke artikelen, economische data en technische Q&A).

Betere Smaak: CAMI vond soeprecepten die tot 9,4% beter waren in het vinden van de juiste antwoorden dan de standaardmethoden.
Goedkopere Boodschappen: Het vond deze betere recepten met 5 keer minder geld dan wanneer ze willekeurig hadden geraden of alles hadden geprobeerd te testen.
Het "Sweet Spot": Het heeft succesvol de "Pareto Frontier" geïdentificeerd. In gewone mensentaal betekent dit dat het de perfecte balans heeft gevonden waarbij je het maximale aan "smaak" (retrieval kwaliteit) krijgt voor het minimale bedrag aan "geld" (kosten).

Samenvatting

CAMI is een slim systeem dat voorkomt dat we geld verspillen aan het perfectioneren van zoekmachines. In plaats van blindelings elke mogelijke combinatie van AI-modellen en tekstsamenvattingen te proberen, doet het het volgende:

Test klein om geld te besparen.
Bouwt met blokjes (door goede onderdelen te hergebruiken) in plaats van steeds opnieuw te beginnen.
Bedenkt op maat gemaakte tools voor de specifieke taak.
Stopt met uitgeven zodra een idee er slecht uitziet.

Het resultaat is een zoeksysteem dat zowel slimmer als aanzienlijk goedkoper is om te bouwen.

Technische Samenvatting: CAMI – Praktische, Kostenbewuste Agent-gestuurde Multi-Indexing voor Semantische Retrieval

1. Probleemstelling

Moderne Retrieval-Augmented Generation (RAG) systemen vertrouwen steeds vaker op Multi-Index Retrieval om de lexicale en structurele mismatch tussen gebruikersvragen en brondocumenten te verkleinen. Deze aanpak houdt het genereren van Enriched Data Representations (EDRs) in — zoals synthetische samenvattingen, parafrases of vragen — met behulp van Large Language Models (LLMs) tijdens de ingestie-fase. Deze EDR's worden samen met de basistekst geïndexeerd om de recall te verbeteren.

Deze strategie introduceert echter een combinatorische kostenbottleneck:

Complexiteit van de Zoekruimte: De ruimte van mogelijke EDR-typen (bijv. samenvatting versus mindmap) gekoppeld aan generatieve modellen (bijv. Qwen-8B versus Llama-70B) groeit exponentieel.
Evaluatiekosten: Het uitputtend evalueren van elke mogelijke portfolio (combinatie van EDR's en modellen) op een volledige corpus is financieel en computationeel onhaalbaar. De kosten van het zoeken schalen lineair met de omvang van de corpus, wat vaak de kosten overstijgt van het simpelweg inzetten van een suboptimale index.
Statische Beperkingen: Bestaande pipelines vertrouwen vaak op vaste, statische catalogi van verrijkingssjablonen die mogelijk niet aansluiten bij specifieke kenmerken van de corpus, wat leidt tot verspilde constructiekosten zonder gegarandeerde verbetering van de recall.

De kernuitdaging is het identificeren van de Pareto-optimale frontlijn van multi-index configuraties die de retrieval recall maximaliseren terwijl de structurele implementatiekosten worden geminimaliseerd, alles binnen een strikt optimalisatiebudget.

2. Methodologie: Het CAMI-framework

De auteurs stellen CAMI (Cost-Aware Multi-Indexing) voor, een framework dat de constructie van multi-indexing formaliseert als een gebudgeteerd, multi-objectief portfolio-selectieprobleem. CAMI werkt in twee primaire fasen:

Fase 1: Agentic EDR Discovery

In plaats van te vertrouwen op een statische catalogus, gebruikt CAMI een agentic discovery-fase. Een LLM-gebaseerde agent stelt corpus-specifieke EDR-prompttemplates voor op basis van seed query-evidence paren en de corpuscontext.

Governed Proposal: De agent genereert templates (bijv. "Procedural Extraction" voor technische handleidingen) die worden gevalideerd, op schema worden gecontroleerd en worden "bevroren" voordat de zoektocht begint.
Budgetboekhouding: Het tokengebruik voor de discovery-agent wordt in rekening gebracht bij het zoekbudget, waardoor wordt gewaarborgd dat dynamische expansie de financiële beperkingen niet omzeilt.

Fase 2: Het AACA Search Algoritme

De kern van de optimalisatiemotor is AACA (Atomic-unit Acquisition + Closure + MO-ASHA). Het behandelt de zoekruimte niet als monolithische configuraties, maar als samenstelbare atomaire eenheden (een EDR-type gekoppeld aan een specifiek generatief model).

Definitie van Atomaire Eenheid: Een atomaire eenheid $a = (e, m)$ is een specifieke verrijkingsmethode $e$ en een model $m$ . Een portfolio is een verzameling actieve atomaire eenheden.
Multi-Fidelity Evaluatie: Om kosten te beheersen, evalueert CAMI configuraties op geneste query-subsets ( $Q_0 \subset Q_1 \subset \dots \subset Q_L$ $Q_{0} \subset Q_{1} \subset \dots \subset Q_{L}$ ).
- Fidelity 0: Kleine, representatieve subsets die worden gebruikt voor initiële screening.
- Hogere Fidelities: Grotere subsets die worden gebruikt voor bevestiging.
- Representativiteit: Subsets worden gesampled via topic-aware stratificatie om ervoor te zorgen dat ze de volledige query-distributie benaderen.
Drie-actie Lus: Het algoritme selecteert iteratief één van de drie acties:
1. Acquisition: Een LLM-gebaseerde selector stelt nieuwe atomaire eenheden voor (gedreven door nieuwheid/synergie) om de pool uit te breiden.
2. Closure: Het systeem combineert voorheen gevalideerde atomaire eenheden uit de huidige fidelity-pool om nieuwe portfolio's te vormen. Dit maakt gebruik van het feit dat als Eenheid A en Eenheid B individueel goed zijn, hun combinatie het waard is om getest te worden zonder ze vanaf nul opnieuw te evalueren.
3. Promotion: Configuraties worden gepromoveerd naar hogere fidelities op basis van een Multi-Objective Asynchronous Successive Halving (MO-ASHA) schema.
Confidence-Aware Promotion: Promoties maken gebruik van een Upper Confidence Bound (UCB) ranking om empirische prestaties te balanceren met onzekerheid (standaardfout). Dit voorkomt dat veelbelovende configuraties voortijdig worden weggegooid vanwege ruis in kleine query-subsets.
Kosten-semantiek: CAMI maakt onderscheid tussen:
- Runtime Uncached Spend ( $C_{uncached}$ ): De werkelijke dollarkosten die tijdens het zoeken worden gemaakt (geregeerd door het budget $B_{search}$ ).
- Structurele Kosten ( $C_{struct}$ ): De theoretische kosten om een definitieve index te implementeren, berekend door de nominale kosten van de atomaire eenheden op te tellen (met rekening houden met caching-hergebruik).

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Formalisering: Retrieval verrijking wordt geframed als een budgetmatig Pareto-front ontdekkingsprobleem met expliciete kosten-semantiek, waarbij constructiekosten worden gescheiden van zoekoptimalisatiekosten.
AACA Optimizer: Introductie van een optimizer die MO-ASHA budgetcontroles verbindt met fidelity-lokale closure, wat de computationele hergebruik van EDR-modelparen tijdens het zoeken mogelijk maakt.
Agentic Discovery: Integratie van een LLM-gestuurde fase om corpus-specifieke EDR-templates te genereren, waarmee men verder gaat dan statische seed-catalogi terwijl aan budgetbeperkingen wordt voldaan.
Operationalisering: Een praktische, end-to-end RAG-ingestie pipeline die is geëvalueerd op diverse publieke datasets, waarbij significante verbeteringen in de recall worden aangetoond.

4. Experimentele Resultaten

Het framework werd geëvalueerd op vijf datasets: BRIGHT-ES (Earth Science), BRIGHT-Econ (Economie), BRIGHT-SO (Stack Overflow), StatCanDialogueRetrieval, en NQTables.

Prestaties vs. Random Search: CAMI (specifiek de AACA optimizer) presteerde consequent beter dan een budget-gematchte random search baseline. Over alle datasets heen behaalde het een geaggregeerde winrate van 92% (92 winst vs. 8 verlies) bij het identificeren van superieure Recall@10 portfolio's.
Recall Winsten: CAMI identificeerde portfolio's die de Recall@10 met wel 9,4% verbeterden ten opzichte van de content-only baselines (bijv. de StatCan dataset).
Zoekefficiëntie: CAMI identificeerde high-recall portfolio's met tot wel 5x minder budget vergeleken met random search baselines. In specifieke gevallen (bijv. StatCan) bereikte het bijna optimale configuraties met minder dan 20% van de kosten die nodig waren voor een exhaustieve grid search.
Ablatie-studies:
- Uncertainty-Aware Ranking: Het gebruik van UCB voor promotie verbeterde de doorvoer aanzienlijk vergeleken met mean-only ranking, waardoor de voortijdige eliminatie van hoog-potentieel configuraties op ruisige kleine subsets werd voorkomen.
- Closure vs. Discovery: Terwijl LLM-gestuurde discovery de kandidaat-bibliotheek uitbreidde, was de fidelity-lokale closure mechanisme (het recombineren van bewezen atomen) de primaire drijfveer voor de lange-termijn zoekefficiëntie.
- Dynamisch vs. Statisch: Agent-ontdekte EDR's (bijv. causal_links voor Economie, function_names voor Stack Overflow) kwamen frequent voor in de uiteindelijke Pareto-optimale portfolio's, en presteerden beter dan statische seed-catalogi in zowel kosten als kwaliteit.

5. Betekenis en Claims

Het artikel claimt dat CAMI de vormgeving van multi-index retrieval systemen fundamenteel verandert door de verschuiving van statische, heuristiek-gestuurde verrijking naar evidence-gestuurde, corpus-adaptieve optimalisatie.

Praktische toepasbaarheid: Door de zoekbudgetten te ontkoppelen van de totale omvang van de corpus en gebruik te maken van atomaire recombinatie, maakt CAMI de optimalisatie van complexe RAG-pipelines haalbaar in echte productiescenario's waar exhaustieve evaluatie onmogabel is.
Kosten-Kwaliteit Afweging: Het framework biedt een rigoureuze methode om de recall-kosten Pareto-frontlijn te navigeren, waardoor gebruikers configuraties kunnen selecteren die de beste retrieval kwaliteit bieden voor een specifiek implementatiebudget.
Schaalbaarheid: Het gebruik van multi-fidelity evaluatie en caching-bewuste budgettracking stelt het systeem in staat om te schalen naar grote corpora zonder excessieve tokenkosten te veroorzaken tijdens de configuratiezoekfase.

De auteurs erkennen beperkingen en merken op dat de aanpak rust op de assumptie dat atomaire eenheden additief zijn (waarbij complexe niet-additieve interacties worden genegeerd) en dat de prestaties afhangen van de nauwkeurigheid van proxy-subsets (fidelity subsets) in het reflecteren van het gedrag van de volledige corpus. Toekomstig werk suggereert het modelleren van sterkere niet-additieve interacties en het verbeteren van de stopping rules voor promotie.