🤖 AI

CAMI: Cost-Aware Agent-Guided Multi-Indexing for Semantic Retrieval

CAMI ist ein kostenbewusstes Framework, das die Konstruktion semantischer Retrieval-Indizes optimiert, indem es die Auswahl der Anreicherungen als ein Budget-Portfolio-Problem behandelt und dabei agentenbasierte Entdeckung sowie frühes Pruning nutzt, um Konfigurationen mit hoher Recall-Rate zu identifizieren, die signifikant geringere Rechenkosten als eine erschöpfende Suche aufweisen.

Ursprüngliche Autoren: Adnan Qidwai, Anand Eswaran, Sonam Mishra, Jaydeep Sen, Sachindra Joshi

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adnan Qidwai, Anand Eswaran, Sonam Mishra, Jaydeep Sen, Sachindra Joshi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das perfekte Rezept für eine riesige, komplexe Suppe (Ihre „Suchergebnisse“) zu finden, indem Sie eine riesige Bibliothek von Zutaten (Ihren „Dokumentenkorpus“) nutzen.

Früher hätten Sie vielleicht einfach alles in den Topf geworfen und gehofft, dass es gut wird. Aber moderne Suchsysteme versuchen, klüger zu sein. Sie verwenden nicht nur die rohen Zutaten; sie erstellen für jede einzelne Zutat erst einmal „Geschmacksverstärker“ (wie Zusammenfassungen, umformulierte Fragen oder Minded-Maps), bevor sie überhaupt mit dem Kochen beginnen. Dies hilft der Suppe, besser zu schmecken und dem zu entsprechen, wonach der Kunde (der Nutzer) tatsächlich sucht.

Es gibt jedoch ein riesiges Problem: Es kostet ein Vermögen, all diese Geschmacksverstärker herzustellen.

Wenn Sie eine Million Zutaten haben und versuchen, für jede einzelne fünf verschiedene Arten von Geschmacksverstärkern mit fünf verschiedenen Köchen (KI-Modellen) zu erstellen, werden Sie pleitegehen, noch bevor Sie überhaupt mit dem Kochen beginnen. Sie können nicht einfach jede mögliche Kombination ausprobieren, um zu sehen, welche am besten schmeckt; die Rechnung wäre astronomisch.

Hier kommt CAMI ins Spiel. Betrachten Sie CAMI als einen smarten, budgetbewussten Chefkoch, der genau weiß, wie er das beste Suppenrezept findet, ohne auch nur einen einzigen Dollar zu verschwenden.

So funktioniert CAMI, aufgeschlüsselt in einfache Schritte:

1. Die „Geschmackstest“-Strategie (Multi-Fidelity-Evaluierung)

Anstatt zuerst einen vollen, millionengalerigen Topf Suppe zu kochen, um ein neues Rezept zu testen, kocht CAMI zuerst eine winzige, repräsentative Kostprobe.

Die Metapher: Stellen Sie sich vor, Sie möchten testen, ob das Hinzufügen von „geräuchertem Paprika“ funktioniert. Sie kochen nicht die ganze Charge. Sie kochen eine winzige Tasse. Wenn sie schlecht schmeckt, werfen Sie sie sofort weg. Wenn sie gut schmeckt, bewegen Sie sich erst dann zu einem größeren Topf.
Die Behauptung des Papers: CAMI testet diese „Geschmacksverstärker“ (genannt Enriched Data Representations oder EDRs) zuerst an kleinen Teilmengen der Daten. Dies spart eine enorme Menge Geld, da schlechte Ideen frühzeitig gestoppt werden, bevor sie teuer werden.

2. Der „Lego-Stein“-Ansatz (Atomare Einheiten)

Alte Methoden versuchten, ganze, vorgefertigte Suppenrezepte als einzelne, unveränderliche Blöcke zu testen. CAMI behandelt Zutaten hingegen wie Lego-Steine.

Die Metapher: Anstatt „Rezept A“ (eine feste Mischung aus Paprika, Salz und Zwiebeln) zu testen, testet CAMI den „Paprika-Stein“ und den „Salz-Stein“ separat. Sobald es weiß, dass der „Paprika-Stein“ gut ist, kann es ihn später an einen „Salz-Stein“ anstecken, ohne den Paprika von Grund auf neu testen zu müssen.
Die Behauptung des Papers: CAMI bricht das Problem in „atomare Einheiten“ (eine spezifische Art von Geschmacksverstärker + ein spezifisches KI-Modell) auf. Es testet diese einzeln und kombiniert dann die Gewinner. Das bedeutet, dass es kein Geld damit verschwendet, Teile des Rezepts neu zu bewerten, von denen es bereits weiß, dass sie funktionieren.

3. Der „Kreative Sous-Chef“ (Agentic Discovery)

Normalerweise halten sich Köche an eine feste Liste von Zutaten (wie „Zusammenfassung“ oder „Paraphrase“). Aber manchmal braucht eine ganz bestimmte Suppe eine seltene, maßgeschneiderte Zutat, die niemand zuvor bedacht hat.

Die Metapher: CAMI hat einen kreativen Assistenten (einen KI-Agenten), der sich die spezifischen Zutaten Ihrer Bibliothek ansieht und sagt: „Hey, für diese spezielle Suppe sollten wir vielleicht einen ‚kausalen Link‘-Verstärker statt einer Standard-Zusammenfassung ausprobieren.“
Die Behauptung des Papers: Das System nutzt einen KI-Agenten, um neue, maßgeschneiderte „Geschmacksverstärker“ zu erfinden, die speziell auf die Daten zugeschnitten sind, mit denen es arbeitet, anstatt nur eine generische, vordefinierte Liste zu verwenden.

4. Der „Budget-Wächter“ (Cost-Aware Search)

Der wichtigste Teil von CAMI ist, dass es niemals zu viel ausgibt. Es hat ein striktes Budget für die „Geschmackstests“.

Die Metapher: Der Chefkoch hat ein Portemonnaie. Jedes Mal, wenn er eine neue Kombination testet, fließt Geld ab. Wenn eine Kombination zu teuer ist oder nicht gut schmeckt, wird sie sofort gestoppt. Der Koch gibt nur Geld für Kombinationen aus, die eine echte Chance haben, der Gewinner zu werden.
Die Behauptung des Papers: Das System verwendet eine mathematische Methode (genannt MO-ASHA), um zu entscheiden, welche Ideen es wert sind, als Nächstes getestet zu werden. Es hört auf, Geld für Ideen zu verschwenden, die unwahrscheinlich erfolgreich sein werden, und stellt so sicher, dass es das beste Gleichgewicht zwischen „Recall vs. Kosten“ findet.

Die Ergebnisse: Was haben sie herausgefunden?

Das Paper hat dieses System auf mehreren schwierigen „Suppenrezepten“ (Datensätzen wie wissenschaftlichen Arbeiten, Wirtschaftsdaten und technischem Q&A) getestet.

Besserer Geschmack: CAMI fand Suppenrezepte, die bei der Suche nach den richtigen Antworten bis zu 9,4 % besser waren als die Standardmethoden.
Günstiger Einkaufen: Es fand diese besseren Rezepte mit 5-mal weniger Geld als wenn man einfach zufällig geraten oder versucht hätte, alles zu testen.
Der „Sweet Spot“: Es hat erfolgreich die „Pareto-Frontier“ identifiziert. Auf gut Deutsch bedeutet das: Es hat das perfekte Gleichgewicht gefunden, bei dem man das maximale Maß an „Geschmack“ (Abrufqualität) für das minimale Maß an „Geld“ (Kosten) erhält.

Zusammenfassung

CAMI ist ein smartes System, das verhindert, dass wir Geld verschwenden, während wir versuchen, Suchmaschinen zu perfektionieren. Anstatt blind jede mögliche Kombination aus KI-Modellen und Textzusammenfassungen auszuprobieren,:

Testet es klein, um Geld zu sparen.
Baut es mit Blöcken (verwendet gute Teile wieder), anstatt von vorne zu beginnen.
Erfindet maßgeschneiderte Werkzeuge für die spezifische Aufgabe.
Stoppt die Ausgaben, sobald eine Idee schlecht aussieht.

Das Ergebnis ist ein Suchsystem, das sowohl intelligenter als auch signifikant günstiger in der Entwicklung ist.

Technisches Resümee: CAMI – Praktische, kostenbewusste, agentengesteuerte Multi-Indizierung für semantische Abfrage

1. Problemstellung

Moderne Retrieval-Augmented Generation (RAG)-Systeme verlassen sich zunehmend auf Multi-Index-Retrieval, um die lexikalische und strukturelle Diskrepanz zwischen Nutzeranfragen und Quelldokumenten zu mildern. Dieser Ansatz beinhaltet die Generierung von angereicherten Datenrepräsentationen (Enriched Data Representations, EDRs) – wie etwa synthetische Zusammenfassungen, Paraphrasen oder Fragen – unter Verwendung von Large Language Models (LLMs) während der Ingestionsphase. Diese EDRs werden zusammen mit dem Basistext indiziert, um den Recall (Trefferquote) zu verbessern.

Diese Strategie führt jedoch zu einem kombinatorischen Kostenengpass:

Komplexität des Suchraums: Der Raum möglicher EDR-Typen (z. B. Zusammenfassung vs. Mindmap) gepaart mit den generierenden Modellen (z. B. Qwen-8B vs. Llama-70B) wächst exponentiell.
Evaluierungskosten: Die erschöpfende Evaluierung jedes möglichen Portfolios (Kombination aus EDRs und Modellen) auf einem vollständigen Korpus ist finanziell und rechnerisch prohibitiv. Die Kosten der Suche skalieren linear mit der Korpusgröße und übersteigen oft die Kosten der bloßen Bereitstellung eines suboptimalen Index.
Statische Einschränkungen: Bestehende Pipelines verlassen sich oft auf feste, statische Kataloge von Anreicherungsvorlagen, die möglicherweise nicht mit den spezifischen Charakteristika des Korpus übereinstimmen, was zu verschwendeten Konstruktionskosten ohne garantierte Recall-Verbesserung führt.

Die Kernherausforderung besteht darin, die Pareto-optimale Front von Multi-Index-Konfigurationen zu identifizieren, die den Retrieval-Recall maximieren und gleichzeitig die strukturellen Bereitstellungskosten minimieren – und das alles innerhalb eines strikten Optimierungsbudgets.

2. Methodik: Das CAMI-Framework

Die Autoren schlagen CAMI (Cost-Aware Multi-Indexing) vor, ein Framework, das die Konstruktion von Multi-Indizes als ein budgetiertes, multi-objektives Portfolio-Selektionsproblem formalisiert. CAMI operiert in zwei primären Phasen:

Phase 1: Agentische EDR-Entdeckung

Anstatt sich auf einen statischen Katalog zu verlassen, nutzt CAMI eine agentische Entdeckungsphase. Ein LLM-basierter Agent schlägt korpusspezifische EDR-Prompt-Vorlagen basierend auf Seed-Query-Evidence-Paaren und dem Korpuskontext vor.

Gesteuertes Vorschlagswesen: Der Agent generiert Vorlagen (z. B. „Procedural Extraction“ für technische Handbücher), welche validiert, schemageprüft und vor Beginn der Suche „eingefroren“ werden.
Budget-Abrechnung: Die Token-Nutzung für den Entdeckungs-Agenten wird dem Suchbudget zugerechnet, um sicherzustellen, dass eine dynamische Expansion nicht die finanziellen Beschränkungen umgeht.

Phase 2: Der AACA-Suchalgorithmus

Der zentrale Optimierungsmotor ist AACA (Atomic-unit Acquisition + Closure + MO-ASHA). Er behandelt den Suchraum nicht als monolithische Konfigurationen, sondern als zusammensetzbare atomare Einheiten (ein EDR-Typ gepaart mit einem spezifischen Modell).

Definition der atomaren Einheit: Eine atomare Einheit $a = (e, m)$ ist ein spezifischer Anreicherungstyp $e$ und ein Modell $m$ . Ein Portfolio ist eine Menge aktiver atomarer Einheiten.
Multi-Fidelity-Evaluierung: Um Kosten zu begrenzen, evaluiert CAMI Konfigurationen auf verschachtelten Query-Teilmengen ( $Q_0 \subset Q_1 \subset \dots \subset Q_L$ $Q_{0} \subset Q_{1} \subset \dots \subset Q_{L}$ ).
- Fidelity 0: Kleine, repräsentative Teilmengen, die für das initiale Screening verwendet werden.
- Höhere Fidelities: Größere Teilmengen, die zur Bestätigung dienen.
- Repräsentativität: Die Teilmengen werden mittels themenbezogener Stratifizierung gesampelt, um sicherzustellen, dass sie die volle Query-Verteilung annähernd abbilden.
Drei-Aktions-Schleife: Der Algorithmus wählt iterativ eine von drei Aktionen:
1. Acquisition (Erwerb): Ein LLM-basierter Selektor schlägt neue atomare Einheiten vor (getrieben durch Neuartigkeit/Synergie), um den Pool zu erweitern.
2. Closure (Abschluss): Das System kombiniert zuvor validierte atomare Einheiten aus dem aktuellen Fidelity-Pool, um neue Portfolios zu bilden. Dies nutzt die Tatsache aus, dass, wenn Einheit A und Einheit B einzeln gut sind, ihre Kombination es wert ist, getestet zu werden, ohne sie von Grund auf neu zu evaluieren.
3. Promotion (Beförderung): Konfigurationen werden basierend auf einem Multi-Objective Asynchronous Successive Halving (MO-ASHA)-Zeitplan in höhere Fidelities befördert.
Konfidenz-bewusste Beförderung: Die Beförderungen nutzen ein Upper Confidence Bound (UCB)-Ranking, um empirische Leistung mit Unsicherheit (Standardfehler) abzuwägen. Dies verhindert, dass vielversprechende Konfigurationen aufgrund von Rauschen in kleinen Query-Teilmengen vorzeitig verworfen werden.
Kostensemantik: CAMI unterscheidet zwischen:
- Runtime Uncached Spend ( $C_{uncached}$ ): Die tatsächlichen Dollar-Kosten, die während der Suche anfallen (gesteuert durch das Budget $B_{search}$ ).
- Strukturelle Kosten ( $C_{struct}$ ): Die theoretischen Kosten zur Bereitstellung eines finalen Index, berechnet durch Summation der nominalen Kosten seiner atomaren Einheiten (unter Berücksichtigung der Cache-Wiederverwendung).

3. Wichtigste Beiträge

Das Paper skizziert vier primäre Beiträge:

Formalisierung: Retrieval-Anreicherung wird als budgetiertes Pareto-Front-Entdeckungsproblem mit expliziter Kostensemantik gerahmt, wobei Konstruktionskosten von den Suchoptimierungskosten getrennt werden.
AACA-Optimizer: Einführung eines Optimierers, der MO-ASHA-Budgetkontrollen mit Fidelity-lokaler Closure verbindet und so die rechnerische Wiederverwendung von EDR-Modell-Paaren während der Suche ermöglicht.
Agentische Entdeckung: Integration einer LLM-gesteuerten Phase zur Generierung korpusspezifischer EDR-Vorlagen, was über statische Seed-Kataloge hinausgeht und gleichzeitig die Budgetbeschränkungen einhält.
Operationalisierung: Eine praktische End-to-End-RAG-Ingestions-Pipeline, die auf diversen öffentlichen Datensätzen evaluiert wurde und signifikante Verbesserungen beim Recall zeigt.

4. Experimentelle Ergebnisse

Das Framework wurde auf fünf Datensätzen evaluiert: BRIGHT-ES (Geowissenschaften), BRIGHT-Econ (Wirtschaft), BRIGHT-SO (Stack Overflow), StatCanDialogueRetrieval und NQTables.

Performance vs. Random Search: CAMI (speziell der AACA-Optimizer) übertraf die budgetgleiche Random-Search-Baseline konsistent. Über alle Datensätze hinweg erreichte es eine aggregierte Win-Rate von 92 % (92 Siege zu 8 Niederlagen) bei der Identifizierung überlegener Recall@10-Portfolios.
Recall-Gewinne: CAMI identifizierte Portfolios, die den Recall@10 im Vergleich zu Content-only-Baselines um bis zu 9,4 % verbesserten (z. B. beim StatCan-Datensatz).
Such-Effizienz: CAMI identifizierte High-Recall-Portfolios mit bis zu 5-mal weniger Budget als die Random-Search-Baselines. In spezifischen Fällen (z. B. StatCan) erreichte es nahezu optimale Konfigurationen mit weniger als 20 % der Kosten, die für eine erschöpfende Grid-Suche erforderlich gewesen wären.
Ablationsstudien:
- Unsicherheit-bewusstes Ranking: Die Verwendung von UCB für die Beförderung verbesserte den Durchsatz signifikant gegenüber dem Mean-only-Ranking, da dies die vorzeitige Eliminierung hochpotenzialer Konfigurationen in verrauschten kleinen Teilmengen verhinderte.
- Closure vs. Discovery: Während die LLM-gestützte Discovery die Kandidatenbibliothek erweiterte, war der Mechanismus der Fidelity-lokalen Closure (Rekombination bewährter Atome) der primäre Treiber der langfristigen Sucheffizienz.
- Dynamisch vs. Statisch: Agentisch entdeckte EDRs (z. B. causal_links für Wirtschaft, function_names für Stack Overflow) tauchten häufig in den finalen Pareto-optimalen Portfolios auf und übertrafen statische Seed-Kataloge sowohl in Bezug auf Kosten als auch Qualität.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CAMI das Design von Multi-Index-Retrieval-Systemen grundlegend verändert, indem es von einer statischen, heuristikgesteuerten Anreicherung zu einer evidenzbasierten, korpusadaptiven Optimierung übergeht.

Praktikabilität: Durch die Entkopplung des Suchbudgets von der Gesamtkorpusgröße und die Nutzung der atomaren Rekombination macht CAMI die Optimierung komplexer RAG-Pipelines in realen Produktionsszenarien, in denen eine erschöpfende Evaluierung unmöglich ist, praktikabel.
Kosten-Qualitäts-Trade-off: Das Framework bietet eine rigorose Methode, um die Recall-Kosten-Pareto-Front zu navigieren, sodass Praktiker Konfigurationen wählen können, die die beste Retrieval-Qualität für ein spezifisches Bereitstellungsbudget bieten.
Skalierbarkeit: Die Verwendung von Multi-Fidelity-Evaluierung und Cache-bewusstem Budget-Tracking ermöglicht es dem System, auf große Korpora zu skalieren, ohne während der Konfigurationssuche prohibitive Token-Kosten zu verursachen.

Die Autoren räumen Einschränkungen ein und merken an, dass der Ansatz auf der Annahme beruht, dass atomare Einheiten additiv sind (unter Ignorierung komplexer nicht-additiver Interaktionen), und dass die Performance von der Genauigkeit der Proxy-Teilmengen (Fidelity-Teilmengen) abhängt, diese das Verhalten des vollen Korpus abzubilden. Zukünftige Arbeit wird vorgeschlagen, um stärkere nicht-additive Interaktionen zu modellieren und die Stopping-Rules für die Beförderung zu verbessern.