CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG

Dit paper introduceert CARROT, een geoptimaliseerd systeem voor Retrieval-Augmented Generation dat gebruikmaakt van Monte Carlo Tree Search en een configuratie-agent om de volgorde en selectie van tekstchunks te verbeteren, waardoor hallucinaties worden verminderd en de prestaties met tot 30% stijgen ten opzichte van bestaande methoden.

De kern

Stel je voor dat je een zeer slimme, maar soms wat vergeetachtige assistent hebt: een Grote Taalmodel (LLM). Deze assistent kan prachtige verhalen schrijven en vragen beantwoorden, maar heeft een groot probleem: hij weet niet wat er gisteren is gebeurd en "hallucineert" soms feiten die niet waar zijn.

Om dit op te lossen, gebruiken we RAG (Retrieval-Augmented Generation). Dit is alsof je je assistent een enorme bibliotheek geeft. Als hij een vraag krijgt, zoekt hij in die bibliotheek naar de juiste pagina's (de "chunks" of stukjes tekst) en leest die voor om zijn antwoord te vormen.

Maar hier zit een addertje onder het gras:

1. De bibliotheek is te groot om alles in één keer te lezen.
2. Soms zijn de gevonden stukken tekst dubbelop of staan ze in de verkeerde volgorde.
3. Meer tekst is niet altijd beter; soms maakt te veel informatie je assistent verward.

De onderzoekers van dit paper hebben een nieuwe oplossing bedacht, genaamd CARROT. Laten we uitleggen hoe dit werkt met een paar creatieve metaforen.

1. Het Probleem: De "Verkeerde Route" in de Bibliotheek

Stel je voor dat je een reisplanner (de RAG-systeem) hebt die voor jou de beste route door een stad moet vinden.

• Huidige systemen doen alsof ze gewoon de dichtstbijzijnde straten kiezen, zonder te kijken of die straten bij elkaar horen. Ze kiezen misschien drie stukjes tekst die elk apart goed zijn, maar die samen een onlogisch verhaal vormen.
• Ze denken ook: "Hoe meer informatie, hoe beter!" en vullen je geheugen (het contextvenster) tot de rand. Maar als je te veel informatie geeft, raakt je assistent in paniek en maakt hij fouten.
• Ze gebruiken één vaste strategie voor elke vraag, of het nu gaat om wiskunde, geschiedenis of koken.

2. De Oplossing: CARROT (De Slimme Reisplanner)

CARROT is een systeem dat leert hoe je de perfecte verzameling tekststukjes kiest én in de juiste volgorde zet, zonder je "reissom" (rekenkracht en kosten) te vergeten.

Het werkt met drie slimme trucjes:

A. De "Monte Carlo" Speurtocht (De MCTS)

In plaats van gewoon de eerste goede tekst te pakken, doet CARROT alsof het een gokker in een casino is die een strategie ontwikkelt.

• Stel je voor dat je een boomtekent. De stam is je vraag. De takken zijn mogelijke combinaties van tekststukjes.
• CARROT "speelt" duizenden scenario's door: "Wat gebeurt er als ik eerst stukje A lees en dan B? En wat als ik B eerst lees en dan A?"
• Het gebruikt een slimme formule (UCB) om te beslissen welke takken het moet verkennen en welke het kan negeren. Het zoekt niet naar de eerste goede oplossing, maar naar de beste volgorde.
• De analogie: Het is alsof je niet gewoon de dichtstbijzijnde supermarkt kiest, maar eerst even checkt of de producten in de juiste volgorde op je boodschappenlijstje staan om de kortste route te maken.

B. De "Niet-Monotoon" Wijsheid (Minder is Meer)

Huidige systemen denken: "Ik heb een budget van 1000 woorden, dus ik vul het tot 1000 woorden op."
CARROT begrijpt dat meer niet altijd beter is.

• Soms maakt het toevoegen van een vierde tekststukje je antwoord juist slechter omdat het verwarring zaait.
• CARROT stopt precies op het moment dat het antwoord het beste is, zelfs als het budget nog niet helemaal op is. Het is als een chef-kok die proeft: "Dit gerecht is perfect, ik voeg geen extra kruiden toe, ook al heb ik ze nog wel."

C. De "Configuratie Agent" (De Slimme Assistent)

Niet elke vraag is hetzelfde. Een vraag over de wet vereist een andere zoekstrategie dan een vraag over koken.

• CARROT heeft een mini-AI-assistent (de Configuratie Agent) die meekijkt.
• Zodra je een vraag stelt, kijkt deze agent naar de vraag en de beschikbare tekst. Hij zegt dan: "Voor deze vraag moeten we sneller zoeken en een andere soort 'rangschikking' gebruiken."
• De analogie: Het is alsof je een taxichauffeur hebt die voor elke rit een ander routeplan maakt. Voor een ritje door de stad in de spits kiest hij een andere route dan voor een ritje over het platteland.

Waarom is dit zo belangrijk?

1. Snelheid en Kosten: Omdat CARROT slim zoekt en niet alles probeert, is het veel sneller en goedkoper dan systemen die proberen alles te "leren" of enorme kennisgrafieken te bouwen.
2. Betere Antwoorden: In tests gaf CARROT tot 30% betere antwoorden dan de beste bestaande systemen, terwijl het minder tekst gebruikte.
3. Flexibiliteit: Het werkt goed met verschillende soorten vragen en verschillende grote taalmodellen (zoals Llama of GPT).

Samenvatting in één zin

CARROT is een slimme "reisleider" voor AI die niet alleen de beste informatie zoekt, maar ook precies weet in welke volgorde die informatie moet worden gepresenteerd, zodat de AI het beste antwoord geeft zonder te veel tijd of geld te verspillen.

Het is de overstap van "blind zoeken en hopen dat het goed komt" naar "strategisch plannen en precies weten wat je nodig hebt".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG" in het Nederlands.

Titel: CARROT: Een geleerd systeem voor kostenbeperkte optimalisatie van retrieval in RAG

1. Probleemstelling

Retrieval-Augmented Generation (RAG) is een cruciale techniek om Large Language Models (LLMs) toegang te geven tot actuele kennis en hallucinaties te verminderen. Echter, bestaande RAG-systemen kampen met drie fundamentele uitdagingen die de kwaliteit van het antwoord beperken, vooral binnen de beperkingen van de contextvensters van LLMs:

1. Relaties tussen chunks: Bestaande methoden (zoals AKNN of clustering) behandelen chunks vaak onafhankelijk of als gelijke groepen. Ze negeren de correlaties tussen chunks (bijv. redundantie) en de volgorde waarin ze worden gepresenteerd. De volgorde is echter kritiek; een suboptimale volgorde kan leiden tot "lost in the middle" fenomenen of slechtere prestaties.
2. Niet-monotoon nut (Non-monotonicity): Er wordt vaak aangenomen dat meer chunks altijd beter zijn. In werkelijkheid kan het toevoegen van extra, minder relevante chunks de kwaliteit van het antwoord verslechteren door ruis toe te voegen of tegenstrijdige informatie te introduceren. Het nut van een chunk-combinatie is dus niet monotoon stijgend met het aantal chunks.
3. Verscheidenheid aan queries: Verschillende query-types (bijv. academisch vs. commercieel) vereisen verschillende strategieën voor het rangschikken en selecteren van chunks. Een enkel, statisch rangschikkingsmodel presteert niet consistent goed over alle domeinen.

Daarnaast zijn bestaande oplossingen zoals graf-gebaseerde RAG of tuning-gebaseerde methoden vaak te rekenintensief en duur voor schaalbare implementaties.

2. Methodologie: Het CARROT Framework

CARROT (Cost-constrained Retrieval Optimization) is een rank-based framework dat een geoptimaliseerde combinatie en volgorde van chunks zoekt binnen een bepaald kostenbudget (token-limiet). Het systeem bestaat uit twee hoofdcomponenten:

A. Optimal Chunk Combination Search (MCTS-gebaseerd)
In plaats van een greedy aanpak (waarbij chunk na chunk wordt toegevoegd op basis van de hoogste score), modelleert CARROT het probleem als een zoektocht in een beleidsboom (policy tree).

• Monte Carlo Tree Search (MCTS): Het systeem gebruikt MCTS om de exponentiële zoekruimte van mogelijke chunk-volgorde-combinaties efficiënt te verkennen.
• Kostbewuste Utility Functie: De selectie van knopen in de boom wordt geleid door een UCB-achtige (Upper Confidence Bound) functie die rekening houdt met:
  • Exploitatie: Het kiezen van paden met een hoge geschatte beloning.
  • Exploratie: Het verkennen van minder bezochte paden.
  • Kostenbeperking: Een strafelement dat de token-kosten van de huidige combinatie in verhouding tot het totale budget ($B$) meewegt.
• Parallelle Evaluatie: Tijdens de "Simulation"-fase worden meerdere child-nodes (chunk-combinaties) parallel beoordeeld door een reranker-model. Dit verhoogt de efficiëntie aanzienlijk ten opzichte van sequentiële evaluaties.
• Doel: Het vinden van de knoop in de boom die de maximale beloning ($W(\Phi)$) biedt binnen het kostenbudget, zonder het budget noodzakelijkerwijs volledig te verbruiken (oplossing voor de niet-monotoonheid).

B. Configuration Agent (Geleerde Agent)
Om de MCTS-parameters en het reranker-model dynamisch aan te passen aan de specifieke query en het domein, introduceert CARROT een Configuration Agent.

• Architectuur: Een Siamese netwerkstructuur getraind met contrastief leren.
• Input: De embedding van de query en de gemiddelde embedding van de gerecupereerde chunks.
• Output: De agent voorspelt de optimale configuratie voor de MCTS (aantal iteraties, exploratie-coëfficiënt, kosten-coëfficiënt) en selecteert het beste reranker-model voor de specifieke query.
• Training: De agent wordt getraind met een gezamenlijke loss-functie die bestaat uit:
  • Classificatie: Om het beste reranker-model te voorspellen.
  • Regressie: Om de optimale hyperparameters te voorspellen.
  • Contrastief leren: Om embeddings van queries met dezelfde optimale configuratie dichter bij elkaar te brengen en die met verschillende configuraties verder uit elkaar te duwen.

3. Belangrijkste Bijdragen

1. Eerste framework voor chunk-volgorde-optimalisatie: CARROT is het eerste RAG-systeem dat expliciet de volgorde van chunk-combinaties optimaliseert binnen kostenbeperkingen, in plaats van alleen de selectie van chunks.
2. MCTS voor NP-hard probleem: Het bewijst dat het selecteren van de optimale chunk-volgorde NP-hard is en lost dit op met een efficiënte MCTS-strategie die de zoekruimte intelligent doorzoekt.
3. Oplossing voor niet-monotoon nut: Door kostenbeperkingen direct te integreren in de optimalisatieformulering (in plaats van alleen als stopconditie), kan het systeem de "sweet spot" vinden waar extra chunks de kwaliteit juist verlagen.
4. Dynamische aanpassing: De Configuration Agent zorgt voor adaptiviteit aan verschillende query-domeinen, wat de robuustheid van het systeem vergroot.
5. Efficiëntie: Door parallelle evaluatie en een slimme zoekstrategie bereikt het systeem hoge kwaliteit zonder de hoge rekenkosten van graf-gebaseerde of tuning-gebaseerde methoden.

4. Resultaten

De auteurs hebben CARROT getest op drie benchmarks: WikiPassageQA, MARCO en HotpotQA, en vergeleken met state-of-the-art methoden zoals RAPTOR, GraphRAG, NaiveRAG en tuning-gebaseerde modellen.

• Prestatieverbetering: CARROT behaalde tot 30% verbetering in kwaliteit (gemeten aan de hand van ROUGE-1, ROUGE-L en F1-scores) ten opzichte van de beste baselines.
• Kosten-efficiëntie: CARROT bereikt deze hogere kwaliteit met een lager token-gebruik. Bijvoorbeeld, terwijl andere methoden vaak het volledige budget van 8192 tokens verbruiken, gebruikt CARROT vaak minder dan 1000 tokens voor betere resultaten.
• Schaalbaarheid: De latentie van CARROT neemt slechts marginaal toe (ongeveer 10%) bij een tienvoudige toename van de datasetgrootte, wat aantoont dat de methode goed schaalbaar is.
• Generalisatie: De Configuration Agent toonde aan dat het systeem goed generaliseert naar onbekende domeinen en datasets zonder opnieuw getraind te hoeven worden.
• Ablatie-studies: Experimenten bevestigden dat zowel de MCTS-zoekstrategie als de Configuration Agent essentieel zijn; het verwijderen van deze componenten leidt tot een significante daling in prestaties.

5. Betekenis en Conclusie

CARROT vertegenwoordigt een belangrijke stap voorwaarts in de ontwikkeling van efficiënte en effectieve RAG-systemen. Het paper demonstreert dat:

• De volgorde van informatie in de prompt net zo belangrijk is als de selectie ervan.
• Meer context niet altijd beter is; slimme selectie binnen een budget is cruciaal.
• Adaptiviteit per query-domein nodig is voor optimale prestaties.

Door een balans te vinden tussen hoge kwaliteit en lage rekenkosten, maakt CARROT geavanceerde RAG-toepassingen haalbaar voor real-world, enterprise-scenario's waar kosten en snelheid van essentieel belang zijn. De broncode is openbaar gemaakt, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.