Technische Samenvatting: Retriever Portefeuilles: Een Geprincipeerde Aanpak voor Adaptieve RAG

1. Probleemformulering

Retrieval-Augmented Generation (RAG)-systemen vertrouwen doorgaans op één enkele retriever met een vaste set hyperparameters om alle gebruikersvragen af te handelen. Echter, de distributie van queries in real-world applicaties is zeer heterogeen, variërend van eenvoudige feitjesvragen tot complexe multi-hop redeneertaken. Verschillende configuraties voor retrieval (modellen, strategieën of hyperparameters) zijn vaak gespecialiseerd in verschillende regimes, wat betekent dat geen enkele enkele retriever optimaal is voor alle queries. Hoewel recente werken zoals Adaptive-RAG en Vendi-RAG proberen retrieval-strategieën aan te passen, opereren zij ofwel over een kleine, handmatig ontworpen set strategieën, ofwel voeren zij dure per-query hyperparameter-tuning uit tijdens de inferentie, wat leidt tot hoge latentie en tokenkosten.

Dit artikel adresseert de beperking van de "one-size-fits-all" retrieval door een geprincipeerde aanpak voor Retriever Portfolio Optimalisatie voor te stellen. Het kernprobleem wordt gedefinieerd als het selecteren van een kleine, diverse subset (een portfolio) van $k$ retrievers uit een grote kandidaatpool van $m$ kandidaten. Het doel is om de verwachte prestaties van de "best-of-$k$" retriever te maximaliseren voor een willekeurige query getrokken uit de onderliggende distributie, in plaats van het maximaliseren van de gemiddelde prestaties van een enkele retriever.

2. Methodologie

2.1. Theoretisch Kader

De auteurs formaliseren het probleem met een verwachte best-of-$k$ doelstelling. Laat $Q$ de verzameling queries zijn met een onbekende distributie $D$, en $\mathcal{R}$ de verzameling kandidaat-retrievers. Een scorefunctie $s(q, r) \in [0, 1]$ meet de geschiktheid van retriever $r$ voor query $q$. De kwaliteit van een portfolio $S \subseteq \mathcal{R}$ (waarbij $|S| \le k$) wordt gedefinieerd als:
$$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$$
Het doel is om $S$ te vinden dat $F(S)$ maximaliseert. De auteurs bewijzen dat voor elke vaste query $q$, de functie $f_q(S) = \max_{r \in S} s(q, r)$ niet-negatief, monotoon en submodulair is. Bijgevolg zijn de populatie-doelstelling $F(S)$ en de empirische schatting daarvan ook submodulaire verzamelingenfuncties.

2.2. Algoritme: Greedy Portfolio Selectie

Om dit optimalisatieprobleem efficiënt op te lossen, stelt het artikel Algoritme 1 voor, een sample-gebaseerde greedy procedure:

1. Sampling: Trek $N$ i.i.d. queries uit de distributie $D$.
2. Empirische Schatting: Vervang de populatie-doelstelling door een empirische schatting $\hat{F}_Q(S)$.
3. Greedy Constructie: Selecteer iteratief de retriever $r$ die de marginale winst $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$ maximaliseert. Het algoritme houdt een gememoriseerde vector bij van de huidige beste scores per query om winsten efficiënt te berekenen.
4. Garanties: Het algoritme draait in $O(k |\mathcal{R}| N)$ tijd. Theoretische analyse toont aan dat het een $(1 - 1/e)$-benadering bereikt van de optimale portfolio, tot een statistische foutterm $\epsilon$, mits de steekproefomvang $N$ proportioneel schaalt met de grootte van de pool en de gewenste betrouwbaarheid.

2.3. Inferentie Pipeline

Het voorgestelde systeem bestaat uit twee stadia:

1. Offline Portfolio Constructie: Met behulp van Algoritme 1 wordt een diverse portfolio van $k$ complementaire retrievers geselecteerd uit een grote pool (inclusief Dense, Diversity-based en Graph-based retrievers) op basis van trainingsdata.
2. Adaptieve Inferentie: Een lichtgewicht router wordt getraind om de beste retriever(s) dynamisch te selecteren voor een specifieke query.
   • De router codeert de query met behulp van ruwe tekst en gecachte dense embeddings (MPNet/E5).
   • Het scoort de $k$ portfolio-leden via gelijkenis met geleerde retriever-embeddings.
   • De top-$\ell$ retrievers worden parallel uitgevoerd om de latentie te minimaliseren.
   • Een selector LLM aggregeert de antwoorden van de parallel uitgevoerde retrievers om de uiteindelijke output te produceren.

Deze aanpak amorteert de kosten van adaptatie offline, waardoor de iteratieve zoektocht die nodig is voor tuning tijdens de inferentie wordt vermeden.

3. Belangrijkste Bijdragen

• Probleemformulering: Introductie van het "RAG portfolio optimalisatie" probleem, waarbij de selectie van een kleine, diverse set van retrievers om heterogene query-distributies te dekken via een verwachte best-of-$k$ doelstelling wordt geformaliseerd.
• Theoretische Garanties: Bewijs dat de doelstelling submodulair is, wat de efficiënte constructie van bijna-optimale portfolios mogelijk maakt met bewijsbare $(1 - 1/e)$ benaderingsgaranties.
• Praktische Pipeline: Een volledig systeem bestaande uit offline portfolio-selectie en een lichtgewicht router die parallelle retrieval en beantwoording mogelijk maakt, wat de inferentie-latentie aanzienlijk vermindert vergeleken met sequentiële adaptieve methoden.
• Empirische Validatie: Uitgebreide evaluatie over vier diverse QA-benchmarks (HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue) die superieure prestaties aantonen ten opzichte van single-retriever baselines en methoden voor tuning tijdens de inferentie.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier open-domain QA-datasets met behulp van twee antwoordmodellen (Gemma-3-27B-IT en Llama-3.1-70B-Instruct).

• Retrieval Coverage: Geleerde portfolios presteren significant beter dan "average-best" retriever selectie. Bijvoorbeeld, een portfolio van omvang $k=5$ behaalde een Support Recall van 0.594 vergeleken met 0.492 voor de top-5 gemiddelde retrievers. De winst bleek voort te komen uit complementariteit (het dekken van verschillende query-subpopulaties) in plaats van simpelweg meer documenten op te halen.
• End-to-End Nauwkeurigheid: Gerouteerde portfolios behaalden consistent hogere Exact Match (EM) scores dan single-retriever baselines en Vendi-RAG (een baseline voor tuning tijdens de inferentie). De "all-pool" portfolio (combinatie van Dense, Vendi en GraphDense retrievers) leverde de beste gemiddelde EM over alle datasets op.
• Efficiëntie vs. Nauwkeurigheid: In gecontroleerde vergelijkingen met Vendi-RAG (gebruikmakend van dezelfde Vendi zoekruimte), bereikte de offline portfolio-aanpak een vergelijkbare of betere nauwkeurigheid met substantieel lagere latentie en tokenkosten. Dit komt omdat de portfolio parallelle uitvoering van een vaste set retrievers toestaat, terwijl Vendi-RAG sequentiële, iteratieve generatie en beoordeling vereist.
• Effectiviteit van de Router: Ablatie-studies toonden aan dat de geleerde router aanzienlijk beter presteert dan willekeurige selectie en consistent de retrievers selecteert die verbetering bieden ten opzichte van het enkel beste gemiddelde lid, waardoor queries effectief naar de meest geschikte portfolio-leden worden gerouteerd.

5. Betekenis en Claims

Het artikel beweert het veld van RAG vooruit te helpen door de optimalisatiebelasting te verschuiven van dure, sequentiële adaptatie tijdens de inferentie naar efficiënte, offline portfolio-constructie. De auteurs stellen dat:

• Geen enkele retriever optimaal is: Het vastleggen van een enkele strategie laat prestaties onbenut bij diverse informatiebehoeften.
• Complementariteit essentieel is: Een kleine set diverse retrievers kan de query-distributie effectiever dekken dan een enkele "beste" retriever of simpelweg het documentbudget te vergroten.
• Efficiëntie: Vaste portfolios maken parallelle retrieval en LLM-aanroepen mogelijk, wat een praktische afweging biedt die een hoge nauwkeurigheid bereikt met voorspelbare, lage latentie en tokengebruik, wat adaptieve RAG bruikbaarder maakt voor implementatie in productieomgevingen.

Het werk claimt niet alle RAG-uitdagingen op te lossen, maar biedt een geprincipeerde, theoretisch onderbouwde methode voor het selecteren en routeren tussen retrieval-strategieën die zowel bewezen bijna-optimaal als empirisch effectief is.