Technische Samenvatting: Experience-RAG Vaardigheid voor Orkestratie van een Op Ervaring Gebaseerde Zoekstrategie

Probleemstelling

Huidige Retrieval-Augmented Generation (RAG)-systemen opereren vaak onder de aanname dat één vaste zoekpijplijn voldoende is voor alle taken. Deze aanname faalt echter in realistische agent-omgevingen waar taakeisen aanzienlijk variëren. Bijvoorbeeld, feitelijke vraagbeantwoording, multi-hop redenering en verificatie van wetenschappelijke claims vertonen verschillende zoekvoorkeuren; een dichte zoeker kan volstaan voor directe feiten, terwijl hybride zoeken vaak stabieler blijkt voor complexe multi-hop taken of het matchen van wetenschappelijke bewijslast. De kernuitdaging die is geïdentificeerd, is niet louter het ophalen van kennis, maar het bepalen hoe zoeken voor de specifieke huidige taak moet worden georganiseerd en georkestreerd.

Methodologie

Het artikel stelt Experience-RAG Vaardigheid voor, een agent-gerichte, plugbare orkestratielaag voor zoeken die zich bevindt tussen de agent en een pool van zoekers. In plaats van zoeken te behandelen als een monolithische stap, omvat deze vaardigheid het selectieproces als een herbruikbare agent-capaciteit.

Framework Architectuur

Het framework werkt via een gestructureerde pijplijn met zes modules:

1. Vaardigheidsinterface: Het uniforme instappunt voor de agent.
2. Scène-analysator: Construeert een gestructureerde scène-representatie ($s$) op basis van de query ($q$), de dialooggeschiedenis ($h$) en taakmetadata ($m$).
3. Ervaringsgeheugen ($M$): Bewaart historische records van scènekenmerken, scorevectoren, de best presterende strategie en de prestatiemarge. Kenmerken omvatten taaktype, domein, contextlengte, vraagcomplexiteit, querystijl en documentstructuur.
4. Strategie-router: Selecteert de optimale zoeker ($r^*$) door het ervaringsgeheugen te raadplegen op basis van de huidige scène.
5. Zoekpool ($R$): Een kandidaatpool van zoekers (bijv. BM25, Dicht, Hybride RRF).
6. Resultaat-pakker: Retourneert gestandaardiseerde, gestructureerde bewijslast aan de agent.

De operationele flow is gedefinieerd als:
$$s = \text{Analyseren}(q, h, m)$$
$$r^* = \text{Routeren}(s, M)$$
$$o = \text{ZoekenEnPakken}(q, r^*)$$

Routeringsmechanisme

De huidige implementatie maakt gebruik van op regels gebaseerde routering als zijn sterkste instelling, waarbij directe taken worden gekoppeld aan dichte zoekers en multi-hop/wetenschappelijke taken aan hybride RRF (Reciprocal Rank Fusion). Hoewel varianten met geleerde routering zijn onderzocht, presteerden deze niet beter dan de op regels gebaseerde baseline onder de huidige schaal van ervaringsdata. Het systeem prioriteert expliciet hergebruik van ervaring en gestructureerde verpakking van bewijslast boven een puur op complexiteit gebaseerde selectie.

Belangrijkste Bijdragen

De auteurs schetsen drie primaire bijdragen:

1. Formulering: Zij herformuleren de selectie van zoekstrategie als een probleem van agent-vaardigheidsorkestratie, onderscheiden van het direct inbedden van inbeddingsselectielogica in de bovenliggende workflow.
2. Constructie van Ervaringsgeheugen: Zij bouwden een geheugensysteem dat uitgebreide scènekenmerken, prestatiescores van meerdere zoekers en strategiemarges registreert, in plaats van alleen het "beste" label op te slaan.
3. Empirische Evaluatie: Zij evalueerden de vaardigheid op heterogene zoektaken, waarbij ze deze vergeleken met zowel traditionele vaste baselines als moderne adaptieve routeringsbenaderingen.

Experimentele Resultaten

Het systeem werd geëvalueerd op drie publieke benchmarks: BeIR/nq, BeIR/hotpotqa en BeIR/scifact, met 120 queries per dataset en gesamplede kandidaat-corpora.

Prestaties ten opzichte van Vaste Baselines

Experience-RAG Vaardigheid behaalde de hoogste algehele prestatie en presteerde beter dan alle vaste single-method baselines:

• nDCG@10: 0,8924 (vs. 0,8802 voor de sterkste vaste baseline, Hybride RRF).
• Recall@10: 0,9428.
• MRR@10: 0,9006.
  De resultaten geven aan dat het primaire voordeel van de vaardigheid ligt in heterogene orkestratie, waarbij effectief gemengde werklasten worden beheerd in plaats van dat elke afzonderlijke subtaak individueel wordt gedomineerd.

Vergelijking met Moderne Baselines

Bij vergelijking met moderne benaderingen, waaronder HyDE, LongRAG-stijl, RAPTOR-stijl en Adaptive-RAG-stijl:

• Adaptive-RAG-stijl toonde een marginale voorsprong (0,8934 nDCG@10 vs. 0,8924 voor Experience-RAG Vaardigheid).
• HyDE, LongRAG-stijl en RAPTOR-stijl presteerden aanzienlijk zwakker in de setting met gesamplede corpora en alleen zoeken.
  Het artikel merkt op dat Experience-RAG Vaardigheid concurrerend blijft met de sterkste moderne routeringsbaselines, terwijl het een duidelijkere systeemgrens biedt voor interactie met de agent.

Betekenis en Claims

Het artikel concludeert dat de selectie van zoekstrategie productief kan worden ingepakt als een herbruikbare agent-vaardigheid in plaats van hardgecodeerd te worden in de workflow. De studie toont aan dat op ervaring gebaseerde orkestratie effectief is voor heterogene zoekwerklasten en zelfs concurrerend blijft wanneer moderne baselines worden geïntroduceerd in een vaste kandidaatpool.

De auteurs handhaven een bescheiden standpunt met betrekking tot de reikwijdte van het huidige werk:

• De experimenten vertrouwen op gesamplede corpora in plaats van volledige datasets.
• Geleerde routering heeft de op regels gebaseerde baselines nog niet overtroffen.
• De implementatie gaat uit van een vaste kandidaatpool, waarbij dynamische onboarding wordt uitgesloten.
• De workflow-analyse is kwalitatief en vormt nog geen volledig end-to-end interactief agent-benchmark.

Derhalve positioneren de auteurs dit werk als een kort paper of preprint dat de levensvatbaarheid van de vaardigheidslaag vaststelt, met toekomstig werk gepland om dynamische kandidaat-onboarding, routering op capaciteitsniveau en uitgebreide end-to-end agent-evaluatie aan te pakken.