💬 NLP

APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution

Dit paper introduceert APEX-Searcher, een nieuw agentisch raamwerk dat de zoekcapaciteiten van grote taalmodellen verbetert door het zoekproces te ontkoppelen in planning en uitvoering, waarbij versterkende leer met gedecomponeerde beloningen en gesuperviseerde fine-tuning worden gebruikt om complexe meerstapsvragen effectiever op te lossen.

Oorspronkelijke auteurs: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een geavanceerde chatbot) een bibliothecaris is die een enorme, maar statische bibliotheek heeft. Deze bibliothecaris is super slim en kan prachtige verhalen vertellen, maar hij heeft een groot probleem: hij kan alleen weten wat er in zijn eigen hoofd staat. Als er gisteren iets nieuws in de krant stond, of als iemand vraagt over een heel complex onderwerp dat in meerdere boeken verspreid staat, raakt hij in de war. Hij begint dan te verzinnen (hallucineren) of geeft een onvolledig antwoord.

Om dit op te lossen, hebben mensen een systeem bedacht genaamd RAG (Retrieval-Augmented Generation). Dit is alsof de bibliothecaris een zoekmachine krijgt. Als je iets vraagt, zoekt hij eerst in de boeken en leest dan pas zijn antwoord.

Maar hier komt het probleem: wat als de vraag heel lastig is? Bijvoorbeeld: "Wie is de grootvader van de vrouw van de president van land X, en wat was zijn beroep?"
Een simpele zoekmachine zoekt één keer, vindt misschien één boek, en denkt: "Oké, dat is het." Maar dat is niet genoeg. Je moet eerst weten wie de president is, dan wie zijn vrouw is, dan wie haar vader is, en pas dan zijn beroep. Dit noemen we een multi-hop vraag (een vraag met meerdere sprongen).

De meeste bestaande systemen proberen dit op te lossen door de bibliothecaris te zeggen: "Zoek maar vaker! Zoek 5 keer, 10 keer, 20 keer!"
Het probleem hiermee is dat de bibliothecaris dan vaak doelloos zoekt. Hij zoekt misschien tien keer naar hetzelfde boek, of zoekt naar iets dat totaal niets met de vraag te maken heeft. Hij heeft geen plan. Hij reageert alleen op wat hij net heeft gevonden, zonder te weten waar hij naartoe wil.

De Oplossing: APEX-Searcher

De auteurs van dit paper hebben een nieuw systeem bedacht: APEX-Searcher. Ze vergelijken dit met het geven van een strategisch plan aan een avonturier in een doolhof.

Het systeem werkt in twee duidelijke fasen, alsof je een team hebt met twee verschillende rollen:

1. De Strategische Planner (De "Generaal")

Stel je voor dat je een grote, ingewikkelde missie hebt. In plaats van direct te beginnen met rennen, stopt de Generaal even. Hij denkt na: "Oké, om deze missie te voltooien, moet ik eerst brug A over, dan de sleutel van kast B vinden, en pas dan de deur openen."

Hoe werkt het? De AI wordt getraind met een speciale techniek (Reinforcement Learning, ofwel 'leren door beloning'). Als de AI een goed plan maakt (een lijst met kleine, logische stappen), krijgt hij een puntje. Als hij een slecht plan maakt, krijgt hij geen puntje.
Het resultaat: De AI leert niet zomaar te zoeken, maar leert eerst een logische route te plotten. Hij breekt de grote vraag op in kleine, haalbare stukjes (sub-vragen).

2. De Verkenner (De "Soldaat")

Zodra de Generaal het plan heeft gemaakt, gaat de Soldaat aan het werk. Hij heeft nu een duidelijke opdracht: "Ga naar brug A en zoek naar de sleutel."

Hoe werkt het? Deze soldaat is getraind met een andere techniek (Supervised Fine-Tuning, ofwel 'leren door voorbeelden'). Hij is gespecialiseerd in het uitvoeren van het plan. Hij zoekt slim, filtert onzin eruit en houdt rekening met wat hij al heeft gevonden.
Het resultaat: Hij voert de zoektocht uit op een efficiënte manier, zonder rond te lopen in cirkels.

Waarom is dit zo slim?

Stel je voor dat je een raadsel moet oplossen.

De oude manier: Je begint blind te gissen. "Misschien is het een kat? Nee, een hond? Nee, een auto?" Je zoekt willekeurig.
De APEX-manier: Je denkt eerst: "Oké, het moet een dier zijn dat in het bos leeft en een staart heeft." (Dat is het Plan). Daarna zoek je specifiek naar dieren die in het bos leven. (Dat is de Verkenning).

De paper laat zien dat als je de AI eerst leert plannen (de Generaal) en daarna leert uitvoeren (de Soldaat), ze veel beter worden in het oplossen van complexe puzzels dan als je ze alleen maar laat "vaker zoeken".

Samenvatting in één zin

APEX-Searcher is een slimme AI die eerst een strategisch plan maakt om een moeilijke vraag op te splitsen in kleine stappen, en daarna slim zoekt om elk van die stappen op te lossen, in plaats van willekeurig en chaotisch door boeken te bladeren.

Dit zorgt ervoor dat de AI minder fouten maakt, minder "uit het niets" verzint, en veel beter is in het beantwoorden van vragen die meerdere stappen vereisen.

Probleemstelling

Bestaande Retrieval-Augmented Generation (RAG) systemen, die Large Language Models (LLMs) koppelen aan externe kennisbronnen, zijn effectief voor eenvoudige vragen. Echter, wanneer ze geconfronteerd worden met complexe multi-hop vragen (vragen die vereisen dat informatie uit meerdere, vaak onderling afhankelijke bronnen wordt samengevoegd), falen standaard RAG-systemen vaak.

De huidige oplossingen richten zich voornamelijk op het verhogen van het aantal iteraties (iteratieve RAG) of het verfijnen van zoekopdrachten. Het paper stelt echter dat deze benaderingen te veel focussen op tactische uitvoering ("wat moet ik als volgende zoeken op basis van wat ik net vond?") en te weinig op strategische planning. Zonder een globaal redeneerplan lopen deze systemen vast in inefficiënte zoekpaden, worden ze afgeleid door irrelevante documenten, en missen ze controle over de redeneringsrichting. Het kernprobleem is het gebrek aan een LLM's intrinsieke vermogen om complexe zoektaken te plannen en te decomponeren voordat de daadwerkelijke zoekactie begint.

Methodologie: APEX-Searcher

Het paper introduceert APEX-Searcher (Agentic Planning & EXploration Searcher), een nieuw framework dat de zoekcapaciteit van LLMs verbetert door een tweestapsproces: Agentic Planning (gebaseerd op Reinforcement Learning) en Agentic Exploration (gebaseerd op Supervised Fine-Tuning).

Het framework bestaat uit drie fasen:

Fase 1: RL-gedreven Agentic Planning (Strategisch)
- Doel: Een complexe vraag ( $Q$ ) decomponeren in een logische reeks van eenvoudigere sub-vragen ( $S = \{s_1, s_2, ..., s_n\}$ ).
- Techniek: Een "Planning Agent" (een LLM) wordt getraind met Group Relative Policy Optimization (GRPO), een variant van Reinforcement Learning (RL).
- Beloning (Reward): De beloning is gebaseerd op de F1-score tussen de gegenereerde plan (de reeks sub-vragen) en een menselijk geannoteerd "gold standard" plan. Dit wordt berekend via semantische similariteit (met sentence-transformers) en optimale bipartiete matching (Hungarian algorithm).
- Output: Een gestructureerd plan waarbij sub-vragen referenties kunnen bevatten naar eerdere antwoorden (bijv. "Wat is het land van #1?").
Fase 2: SFT-gestuurde Agentic Exploration & Iteratieve Zoekopdracht (Tactisch)
- Doel: Het uitvoeren van het gegenereerde plan door voor elke sub-vraag effectief te zoeken en te redeneren.
- Techniek: Een "Execution Agent" wordt getraind via Supervised Fine-Tuning (SFT) op een dataset van 14.604 hoogwaardige, multi-turn zoekinstructies. Deze data is gegenereerd door geavanceerde modellen en gefilterd op kwaliteit.
- Proces:
  - Referentie Oplossing: Vervanging van placeholders (zoals #1) met concrete antwoorden uit de geaccumuleerde kennisbasis.
  - Kennis Volledigheid Evaluatie: De agent beslist of de huidige kennis al voldoende is om een antwoord te geven, of dat er gezocht moet worden.
  - Adaptieve Multi-Hop Zoeklus: Als gezocht moet worden, genereert de agent dynamisch zoekopdrachten, filtert duplikaat documenten en beslist adaptief of de zoektocht moet worden voortgezet of gestopt (Continuation Decision).
  - Kennis Augmentatie: Nieuwe vraag-antwoordparen worden toegevoegd aan de kennisbasis voor de volgende stap.
Fase 3: Synthese en Output
- Na het oplossen van alle sub-vragen, synthetiseert de agent de uiteindelijke, uitgebreide antwoorden op de oorspronkelijke vraag, inclusief een betrouwbaarheidsscore.

Belangrijkste Bijdragen

Nieuw Framework: APEX-Searcher introduceert een hiërarchisch optimalisatieproces dat strategisch plannen (RL) en tactische uitvoering (SFT) expliciet ontkoppelt en optimaliseert.
RL voor Planning: Het toepassen van Reinforcement Learning met taak-decompositie beloningen om het vermogen van LLMs om complexe vragen te plannen fundamenteel te verbeteren.
SFT voor Exploratie: Het bouwen van een gespecialiseerde dataset en het toepassen van Supervised Fine-Tuning om de LLM te leren hoe het de gegenereerde plannen effectief moet uitvoeren via multi-round retrieval.
Empirische Validatie: Uitgebreide experimenten tonen aan dat het framework significant beter presteert dan bestaande methoden op uitdagende multi-hop QA-benchmarks.

Resultaten

De experimenten zijn uitgevoerd op benchmarks zoals HotpotQA, 2WikiMultiHopQA, MuSiQue en Bamboogle, met als basismodellen Qwen2.5-3B en Qwen2.5-7B.

Prestatieverbetering: APEX-Searcher behaalde de hoogste scores op alle benchmarks.
- Voor het 7B-model was er een gemiddelde verbetering van 0.230 ten opzichte van standaard RAG.
- Voor het 3B-model was de verbetering zelfs 0.226.
- In vergelijking met de sterkste bestaande baseline (StepSearch-instruct) werd een verbetering van +8.2% tot +13.1% in Exact Match (EM) scores behaald.
Ablatie Studies:
- De combinatie van Planning + RL + SFT leverde de beste resultaten op (bijv. een stijging van 27.55 naar 37.64 voor het 7B-model).
- Alleen het "Planning" module toevoegen zonder RL of SFT gaf beperkte resultaten en kon zelfs schadelijk zijn voor kleinere modellen (3B), wat aantoont dat gecontroleerde training essentieel is.
- RL verbeterde de kwaliteit van de gegenereerde plannen aanzienlijk.
- SFT was cruciaal voor het verbeteren van de uitvoeringscapaciteit, vooral bij kleinere modellen.
Parameter Analyse: De analyse toonde aan dat het ophalen van te veel documenten (>3) leidt tot ruis en prestatieverlies, terwijl het verhogen van het aantal redeneerhops (tot 5) over het algemeen de nauwkeurigheid verbetert.

Betekenis en Conclusie

Het paper onderstreept dat het verbeteren van de strategische planningscapaciteit van een LLM belangrijker is dan het simpelweg verhogen van het aantal zoekiteraties. APEX-Searcher bewijst dat het scheiden van het "wat moet er gedaan worden" (planning via RL) en het "hoe moet het gedaan worden" (uitvoering via SFT) een krachtige aanpak is voor complexe informatiezoekopdrachten.

De studie biedt een blauwdruk voor de ontwikkeling van geavanceerde agente systemen die niet alleen reageren op prompts, maar proactief complexe problemen oplossen door een globaal redeneerplan te volgen. Dit opent de weg voor robuustere AI-systemen in domeinen die diepgaande, multi-staps redenering vereisen.