💬 NLP

APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution

Das Paper stellt APEX-Searcher vor, ein neuartiges agentic Framework, das die Suchfähigkeiten von Large Language Models durch eine zweistufige Strategie aus verstärktem Lernen für die strategische Planung und überwachtem Fine-Tuning für die Ausführung komplexer Multi-Hop-Abfragen verbessert.

Ursprüngliche Autoren: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas vergesslichen Assistenten (das ist die Künstliche Intelligenz oder „LLM"), der alles über die Welt weiß, was er vor seinem letzten „Gedächtnis-Update" gelernt hat. Wenn Sie ihn nach einfachen Dingen fragen, ist er super. Aber wenn Sie eine komplexe Frage stellen, die wie ein mehrstufiges Rätsel ist (z. B. „Wer ist der Großvater der Mutter von Person X?"), gerät er oft ins Stolpern. Er versucht, alles aus dem Kopf zu beantworten, erfindet Dinge oder verläuft sich in den Details.

Das Papier stellt eine neue Lösung vor, genannt APEX-Searcher. Man kann sich das wie die Ausbildung eines professionellen Detektivs vorstellen, der nicht nur schnell liest, sondern auch strategisch plant.

Hier ist die Erklärung in einfachen Schritten:

1. Das Problem: Der „Blitz-Reflex" ist nicht genug

Bisher haben viele KI-Systeme versucht, komplexe Fragen zu lösen, indem sie einfach öfter im Internet gesucht haben. Das ist so, als würde man einen verwirrten Touristen bitten, immer wieder neue Landkarten zu kaufen, ohne ihm zu sagen, wohin er überhaupt will. Er läuft vielleicht schneller, aber er kommt nicht ans Ziel. Er sucht oft an den falschen Orten oder verliert den Faden.

2. Die Lösung: Ein zweistufiger Plan (APEX-Searcher)

APEX-Searcher ändert die Strategie. Statt einfach nur „schneller zu suchen", lernt die KI erst, wie man den Fall plant, bevor sie überhaupt sucht.

Stufe 1: Der Architekt (Agentic Planning)

Stellen Sie sich vor, Sie wollen ein riesiges Haus bauen. Ein schlechter Baumeister fängt sofort an, Ziegel zu schleppen. Ein guter Baumeister zeichnet erst einen Bauplan.

Was die KI macht: Bevor sie sucht, zerlegt sie die große, komplizierte Frage in kleine, logische Schritte.
Die Technik: Die KI wird mit einer Methode namens „Reinforcement Learning" (Belohnungslernen) trainiert. Wenn sie einen guten Plan macht (z. B. erst die Mutter finden, dann den Vater), bekommt sie eine „Goldmedaille". Wenn sie einen schlechten Plan macht, lernt sie daraus.
Das Ergebnis: Die KI denkt: „Okay, um die Frage zu beantworten, muss ich erst A finden, dann B, und erst dann kann ich C lösen."

Stufe 2: Der Entdecker (Agentic Exploration)

Jetzt, wo der Plan steht, geht der eigentliche Such-Team an die Arbeit.

Was die KI macht: Sie geht Schritt für Schritt vor. Sie sucht nach Antwort A, liest die Ergebnisse, merkt sich das und fragt sich dann: „Okay, jetzt brauche ich Antwort B, basierend auf dem, was ich gerade gefunden habe."
Die Technik: Hier wird die KI mit „Supervised Fine-Tuning" (Überwachtes Fein-Tuning) trainiert. Das ist wie ein intensives Praktikum, bei dem sie lernt, wie man effizient sucht, wann man aufhören soll und wie man die gefundenen Informationen zusammenfügt, ohne den Faden zu verlieren.

3. Warum ist das besser? (Die Analogie)

Alte Methode (Iterative RAG): Ein Hase, der wild umherhüpft. Er sucht hier, sucht da, hofft, dass er etwas findet. Oft rennt er im Kreis.
Neue Methode (APEX-Searcher): Ein Schachspieler. Er denkt drei Züge voraus. Er weiß genau, welchen Stein er zuerst bewegen muss, um das Spiel zu gewinnen. Er plant den Weg, bevor er einen Stein bewegt.

4. Was haben die Forscher herausgefunden?

Die Tests zeigen, dass dieser Ansatz funktioniert:

Die KI macht deutlich weniger Fehler bei schwierigen Fragen.
Sie findet die Antworten schneller, weil sie nicht an falschen Stellen sucht.
Selbst bei kleineren, weniger „intelligenten" KIs funktioniert das System gut, weil der klare Plan ihnen hilft, sich nicht zu verirren.

Zusammenfassung

APEX-Searcher ist wie ein Coach für die KI. Er sagt ihr nicht nur „Suche!", sondern sagt ihr: „Zuerst denk nach, zerlege das Problem in kleine Teile, mache einen Plan, und dann suche gezielt." Durch dieses Training lernt die KI, nicht nur zu lesen, sondern wirklich zu verstehen und zu planen. Das macht sie zu einem viel besseren Problemlöser für komplexe Aufgaben.

1. Problemstellung

Retrieval-Augmented Generation (RAG) ist ein etablierter Ansatz, um Large Language Models (LLMs) mit externem Wissen zu verbinden und Halluzinationen zu reduzieren. Während Standard-RAG-Systeme bei einfachen Fragen effektiv sind, stoßen sie bei komplexen Multi-Hop-Fragen an ihre Grenzen. Solche Fragen erfordern die Synthese von Informationen aus mehreren, oft voneinander abhängigen Dokumenten.

Bestehende iterative RAG-Ansätze versuchen dies durch wiederholte Abrufschleifen zu lösen. Das Paper identifiziert jedoch ein fundamentales Defizit: Diese Methoden konzentrieren sich zu sehr auf die taktische Ausführung (Was soll ich als Nächstes suchen?) und vernachlässigen die strategische Planungsfähigkeit des LLMs. Ohne einen globalen Reasoning-Plan neigen iterative Systeme zu ineffizienten Suchpfaden, überflüssigen Abfragen, Wiederholungen und der Ablenkung durch irrelevante Dokumente. Es fehlt ein übergeordneter Plan, der das Problem in logische Teilaufgaben zerlegt.

2. Methodik: Das APEX-Searcher Framework

Das Paper stellt APEX-Searcher vor, ein Framework, das die Suchfähigkeit von LLMs durch eine Kombination aus Agentic Planning (Agenten-Planung) und Exploration (Erkundung) verbessert. Der Ansatz gliedert sich in zwei Hauptphasen, die durch unterschiedliche Trainingsmethoden optimiert werden:

Phase 1: RL-basierte Agentic Planning (Strategische Zerlegung)

In dieser Phase wird das LLM als Planungs-Agent trainiert.

Ziel: Eine komplexe Eingabe-Frage ( $Q$ ) in eine logische, ausführbare Sequenz von einfacheren Teilfragen ( $S = \{s_1, s_2, ..., s_n\}$ ) zu zerlegen.
Methode: Es wird Reinforcement Learning (RL) mit dem Algorithmus Group Relative Policy Optimization (GRPO) eingesetzt.
Reward-Funktion: Der Belohnungssignal basiert auf der semantischen Übereinstimmung zwischen dem vom Agenten generierten Plan und einem menschlich annotierten „Gold-Standard"-Plan. Dies wird über eine F1-Score-Berechnung unter Verwendung von semantischer Ähnlichkeit (Sentence-Transformers) und optimaler bipartiter Zuordnung (Hungarian Algorithm) ermittelt.
Output: Der Plan enthält Platzhalter (z. B. #1, #2), die sich auf die Antworten vorheriger Teilfragen beziehen, um Abhängigkeiten zu modellieren.

Phase 2: SFT-gestützte Agentic Exploration (Taktische Ausführung)

In dieser Phase wird das LLM als Ausführungs-Agent trainiert, um den erstellten Plan Schritt für Schritt abzuarbeiten.

Ziel: Für jede Teilfrage den korrekten Kontext durch mehrstufige Retrieval-Schleifen zu finden und die Antwort zu synthetisieren.
Methode: Supervised Fine-Tuning (SFT) auf einem speziell konstruierten Datensatz von Multi-Turn-Interaktionen.
Prozess:
1. Referenzauflösung: Platzhalter im Plan werden durch bereits gesammelte Antworten ersetzt.
2. Wissenssuffizienz-Check: Der Agent entscheidet, ob bereits genügend Wissen vorhanden ist, um die Frage zu beantworten, oder ob eine neue Suche nötig ist.
3. Adaptive Retrieval-Schleife: Der Agent generiert dynamisch Suchanfragen, führt Dokumentenabrufe durch, filtert Duplikate und entscheidet basierend auf dem Kontext, ob die Suche fortgesetzt werden muss.
4. Wissensbasis-Aktualisierung: Jede gefundene Antwort wird in eine akkumulierte Wissensbasis ( $K_{acc}$ ) aufgenommen, die für nachfolgende Schritte genutzt wird.

3. Schlüsselbeiträge

Neues Framework: Einführung von APEX-Searcher, das die LLM-Suchfähigkeit durch explizite Trennung von strategischer Planung und iterativer Ausführung steigert.
RL für Planung: Anwendung von Reinforcement Learning (GRPO) mit spezifischen Task-Decomposition-Rewards, um die Fähigkeit des LLMs zur logischen Zerlegung komplexer Probleme zu verbessern.
SFT für Exploration: Konstruktion eines planungsbasierten Retrieval-Paradigmas und Feinabstimmung des Modells (SFT), um die Effizienz und Genauigkeit bei der mehrstufigen Informationssuche zu optimieren.
Hierarchische Optimierung: Ein zweistufiger Trainingsansatz, der erst die Strategie (Planung) und dann die Taktik (Ausführung) trainiert, was sich als effektiver erweist als reine iterative Ansätze.

4. Ergebnisse

Die Evaluierung erfolgte auf vier gängigen Multi-Hop-QA-Benchmarks: 2WikiMultiHopQA, HotpotQA, MuSiQue und Bamboogle.

Leistungsvergleich: APEX-Searcher übertraf sowohl Standard-RAG als auch fortschrittliche iterative und agentenbasierte Baselines (wie Search-o1, Search-R1, StepSearch-instruct).
- Auf dem Qwen2.5-7B-Modell wurde eine durchschnittliche Genauigkeitssteigerung (Exact Match) von ca. 0,226 gegenüber dem Standard-RAG erreicht.
- Auf dem Qwen2.5-3B-Modell war der Gewinn noch signifikanter (ca. +0,230 im Durchschnitt), was die Effektivität des Ansatzes auch für kleinere Modelle unterstreicht.
Ablationsstudie:
- Die Kombination aus Planung (RL) und Exploration (SFT) erzielte die besten Ergebnisse.
- Die reine Planung ohne RL-Optimierung führte bei kleineren Modellen (3B) sogar zu Leistungsabfällen, da das Modell ohne gezieltes Training Schwierigkeiten hatte, komplexe Zerlegungen korrekt durchzuführen.
- SFT allein verbesserte die Ausführungsfähigkeit erheblich, insbesondere bei kleineren Modellen, aber die Kombination mit RL-Planung war notwendig für maximale Leistung.
Parameteranalyse: Die Genauigkeit verbesserte sich mit der Anzahl der Abrufe bis zu einem Optimum (ca. 3 Dokumente), danach führte mehr Kontext zu Rauschen. Eine höhere Anzahl an erlaubten „Hops" (Schritten) korrelierte positiv mit der Leistung.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass die bloße Erhöhung der Anzahl der Abrufschleifen (Iterative RAG) nicht ausreicht, um komplexe Fragen zu lösen. Stattdessen ist die Fähigkeit zur strategischen Planung entscheidend. APEX-Searcher beweist, dass LLMs durch eine explizite Trennung von „Was muss ich tun?" (Planung via RL) und „Wie führe ich es aus?" (Exploration via SFT) erheblich leistungsfähiger werden.

Dieser Ansatz ebnet den Weg für robustere Agentensysteme in komplexen Informationsbeschaffungsaufgaben. Zukünftige Arbeiten könnten die Exploration-Phase ebenfalls durch RL optimieren oder den Rahmen auf Web-Suche und lokale Datenbanken erweitern.

Fazit: APEX-Searcher stellt einen Paradigmenwechsel dar, der von rein reaktiven Suchsystemen zu proaktiven, planenden Agenten übergeht, was zu signifikanten Verbesserungen bei der Beantwortung komplexer, mehrstufiger Fragen führt.