💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

Die Arbeit stellt CoSearch vor, ein Framework, das mittels Group Relative Policy Optimization (GRPO) und einer semantischen Gruppierungsstrategie ein reasoning-fähiges Agentensystem gemeinsam mit einem generativen Dokumenten-Ranking-Modell trainiert, um die Engpässe bei der aktuellen agentic search zu überwinden und die Leistung auf sieben QA-Benchmarks signifikant zu steigern.

Ursprüngliche Autoren: Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem klugen, aber manchmal etwas verwirrten Assistenten. Er ist ein Meister darin, komplexe Rätsel zu lösen und logische Schlüsse zu ziehen. Aber er hat ein großes Problem: Er kennt die Welt nicht auswendig. Wenn du ihn fragst: „Wer hat den ersten Roboter gebaut?", muss er erst in einer riesigen Bibliothek nachschlagen.

Das ist das Szenario, das die Forscher in diesem Papier mit dem Namen COSEARCH untersuchen. Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Der kluge Kopf und der schlechte Bibliothekar

Bisher war es so, dass man diesen klugen Assistenten (den „Agenten") trainiert hat, Fragen zu stellen und zu denken. Aber das Werkzeug, das er benutzt, um die Bücher zu finden (die „Suchmaschine" oder den „Ranker"), war starr wie ein Stein.

Die Metapher: Stell dir vor, dein Assistent ist ein genialer Detektiv. Aber sein Bibliothekar (der Sucher) ist sehr langsam und findet oft die falschen Bücher. Der Detektiv schreibt einen perfekten Hinweis auf: „Suche nach dem Mann mit dem roten Hut!" Aber der Bibliothekar bringt ihm stattdessen ein Buch über rote Äpfel.
Das Ergebnis: Der Detektiv ist verwirrt, macht Fehler oder muss immer wieder neu suchen. Die Forscher haben herausgefunden, dass selbst der klügste Detektiv scheitert, wenn der Bibliothekar nicht mithalten kann. In ihren Tests fehlten bis zu 27 % der richtigen Antworten nur deshalb, weil die Suchmaschine die falschen Dokumente geliefert hat.

2. Die Lösung: COSEARCH – Ein Team, das zusammen lernt

Die Idee von COSEARCH ist genial einfach: Lass den Detektiv und den Bibliothekar gemeinsam lernen.

Bisher wurde nur der Detektiv trainiert. Der Bibliothekar blieb stur. Bei COSEARCH werden beide gleichzeitig mit einem speziellen Lernsystem (Reinforcement Learning) trainiert.

Die Metapher: Stell dir vor, der Detektiv und der Bibliothekar sitzen in einem Boot. Wenn sie ans Ziel kommen, bekommen beide einen Bonus. Wenn sie scheitern, müssen beide überlegen, was schiefgelaufen ist. Der Detektiv lernt, bessere Hinweise zu geben, und der Bibliothekar lernt, genau die richtigen Bücher zu finden, die der Detektiv gerade braucht. Sie werden zu einem echten Team.

3. Die zwei großen Hürden (und wie sie sie überwinden)

Das war nicht einfach, denn es gab zwei technische Probleme:

Problem A: Unterschiedliche Fragen
Der Detektiv stellt in jedem Schritt eine andere Frage. Manchmal fragt er nach „Hauptstadt", manchmal nach „Geburtsjahr". Wie trainiert man den Bibliothekar, wenn er nie die gleiche Frage zweimal bekommt?

Die Lösung (Semantisches Gruppieren): Die Forscher haben eine clevere Methode erfunden. Sie schauen nicht auf die exakten Wörter, sondern auf die Bedeutung.
- Die Metapher: Stell dir vor, der Detektiv fragt einmal: „Wo wohnt der König?" und ein anderes Mal: „Was ist die Hauptstadt?". Für den Bibliothekar sind das fast dieselben Fragen. COSEARCH packt alle Fragen mit ähnlicher Bedeutung in einen Korb (eine „Gruppe") und trainiert den Bibliothekar für diesen Korb. So muss er nicht für jede winzige Variation neu lernen, sondern versteht das Prinzip.

Problem B: Wer ist schuld am Fehler?
Wenn der Detektiv am Ende die falsche Antwort gibt, war es dann seine Schuld (er hat falsch gedacht) oder die des Bibliothekars (er hat das falsche Buch gebracht)?

Die Lösung (Der Mix-Belohnung): Sie haben eine neue Art von Belohnungssystem erfunden.
- Die Metapher: Es ist wie bei einem Fußballteam. Wenn das Team ein Tor schießt, bekommen alle Spieler Punkte. Aber der Bibliothekar bekommt auch extra Punkte, wenn er den Ball (das Dokument) genau dorthin legt, wo der Stürmer (der Detektiv) ihn braucht – selbst wenn das Tor am Ende vielleicht doch verfehlt wird. So lernt der Bibliothekar sofort, ob er gute Arbeit leistet, und nicht erst am Ende des Spiels.

4. Das Ergebnis: Ein unschlagbares Team

Als sie dieses System getestet haben, passierte etwas Wunderbares:

Der Detektiv wurde besser, weil er bessere Informationen bekam.
Der Bibliothekar wurde besser, weil er wusste, was der Detektiv braucht.
Zusammen waren sie viel stärker als jedes einzelne Teil für sich.

Auf sieben verschiedenen Testaufgaben (von einfachen Fakten bis zu komplexen Rätseln) schaffte es COSEARCH, deutlich besser zu sein als alle bisherigen Methoden. Besonders beeindruckend: Selbst mit einem kleineren, weniger starken Detektiv (3 Milliarden „Gehirnzellen") konnte das Team durch den super-guten Bibliothekar fast so gut abschneiden wie ein riesiger Detektiv mit einem schlechten Bibliothekar.

Zusammenfassung in einem Satz

COSEARCH ist wie ein Tanzlehrer, der nicht nur dem Tänzer beibringt, wie er tanzt, sondern auch dem Musikanten, wie er die richtige Musik spielt – und zwar so, dass sie sich perfekt aufeinander abstimmen, statt starr nebeneinander zu bestehen.

Warum ist das wichtig?
Weil es zeigt, dass wir für die Zukunft von KI-Suchmaschinen nicht nur klügere KI-Modelle brauchen, sondern auch Suchsysteme, die sich anpassen und mitlernen. Nur wenn beide Teile zusammenarbeiten, können wir wirklich komplexe Fragen beantworten.

1. Problemstellung

Das Papier adressiert eine fundamentale Einschränkung bei aktuellen agentic search-Systemen (Such-Agenten). Diese Systeme nutzen Large Language Models (LLMs), die durch Reinforcement Learning (RL) trainiert werden, um komplexe Fragen durch iteratives Denken, Stellen von Suchanfragen und Synthese von Informationen zu beantworten.

Der Engpass: Bisherige Ansätze (z. B. Search-R1) behandeln das Information-Retrieval-System (Suchmaschine/Ranker) als festes, unveränderliches Werkzeug. Der Agent lernt, wie er das Tool nutzt, aber das Tool selbst passt sich nicht an die Reasoning-Strategien des Agents an.
Die Erkenntnis: Eine Voruntersuchung zeigt, dass die Diskrepanz zwischen einem perfekten „Oracle"-Retriever (der immer die richtigen Dokumente findet) und einem festen Retrieval-System enorm ist. Ein Oracle führt zu einer relativen F1-Verbesserung von +14,7 % bei einem 7B-Parameter-Agenten und sogar +26,8 % bei einem 3B-Agenten. Dies beweist, dass das Retrieval-System der primäre Engpass für die Skalierbarkeit von Such-Agenten ist, unabhängig von der Reasoning-Kapazität des LLMs.
Die Frage: Kann das Retrieval-System gemeinsam mit dem Reasoning-Agenten optimiert werden, damit sie sich gegenseitig ergänzen?

2. Methodik: COSEARCH Framework

Die Autoren stellen COSEARCH vor, ein RL-Framework, das einen multi-stufigen Reasoning-Agenten und einen generativen Dokumenten-Ranker gemeinsam trainiert.

Architektur

Das System besteht aus zwei trainierbaren Komponenten und einer festen Komponente:

Main Agent (Reasoning): Operiert im ReAct-Stil (Reasoning + Acting). Er generiert Gedanken und Suchanfragen (Sub-Queries).
Dense Retriever (Fest): Ein vorab trainierter Dichte-Retriever (z. B. E5), der für jede Sub-Query eine Kandidatenmenge $D_N$ (z. B. Top-50) aus dem Korpus zurückgibt.
Generative Ranker (Trainierbar): Ein LLM-basierter Ranker, der die Kandidatenmenge $D_N$ empfängt, die Relevanz analysiert und eine sortierte Teilmenge $D_K$ (z. B. Top-5) für den Main Agenten auswählt.

Training mit GRPO

Beide Komponenten werden simultan mittels Group Relative Policy Optimization (GRPO) optimiert, wobei der Reward auf der Korrektheit der finalen Antwort basiert.

Herausforderung 1: Semantisches Gruppieren für den Ranker
GRPO erfordert, dass Advantage-Werte über eine Gruppe von Antworten berechnet werden, die aus demselben Eingabe-Prompt stammen.

Problem: Der Main Agent erhält immer dieselbe Benutzeranfrage ( $q_0$ ), aber der Ranker erhält unterschiedliche Sub-Queries ( $q_t$ ) aus verschiedenen Reasoning-Trajektorien. Eine direkte Gruppierung ist daher nicht möglich.
Lösung (Semantic Grouping): Die Autoren führen eine Strategie ein, bei der Sub-Queries basierend auf ihrer token-level F1-Ähnlichkeit in semantische Cluster gruppiert werden. Sub-Queries, die inhaltlich gleich sind (nur unterschiedlich formuliert), bilden eine gültige GRPO-Gruppe. Dies ermöglicht das Training des Rankers ohne zusätzliche Rollouts (Kostenneutral).

Herausforderung 2: Composite Reward Design
Der Ranker hat nur einen indirekten Einfluss auf die finale Antwortkorrektheit. Ein reiner Antwort-Reward ist zu verrauscht, ein reiner Relevanz-Reward ignoriert den Kontext der Reasoning-Aufgabe.

Lösung: Ein zusammengesetzter Reward ( $r_{rank}$ ) wird verwendet:
1. Relevanz-Reward ( $r_{rel}$ ): Misst die Ranking-Qualität (Hit@k) basierend auf Pseudo-Relevanz-Labels (enthält das Dokument die Gold-Antwort?).
2. Trajektorien-Reward ( $r_{main}$ ): Misst die finale Antwortkorrektheit.
- Logik: Wenn relevante Dokumente vorhanden, aber schlecht gerankt sind, wird nur $r_{rel}$ genutzt. Wenn das Ranking gut ist, wird $r_{main}$ hinzugefügt, um den langfristigen Nutzen zu belohnen. Falls keine relevanten Dokumente in den Kandidaten sind, dient nur $r_{main}$ als Signal.

3. Wichtige Beiträge

Identifikation des Retrieval-Engpasses: Quantifizierung der Leistungslücke durch Oracle-Experimente, die zeigen, dass das feste Retrieval-System die Leistung von Such-Agenten massiv begrenzt.
COSEARCH Framework: Ein End-to-End-RL-Ansatz, der Reasoning und Ranking gemeinsam optimiert.
Semantisches Gruppieren: Eine innovative Methode, um GRPO auf den Ranker anzuwenden, trotz variierender Eingaben (Sub-Queries) über verschiedene Trajektorien hinweg, ohne zusätzliche Sampling-Kosten.
Composite Reward: Ein hybrides Belohnungsschema, das sowohl unmittelbare Ranking-Qualität als auch langfristige Antwortgenauigkeit berücksichtigt.

4. Ergebnisse

Die Evaluation erfolgte auf sieben QA-Benchmarks (ein- und mehrstufige Fragen wie HotpotQA, Musique, PopQA etc.) mit Qwen2.5-Modellen (3B und 7B Parameter).

Leistung: COSEARCH übertrifft alle starken Baselines (einschließlich Search-R1 und Fixed Ranker) konsistent.
- Mit einem 7B-Agenten: +6,6 % relative F1-Verbesserung gegenüber Search-R1.
- Mit einem 3B-Agenten: +10,8 % relative F1-Verbesserung gegenüber Search-R1.
Effizienz: COSEARCH benötigt weniger Such-Turns als Baselines, da die höheren Dokumentenqualitäten weniger Iterationen zur Lösung der Frage erfordern.
Ablationsstudie:
- Das Entfernen der semantischen Gruppierung führt zu einem starken Leistungsabfall (-3,3 %), was die Wichtigkeit der korrekten GRPO-Gruppierung unterstreicht.
- Der composite Reward ist essenziell; das Entfernen eines der beiden Reward-Komponenten verschlechtert die Ergebnisse.
- Ein kleinerer Ranker (3B) führt zum Training-Abbruch, was zeigt, dass der Ranker ausreichend Kapazität benötigt, um komplexe Permutationen zu lernen.

5. Bedeutung und Ausblick

Das Paper beweist, dass die gemeinsame Optimierung von Reasoning und Retrieval nicht nur machbar, sondern entscheidend für die Leistungsfähigkeit zukünftiger Such-Agenten ist.

Paradigmenwechsel: Statt das Retrieval-System als statisches Werkzeug zu betrachten, wird es als integraler, lernfähiger Teil des Agenten-Systems behandelt.
Skalierbarkeit: Die Methode funktioniert besonders gut bei kleineren Reasoning-Modellen (3B), die durch einen starken, gemeinsam trainierten Ranker kompensiert werden können.
Zukunft: COSEARCH legt einen Grundstein für „Deep Research"-Systeme, bei denen Reasoning und Informationsbeschaffung in einem einzigen, adaptiven RL-Prozess verschmelzen, anstatt in getrennten Modulen zu operieren.

Zusammenfassend zeigt COSEARCH, dass die Überwindung des Retrieval-Engpasses durch Joint Training der Schlüssel zur nächsten Generation von KI-Suchsystemen ist.