💬 NLP

Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning

Search-E1 ist eine Selbstentwicklungsmethode, die suchergänzte Schlussfolgerungsagenten ausschließlich mittels Vanilla-GRPO und offline Selbstdistillation verbessert, um auf QA-Benchmarks State-of-the-Art-Leistung zu erzielen, ohne auf komplexe externe Überwachung oder Hilfsmodule zurückzugreifen.

Ursprüngliche Autoren: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas ungeschickten Schüler (die KI), der versucht, knifflige Wissensfragen zu beantworten. Um die richtige Antwort zu finden, darf dieser Schüler eine Bibliothek (eine Suchmaschine) nutzen, um Fakten nachzuschlagen, muss jedoch entscheiden, wann er nachschlagen soll und was er fragen muss.

Die meisten aktuellen Methoden unterrichten diesen Schüler, indem sie warten, bis er den gesamten Aufsatz fertiggestellt hat. Wenn die finale Antwort richtig ist, gibt der Lehrer einen goldenen Stern. Wenn sie falsch ist, gibt der Lehrer ein rotes X. Das Problem? Der Schüler weiß nicht, welcher spezifische Schritt der Fehler war. Hat er die falsche Frage gestellt? Hat er den falschen Absatz gelesen? War er abgelenkt? Er weiß nur, dass der gesamte Versuch gescheitert ist.

Search-E1 ist eine neue, einfachere Art, diesen Schüler zu unterrichten. Es benötigt keinen überaus klugen menschlichen Lehrer, keinen zusätzlichen ausgefallenen Roboter und kein spezielles Belohnungssystem. Stattdessen verwendet es eine Technik namens „Selbst-Entwicklung" durch einen zweistufigen Tanz:

Schritt 1: Die Phase „Versuche alles" (GRPO)

Zuerst wird dem Schüler dieselbe Frage fünfmal gestellt.

Bei einem Versuch könnte er in der Bibliothek umherwandern, alberne Fragen stellen und scheitern.
Bei einem anderen Versuch könnte er die perfekten Fragen stellen, das richtige Buch finden und schnell die korrekte Antwort erhalten.

Das System betrachtet diese fünf Versuche und sagt: „Okay, derjenige, der die richtige Antwort erhielt, ist der 'Goldstandard' für diese Runde." Aber wie zuvor sagt dies dem Schüler nur: „Gute Arbeit bei diesem gesamten Aufsatz", nicht aber: „Gute Arbeit bei dieser spezifischen Frage".

Schritt 2: Die Phase „Zurückspulen und Lernen" (Offline Selbst-Distillation)

Hier geschieht die Magie. Das System nimmt den gescheiterten Versuch (den „Schüler") und den erfolgreichen Versuch (den „Lehrer").

Hier ist der clevere Trick:

Das System gibt dem Schüler die ursprüngliche Frage.
Das System gibt dem Lehrer dieselbe Frage, überreicht ihm aber gleichzeitig einen Spickzettel: den gesamten erfolgreichen Pfad, den der Schüler im anderen Versuch genommen hat.
Der Lehrer liest den Spickzettel und sagt: „Wenn ich diese Frage jetzt beantworten würde, wobei ich den richtigen Weg kenne, wäre dies genau das, was ich als Nächstes sagen würde."
Der Schüler wird dann gezwungen, dem Lehrer zuzuhören und Schritt für Schritt zu versuchen, dessen Worte nachzuahmen.

Dem Schüler wird nicht nur gesagt „Du warst richtig/falsch". Ihm wird tokenweise (wortweise) genau gezeigt, wie man besser denkt. „Ah, ich verstehe! Als ich fragte 'Wer ist der Präsident?', fragte der Lehrer 'Wer war der Präsident im Jahr 1990?' Das ist der Unterschied!"

Warum ist das besonders?

Keine externen Lehrer: Normalerweise benötigt man für dieses Maß an Detailgenauigkeit eine hochintelligente KI (wie ein Modell mit 72 Milliarden Parametern), um jeden einzelnen Schritt zu bewerten. Search-E1 verwendet die eigenen erfolgreichen Versuche des Schülers als Lehrer. Es ist wie ein Schüler, der nach einer Eins sein eigenes Testblatt studiert, anstatt auf die Benotung durch einen Professor zu warten.
Keine zusätzliche Technik: Andere Methoden fügen komplexe Werkzeuge hinzu, um herauszufinden, welche Schritte gut waren. Search-E1 nutzt lediglich die Standard-Schleife „Versuchen und wiederholen" und fügt diesen Schritt „Studiere deinen eigenen Erfolg" dazwischen ein.
Die Ergebnisse: Als dies an sieben verschiedenen Wissens-Herausforderungen getestet wurde, erzielte der Schüler mit Search-E1 deutlich bessere Ergebnisse als andere Schüler, die komplexere Methoden verwendeten. Es war besonders gut bei „Multi-Hop"-Fragen (bei denen man mehrere Punkte verbinden muss), da diese Fragen viele Schritte haben, in denen man Fehler machen kann, und diese Methode genau die defekten Schritte korrigiert.

Kurz gesagt: Search-E1 lehrt eine KI, intelligenter zu werden, indem es ihr erlaubt zu scheitern, und sie dann ihre eigenen erfolgreichen Versuche wie ein perfektes Lehrbuch studieren lässt, um genau zu lernen, was sie in jedem einzelnen Moment sagen muss, ohne dass externe Hilfe benötigt wird.

Technische Zusammenfassung: Search-E1

Problemstellung

Während große Sprachmodelle (LLMs) starke reasoning-Fähigkeiten erreicht haben, bleiben sie durch ihr Vorwissen aus dem Pre-Training eingeschränkt und können keine Informationen integrieren, die nach dem Training entstehen. Such-verstärkte Reasoning-Agenten adressieren dies, indem sie internes Reasoning mit externen Abrufaufrufen abwechseln. Allerdings verlassen sich aktuelle Post-Training-Pipelines für diese Agenten auf Reinforcement Learning (RL) auf Ergebnisebene, typischerweise unter Verwendung von Group Relative Policy Optimization (GRPO) mit einer Belohnung, die ausschließlich auf der Korrektheit der finalen Antwort basiert.

Diese Supervision auf Trajektorienebene schafft eine kritische Einschränkung: Jeder Token in einer Rollout erhält dasselbe Gradientensignal, unabhängig davon, ob eine bestimmte Suchanfrage gut formuliert oder redundant war. Um dies zu überwinden, haben neuere Arbeiten ausgefeilte Mechanismen eingeführt, darunter:

Externe Supervision: Destillation von Teilfragen von stärkeren Lehrmodellen (z. B. 72B-Modelle) oder Herleitung von schrittweisen Belohnungen aus Annotationen durch Modelle wie GPT-4o.
Auxiliäre Module: Anbringung von Prozess-Belohnungsmodellen, retrospektiven Kritikern oder intrinsischen Schätzern, die separate Trainingsphasen oder restriktive Annahmen erfordern.
Strukturelle Änderungen: Umstrukturierung von Rollouts mittels Baumsuche oder mehrstufiger Curricula.
Manuell entworfene Belohnungen: Feinabstimmung von Bonus- und Strafmechanismen für spezifische Abrufschritte.

Obwohl diese Methoden Gewinne erzielen, blähen sie die Trainingspipeline auf und binden das Rezept an Ressourcen oder Designs, die möglicherweise nicht universell verfügbar sind. Die Arbeit fragt, ob solche Mechanismen notwendig sind, und schlägt eine Methode vor, um eine schrittweise Supervision ausschließlich mit den eigenen Daten des Policy zu erreichen.

Methodik: Search-E1

Search-E1 ist eine Selbstentwicklungs-Pipeline, die zwischen standardmäßigem GRPO und Offline Self-Distillation (OFSD) wechselt. Sie benötigt keinen externen Lehrer, keine auxiliären Module und keine Annotationen über Standard-Frage-Antwort-Paare hinaus.

1. Die GRPO-Runde (Exploration)

Die Pipeline beginnt mit einer standardmäßigen GRPO-Runde unter Verwendung einer exakten Übereinstimmung als Ergebniss-Belohnung.

Für jede Frage $q$ wird eine Gruppe von $G$ Trajektorien aus dem aktuellen Policy $\pi_{\theta}$ gesampelt.
Belohnungen werden basierend auf der Korrektheit der finalen Antwort zugewiesen.
Der Policy wird unter Verwendung des standardmäßigen GRPO-Verlusts aktualisiert, wobei der Vorteil über alle Tokens in einer Trajektorie hinweg geteilt wird. Diese Phase erkundet den Raum der Trajektorien, fehlt jedoch an dichten schrittweisen Signalen.

2. Die OFSD-Runde (Konsolidierung)

Nachdem eine GRPO-Runde konvergiert ist, führt der Policy einen Offline-Selbst-Destillations-Schritt durch, um dichte, token-level-Signale aus seinen eigenen Rollouts zu extrahieren.

Pair Mining: Aus dem Rollout-Pool der konvergierten Policy werden für jede Frage Paare von Trajektorien $(\tau_{ref}, \tau_{stu})$ $(τ_{r e f}, τ_{s t u})$ konstruiert.
- Referenz ( $\tau_{ref}$ ): Die korrekte Trajektorie ( $R=1$ ) mit der geringsten Anzahl an Abrufaufrufen.
- Schüler ( $\tau_{stu}$ ): Eine inkorrekte Trajektorie ( $R=0$ ), die sich maximal von der Referenz unterscheidet, oder die deutlichste korrekte Trajektorie, falls keine inkorrekte Geschwister-Trajektorie existiert.
Asymmetrische Konditionierung: Dieselben Policy-Parameter $\theta$ $θ$ agieren sowohl als Lehrer als auch als Schüler, operieren jedoch unter unterschiedlichen Prompts:
- Schüler: Konditioniert auf den Standard-Inferenz-Prompt $P_S(q) = [\text{instruction}] \parallel q$ .
- Lehrer: Konditioniert auf einen privilegierten Prompt $P_T(q, \tau_{ref}) = [\text{instruction}] \parallel q \parallel \tau_{ref}$ , der die effiziente Referenz-Trajektorie als Expertenführer offenlegt.
Token-Level Forward KL-Ziel: Der Schüler wird trainiert, seine Inferenzzeit-Verteilung mit der Verteilung des Lehrers unter dem privilegierten Kontext abzugleichen.
- Der Verlust wird über Positionen berechnet, die vom Policy generiert wurden (ausgenommen abgerufener Text).
- Ein punktweiser Clipping-Mechanismus ( $\tau_{clip}$ ) begrenzt den Beitrag von Tokens mit hoher Divergenz, um eine Dominanz der Gradienten durch seltene Ausreißer zu verhindern.
- Das Ziel ist: $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$ .
Implementierung: OFSD wird über einen LoRA-Adapter realisiert, der an den GRPO-Checkpoint angehängt wird. Der Lehrer-Pass verwendet die eingefrorenen Basis-Gewichte, während der Schüler-Pass die aktiven LoRA-Gewichte verwendet.

3. Die alternierende Schleife

Die Pipeline iteriert wie folgt:

GRPO-Runde: Aktualisiert den Policy durch RL auf Ergebnisebene.
OFSD-Runde: Minet Paare aus den Rollouts der aktualisierten Policy und trainiert einen LoRA-Adapter, um die KL-Divergenz zu minimieren, und integriert den Adapter zurück in die Basis-Gewichte.
Dieser Zyklus wiederholt sich, wobei jede Iteration positive Gewinne liefert, bis das Modell die Kapazitätsgrenze des Backbones erreicht.

Hauptbeiträge

Search-E1-Pipeline: Ein Selbstentwicklungs-Framework, das einfaches GRPO mit Offline-Selbst-Destillation abwechseln lässt und damit die Notwendigkeit externer Lehrer, auxilliärer Module oder nicht-standardisierter Annotationen eliminiert.
OFSD-Ziel: Ein gepaarter Offline-Selbst-Destillations-Mechanismus, bei dem der Policy sowohl als Lehrer als auch als Schüler unter unterschiedlichen Konditionierungskontexten dient. Es nutzt ein token-level Forward KL mit punktweisem Clipping, um dichte schrittweise Supervision zu liefern, die vollständig aus den eigenen GRPO-Rollouts des Policy abgeleitet wird.
Empirische Leistung: An sieben QA-Benchmarks (sowohl Single-Hop als auch Multi-Hop) demonstriert Search-E1 State-of-the-Art-Ergebnisse unter Open-Source-Methoden ohne externe Supervision.

Experimentelle Ergebnisse

Die Methode wurde an sieben QA-Benchmarks unter Verwendung von Qwen2.5-3B-Instruct und Qwen2.5-7B-Instruct evaluiert.

Gesamtleistung: Search-E1 erreichte mit dem 3B-Modell einen durchschnittlichen Exact Match (EM) von 0,440 und übertraf damit alle Open-Source-Baselines in dieser Skalierung.
Vergleich mit Baselines auf Ergebniss-Belohnung: Es übertraf die stärkste Baseline auf Ergebniss-Belohnung (AutoRefine-Base) im Durchschnitt um 3,5 Punkte. Die Gewinne waren insbesondere bei Multi-Hop-Datensätzen ausgeprägt (z. B. +12,0 auf Bamboogle, +6,6 auf 2Wiki), was darauf hindeutet, dass eine schrittweise Ausrichtung am vorteilhaftesten ist, wenn Trajektorien komplexe, mehrstufige Suchketten beinhalten.
Vergleich mit Baselines auf Prozess-Supervision: Search-E1 übertraf Methoden, die auf externen Annotationen (StepSearch) und zustandsbasierter Gruppierung (GiGPO) beruhen, auf sechs der sieben Benchmarks.
- Es übertraf StepSearch auf allen vier Multi-Hop-Benchmarks, ohne GPT-4o-Annotationen zu verwenden.
- Es übertraf GiGPO auf 2Wiki, MuSiQue und HotpotQA. Die einzige Ausnahme war Bamboogle, was die Autoren auf die kleine Größe des Test-Splits und die spezifische Natur von Bridge-Entity-Abfragen zurückführen, die die anchor-state-Gruppierung von GiGPO begünstigen.
Ablation: Die Ergebnisse bestätigen, dass der alternierende Zyklus aus GRPO und OFSD konsistente positive Gewinne liefert, wobei das Signal ausreicht, um die Leistungslücke zu schließen und umzukehren, die typischerweise zwischen „Base"- und „Instruct"-Modellvarianten in RL-Szenarien zu beobachten ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Search-E1 zeigt, dass ausgefeilte externe Mechanismen nicht strikt notwendig sind, um such-verstärktes Reasoning zu verbessern. Durch die Nutzung des Kontrasts zwischen Geschwister-Trajektorien, die während des standardmäßigen GRPO-Trainings generiert werden, liefert die Methode auf natürliche Weise dichte schrittweise Supervision.

Einfachheit: Der Ansatz verlässt sich auf „einfaches" GRPO und ein Selbst-Destillations-Ziel und vermeidet die Komplexität des Trainings separater Belohnungsmodelle, Kritiker oder der Destillation von größeren Lehrmodellen.
Ressourceneffizienz: Es entfernt die Abhängigkeit von externen Systemen (wie GPT-4o) oder spezifischen Rollout-Strukturen (wie Baumsuche), wodurch das Rezept zugänglicher und robuster wird.
Generalisierbarkeit: Die Gewinne sind über Single-Hop- und Multi-Hop-Aufgaben hinweg konsistent, wobei die signifikantesten Verbesserungen in Szenarien auftreten, in denen die Qualität der schrittweisen Entscheidungen kritisch ist (Multi-Hop-Reasoning).

Die Autoren schließen daraus, dass das alternative Rezept aus Exploration (GRPO) und Konsolidierung (OFSD) ein gangbarer Weg für die Selbstentwicklung in such-verstärkten Agenten ist und eine einfachere Alternative zu den zunehmend komplexen Pipelines in diesem Bereich bietet. Als zukünftige Arbeit wird vorgeschlagen, reichhaltigere privilegierte Kontexte (z. B. mehrere korrekte Geschwister) und längere Selbstentwicklungs-Zeiträume zu erforschen.