💬 NLP

SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

SD-Search führt ein on-policy-Hindsight-Selbstdistillierungs-Framework ein, das suchgestützte Schlussfolgerungsagenten ermöglicht, durch das Trainieren eines Schülermodells zur Nachahmung eines Hindsight-konditionierten Lehrers interne Supervisionssignale auf Ebene der einzelnen Schritte zu generieren und dadurch die Limitierungen der Kreditzuweisung bei outcome-basiertem Reinforcement Learning zu überwinden, ohne dass externe Lehrer oder zusätzliche Annotationen erforderlich sind.

Ursprüngliche Autoren: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, ein komplexes Rätsel zu lösen. Der Schüler verfügt über eine Bibliothek (das Internet), die er durchsuchen kann, weiß aber nicht, was er dem Bibliothekar fragen soll.

Im aktuellen Stand der KI-Forschung ähneln die meisten Trainingsmethoden einem Lehrer, der den Schüler nur am Endergebnis bewertet.

Das Problem: Wenn der Schüler die richtige Antwort erhält, sagt der Lehrer: „Gut gemacht!" Doch wenn der Schüler mit einer schlechten Frage und einem glücklichen Treffer Erfolg hatte, sagt der Lehrer trotzdem: „Gut gemacht!" Der Schüler lernt nie, dass seine spezifische Frage tatsächlich schrecklich war. Er weiß lediglich, dass das Ergebnis gut war. Dies wird als „Ergebnisbelohnung" (Outcome Reward) bezeichnet.
Die alte Lösung: Einige Forscher versuchten, dies zu beheben, indem sie einen superklugen, teuren „Meisterdetektiv" (eine massive externe KI) engagierten, der den Schüler beobachtet und sagt: „Das war eine gute Frage" oder „Das war eine schlechte". Das funktioniert, ist jedoch unglaublich teuer und langsam, da man für jede einzelne Trainingseinheit diesen riesigen Meisterdetektiv benötigt.

SD-Search ist eine neue, clevere Methode, um den Schüler zu unterrichten, ohne den teuren Meisterdetektiv zu benötigen. So funktioniert es, anhand einer einfachen Analogie:

Der „Zeitreise"-Unterricht

Stellen Sie sich vor, der Schüler schreibt einen Test.

Der Schüler (das „Gegenwart"-Ich): Der Schüler sitzt an seinem Schreibtisch und betrachtet die Frage. Er muss entscheiden, wonach er gerade jetzt suchen soll, ohne zu wissen, ob er richtig oder falsch liegen wird. Er rät basierend auf dem, was er in diesem Moment weiß.
Der Lehrer (das „Zukunft"-Ich): Stellen Sie sich nun denselben Schüler vor, aber diesmal verfügt er über ein magisches Zeitreise-Notizbuch. Dieses Notizbuch enthält die Ergebnisse von vielen Versuchen zur gleichen Frage. Es sagt: „In Versuch A fragten wir 'Wer ist der Vater?' und bekamen die richtige Antwort. In Versuch B fragten wir 'Was ist die Farbe des Himmels?' und lagen falsch."

SD-Search nutzt dieses magische Notizbuch, um eine „Lehrer"-Version des Schülers zu erstellen.

Der Lehrer betrachtet die Frage und liest das Notizbuch. Da der Lehrer weiß, welche Fragen zum Erfolg und welche zum Misserfolg führten, kann er sagen: „Ah, ich sehe, dass das Fragen nach dem Vater der richtige Zug war. Das hätte ich auch gefragt."
Der Schüler (der das Notizbuch noch nicht hat) wird dann gebeten, die Entscheidungen des Lehrers zu kopieren. Das Ziel ist es, die Vermutungen des Schülers mit der „Rückblick"-Weisheit des Lehrers in Einklang zu bringen.

Funktionsweise in der Praxis

Die Arbeit nennt dies „On-Policy Hindsight Self-Distillation". Lassen Sie uns das aufschlüsseln:

Selbstdistillation: Die KI unterrichtet sich selbst. Sie benötigt keinen externen Experten. Sie generiert eine Reihe von Versuchen (Rollouts), betrachtet die Ergebnisse und nutzt dann die „erfolgreichen" Muster, um die „Schüler"-Version ihrer selbst zu unterrichten.
Rückblick (Hindsight): Sie blickt darauf zurück, was nach der Entscheidung passiert ist, um zu beurteilen, ob die Entscheidung gut war.
On-Policy: Sie tut dies mit ihren eigenen aktuellen Daten, nicht mit Daten einer anderen, größeren KI.

Fokus auf die „Suchanfrage"

Die Arbeit konzentriert sich speziell auf die Suchanfragen (die Fragen, die die KI an die Suchmaschine stellt).

Bei alten Methoden erhielt jedes Wort, das die KI schrieb (einschließlich der Suchfragen), ein „Gut gemacht"-Aufkleber, wenn die endgültige Antwort richtig war, selbst wenn die Suchfrage vage oder falsch war.
Bei SD-Search erhält die KI ein spezifisches „Gut gemacht"- oder „Schlecht gemacht"-Signal für jede einzelne Suchfrage. Wenn die Suchfrage in eine Sackgasse führte, zeigt der Lehrer (mit dem Zeitreise-Notizbuch) dem Schüler eine andere, bessere Frage. Der Schüler lernt, die bessere Frage nachzuahmen.

Die Ergebnisse (die „Punktzahl")

Die Forscher testeten dies an sieben verschiedenen Frage-Antwort-Benchmarks (wie einem Quiz).

Leistung: Ihre Methode (SD-Search) schnitt genauso gut ab wie die teuren Methoden, die einen riesigen 72-Milliarden-Parameter-„Meisterdetektiv"-KI verwenden, und besser als Methoden, die nur das Endergebnis betrachten.
Effizienz: Sie taten dies ohne jegliche externe Hilfe, ohne teure APIs und ohne zusätzliche Trainingsphasen. Sie nutzten lediglich die Standard-Trainingsschleife und fügten einen kleinen „Zeitreise"-Schritt hinzu, bei dem die KI ihre eigenen früheren Versuche überprüft.
Skalierung: Je größer das KI-Modell wurde (von 3 Milliarden auf 7 Milliarden Parameter), desto besser wurde diese Selbstunterrichtsmethode, wohingegen die Methoden, die auf den „Meisterdetektiv" angewiesen waren, begannen, ihren Vorsprung zu verlieren.

In Kürze

SD-Search ist wie ein Schüler, der nach einem Test die Lösungsschlüssel und die Notizen seiner Freunde, die den Test zur gleichen Zeit geschrieben haben, einsehen darf. Er schreibt den Test dann erneut, wobei er versucht, exakt die Fragen zu stellen, die die „erfolgreichen" Versionen seiner selbst gestellt haben. Er lernt aus seinen eigenen vergangenen Fehlern und Erfolgen, wird intelligenter und benötigt niemals einen menschlichen Lehrer oder einen Supercomputer, der ihm sagt, was zu tun ist.

Technische Zusammenfassung: SD-Search

Problemstellung

Such-verstärkte Reasoning-Agenten, die internes Reasoning mit externen Abrufaufrufen abwechseln, sind stark von der Qualität einzelner Suchanfragen abhängig. Standard-Reinforcement-Learning-Ansätze (RL) für diese Agenten, wie Group Relative Policy Optimization (GRPO), nutzen jedoch typischerweise Ergebnis-basierte Belohnungen (z. B. die Richtigkeit der finalen Antwort). Diese Formulierung weist jedem Token in einem Rollout denselben trajectorieweiten Belohnungswert zu und versagt dabei, schrittspezifisches Credit für einzelne Suchentscheidungen zu vergeben. Folglich erhält das Modell kein Signal, das eine gut formulierte, hochwertige Anfrage von einer redundanten oder schlechten unterscheidet.

Neue Versuche, dies durch Prozessüberwachung (z. B. Thinker, StepSearch) zu adressieren, injizieren schrittniveau-Signale, indem sie externe Ressourcen nutzen: entweder ein deutlich größeres Lehrermodell (z. B. 72 Milliarden Parameter), um Probleme zu zerlegen, oder Annotationen von stärkeren externen Systemen (z. B. GPT-4o). Diese Methoden verbessern die Leistung, führen jedoch zu erheblichen Kosten, einer Abhängigkeit von externen APIs oder Modellen und schränken die Anwendbarkeit auf Szenarien ein, in denen solche Ressourcen verfügbar sind.

Methodik: SD-Search

Die Autoren schlagen SD-Search (On-Policy Hindsight Self-Distillation) vor, ein Framework, das schrittniveau-Überwachung vollständig aus der Policy selbst ableitet und somit externe Lehrer oder zusätzliche Annotationen überflüssig macht. Die Kerninnovation ist die on-policy Hindsight-Selbstdistillation, bei der ein einzelnes Modell zwei Rollen einnimmt, die sich ausschließlich durch ihren Konditionierungskontext unterscheiden:

Student-Sicht: Die Policy operiert unter Standard-Inferenzbedingungen und sieht nur das zum Entscheidungszeitpunkt verfügbare Trajektorien-Präfix.
Lehrer-Sicht: Dieselben Policy-Parameter werden auf einen Hindsight-Block ( $h(G)$ ) konditioniert. Dieser Block aggregiert die Such-Trajektorien und Ergebnis-Labels (CORRECT/INCORRECT) einer Gruppe von Geschwister-Rollouts, die aus derselben Frage stammen. Entscheidend ist, dass der Lehrer eine „maskierte" Ansicht dieser Rollouts erhält, bei der nur Suchspannen und Ergebnis-Labels behalten, aber nachgelagertes Reasoning, abgerufene Dokumente und finale Antworten verworfen werden, um zu verhindern, dass die Antwort direkt extrahierbar ist.

Das Trainingsziel

Die Methode richtet die Query-Verteilung des Students mit der Verteilung des Lehrers an den Stellen der Suchanfragen ( $Q_\tau$ ) mittels eines Token-level Jensen-Shannon-Divergenz (JSD)-Verlusts aus.

Lehrer-Verteilung: Da der Lehrer die Ergebnisse der gesamten Rollout-Gruppe kennt, kodiert seine prädiktive Verteilung über Such-Token implizit, welche Anfragen zum Erfolg führten und welche nicht.
Student-Ausrichtung: Der Student minimiert die JSD zwischen seiner eigenen Verteilung und der des Lehrers an den Query-Positionen. Dies liefert ein dichtes, schrittniveau-Signal, das die groben trajectorieweiten Vorteile von GRPO ergänzt.
Integration: Der Gesamtverlust ist $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$ . Der JSD-Term wird als zusätzlicher Verlust hinzugefügt, ohne den Advantage-Schätzer oder den GRPO-Rollout-Sampling-Prozess zu modifizieren.

Wichtige Design-Entscheidungen

Zukunfts-Maskierung: Der Hindsight-Block maskiert Nicht-Such-Token (THINK, DOCUMENTS, ANSWER), um zu verhindern, dass der Lehrer durch das Sehen der Antwort im abgerufenen Kontext „trügt", was die Suchverteilung kollabieren lassen würde.
Ergebnis-Kontrast: Der Lehrer konditioniert auf die binären Ergebnis-Labels von Geschwister-Rollouts. Dieser Kontrast ermöglicht es dem Lehrer, erfolgreiche Query-Muster zu verstärken und die Wahrscheinlichkeitsmasse von gescheiterten Mustern wegzuleiten, selbst wenn der spezifische überwachte Rollout in einem Misserfolg endet.
Warmup: Eine Warmup-Phase wird eingesetzt, bei der der Distillationskoeffizient null ist, damit die Policy das strukturierte Trajektorienformat erlernen kann, bevor das Selbstdistillations-Signal eingeführt wird.

Hauptbeiträge

Framework: SD-Search ist das erste Framework, das schrittniveau-Überwachung für such-verstärktes Reasoning durch on-policy Hindsight-Selbstdistillation bereitstellt und keine externen Lehrer oder Annotationen über die für das Ergebnis-basierte Belohnungstraining verwendeten Standard-Frage-Antwort-Paare hinaus erfordert.
Zielsetzung: Ein neuartiges Token-level-JSD-Ziel, das die Query-Verteilung der Policy mit einer Hindsight-konditionierten Verteilung ausrichtet. Dies lässt sich nahtlos in bestehende GRPO-Pipelines integrieren, wobei nur ein einziger zusätzlicher Vorwärtsdurchlauf und ein Verlustterm erforderlich sind.
Empirische Validierung: Umfassende Experimente auf sieben Single-Hop- und Multi-Hop-QA-Benchmarks zeigen, dass SD-Search Prozessüberwachungs-Baselines, die externe Ressourcen nutzen, einholt oder übertrifft, während es reine Ergebnis-basierte Belohnungsbaselines übertrifft.

Experimentelle Ergebnisse

Die Autoren bewerteten SD-Search mit Qwen2.5-3B und Qwen2.5-7B als Backbones über sieben Benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

3B-Skala: SD-Search erreichte eine durchschnittliche Exact Match (EM) von 0,428 und übertraf damit die stärksten ergebnisbasierten Belohnungsbaselines (AutoRefine: 0,405, MR-Search: 0,414) und entsprach statistisch der führenden Prozessüberwachungs-Baseline Thinker (0,430), obwohl Thinker auf einen 72B-Lehrer angewiesen ist.
7B-Skala: SD-Search erreichte eine durchschnittliche EM von 0,476 und übertraf alle Baselines, einschließlich Thinker (0,452) und AutoRefine (0,455).
Skalierungsverhalten: Im Gegensatz zu Thinker, dessen Leistungsgewinn gegenüber ergebnisbasierten Belohnungsbaselines mit zunehmender Modellgröße abnimmt und schließlich negativ wird (da der feste externe Lehrer zum Flaschenhals wird), bleiben die Gewinne von SD-Search über alle Skalen hinweg (1,5B bis 14B) positiv. Dies deutet darauf hin, dass die Methode mit der eigenen Kontext-Lesefähigkeit des Students skaliert.
Effizienz: Die Methode verursacht einen End-to-End-Trainingsaufwand von 15,5 % (gemessen auf 8×H800-GPUs) im Vergleich zu ergebnisbasierten Belohnungsbaselines. Dieser Aufwand ist vollständig innerhalb der Standard-RL-Schleife enthalten und vermeidet die massiven Inferenzkosten von 72B-Lehrermodellen oder GPT-4o-Annotationpipelines, die von konkurrierenden Methoden erforderlich sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das schrittniveau-Signal, das traditionell aus externen Quellen stammt, durch Hindsight-Konditionierung aus der Policy selbst wiederhergestellt werden kann. Durch die Nutzung des Kontrasts zwischen erfolgreichen und nicht erfolgreichen Rollouts innerhalb einer einzigen Trainingsgruppe lernt die Policy, hochwertige Suchentscheidungen ohne externe Überwachung zu identifizieren.

Die Autoren positionieren SD-Search als zugänglichere und skalierbarere Alternative zur Prozessüberwachung. Es beseitigt die Abhängigkeit von teuren externen Modellen oder APIs und macht hochwertige schrittniveau-Überwachung für Praktiker mit begrenzten Ressourcen machbar. Darüber hinaus deuten die Ergebnisse darauf hin, dass der „Lehrer" bei der Selbstdistillation kein separates, größeres Modell sein muss; vielmehr verfügt dieselbe Policy, wenn sie Zugang zu den Ergebnissen ihrer eigenen Erkundungen hat, über ausreichende Informationen, um ihre eigene Suchstrategie effektiv zu steuern.

Einschränkungen: Die Autoren weisen darauf hin, dass die Methode derzeit auf binäre Ergebnis-Labels angewiesen ist, die aus Gold-Antworten abgeleitet werden, was sie auf Aufgaben mit bewertbaren Referenzen beschränkt. Zudem kann die Wirksamkeit des Hindsight-Kontrasts in Szenarien nachlassen, in denen die gesamte Gruppe von Rollouts dasselbe Ergebnis teilt (alle erfolgreich oder alle gescheitert), obwohl dies in kleineren Skalen weniger häufig vorkommt.