💬 NLP

EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents

EviSD ist ein evidenzbedingtes Selbstdestillations-Framework, das durch die Nutzung von instanzspezifischer Evidenz und Gold-Antworten als privilegierte Informationen zur Verfeinerung der aktionsbasierten Kreditzuweisung während des Trainings suchverstärkte Sprachagenten verbessert und dadurch eine überlegene Leistung über mehrere Benchmarks hinweg erzielt, ohne das Verhalten zur Inferenzzeit zu verändern.

Ursprüngliche Autoren: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

Veröffentlicht 2026-08-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Detektiv zu sein. In der Welt der künstlichen Intelligenz wird dieser Roboter als „search-augmented agent“ (suchterweiterter Agent) bezeichnet. Seine Aufgabe ist es, knifflige Fragen zu lösen, indem er nachdenkt, im Internet nach Hinweisen sucht, erneut nachdenkt und erneut sucht, bis er schließlich die Antwort findet. Um dies zu verbessern, nutzen wir eine Trainingsmethode namens „Reinforcement Learning“ (bestärkendes Lernen). Stellen Sie sich das wie ein Videospiel vor, bei dem der Roboter erst ganz am Ende des Spiels ein „Gewinn“- oder „Verlust“-Signal erhält. Wenn er das Rätsel löst, bekommt er eine hohe Punktzahl; wenn er scheitert, bekommt er eine Null.

Das Problem bei diesem „Gewinn-oder-Verlust“-Ansatz ist, dass es ein wenig so ist, als würde man einen Schüler nur nach seiner Abschlussprüfung bewerten, ohne sich seine Hausaufgaben anzusehen. Wenn der Roboter die richtige Antwort findet, wissen wir, dass die gesamte Reise gut war, aber wir wissen nicht, welche spezifische Suche brillant war und welche Zeitverschwendung. Hat die erste Suche den entscheidenden Hinweis gefunden? Oder hatte der Roboter einfach nur Glück mit der letzten Vermutung? Weil der Roboter keinen Unterschied erkennen kann, könnte er weiterhin schlechte Suchen durchführen, in der Hoffnung, dass sie irgendwann zu einem Sieg führen. Dieses Paper befasst sich mit dem unordentlichen Mittelteil der Detektivreise und versucht, dem Roboter genau beizubringen, welche Schritte hilfreich und welche Ablenkungen waren, damit er ein klügerer und schnellerer Ermittler werden kann.

Hier kommt EviSD ins Spiel, ein cleverer neuer Trainings-Trick, der wie ein „privilegierter Coach“ für den Roboter fungiert. Die Forscher erkannten, dass der Roboter während des Lernens Zugriff auf ein Referenzblatt hat, das ihm bei der eigentlichen Arbeit in der realen Welt nicht zur Verfügung stehen wird. Dieses Referenzblatt enthält die „goldene Antwort“ (die korrekte Lösung) und die „stützenden Beweise“ (die spezifischen Textabsätze, die beweisen, dass die Antwort richtig ist).

So funktioniert EviSD, unter Verwendung einer spielerischen Analogie: Stellen Sie sich vor, der Roboter ist ein Schüler, der eine Prüfung ablegt.

Der Schüler (der Roboter): Der Schüler legt die Prüfung ab und nutzt dabei nur die Informationen, die ihm in diesem Moment zur Verfügung stehen. Er schreibt seine Suchanfragen und seine endgültige Antwort auf.
Der Coach (der Lehrer): Nachdem der Schüler fertig ist, setzt das gleiche Roboter-Modell einen „Coach-Hut“ auf. Der Coach schaut sich die Antworten des Schülers an, darf aber in das Referenzblatt schauen (die Beweise und die korrekte Antwort).
Die Feedback-Schleife: Der Coach vergleicht, was der Schüler geschrieben hat, mit dem, was er geschrieben hätte, da er die geheimen Hinweise kennt.
- Wenn der Schüler eine großartige Suchfrage gestellt hat, die die Beweise hätte finden können, gibt der Coach ein Daumen-hoch.
- Wenn der Schüler eine vage Frage gestellt hat, die nicht hilfreich gewesen wäre, gibt der Coach einen sanften Anstoß, es beim nächsten Mal besser zu machen.
- Entscheidend ist: Der Coach sagt nicht nur „Du hast es richtig gemacht“ oder „Du hast es falsch gemacht“. Er sagt: „Deine Suche nach ‚X‘ war großartig, weil sie zur Beweislage passt, aber deine Suche nach ‚Y‘ war eine Sackgasse.“

Die Magie von EviSD liegt darin, dass es diesen „Feedback des Coaches“ nutzt, um das Gehirn des Roboters nur für die spezifischen Teile zu verfeinern, in denen der Roboter eine Aktion ausgeführt hat (die Suchanfragen und die endgültige Antwort). Es versucht nicht, die gesamte Persönlichkeit des Roboters umzuschreiben oder ihn dazu zu zwingen, das Referenzblatt auswendig zu lernen. Stattdessen fungiert es wie ein Lautstärkeregler. Wenn das ursprüngliche Training des Roboters sagte: „Diese Suche war gut“, dreht der Coach die Lautstärke noch höher auf, wenn die Beweise dies unterstützen. Wenn das ursprüngliche Training unsicher war, hilft der Coach, die Dinge zu klären. Aber wenn der Roboter die endgültige Antwort falsch hatte, wird der Coach nicht so tun, als wäre die Suche perfekt gewesen; das „Gewinn-oder-Verlust“-Signal zählt weiterhin am meisten.

Die Forscher testeten diese Methode bei sieben verschiedenen Aufgaben zur Beantwortung von Fragen, die von einfachen Trivia bis hin zu komplexen mehrstufigen Rätseln reichten. Sie fanden heraus, dass EviSD andere Top-Methoden konsistent übertraf. Tatsächlich verbesserte es die Genauigkeit des Roboters um etwa 1,3 bis 2,3 Punkte im Vergleich zu den besten existierenden Techniken. Vielleicht noch beeindruckender ist, dass der Roboter lernte, effizienter zu werden, indem er weniger Suchen benötigte, um die Antwort zu finden (ein Rückgang von durchschnittlich 2,27 Suchen auf 1,87).

Das Paper legt nahe, dass dieser Ansatz ein bedeutender Schritt nach vorn ist, da er das „Credit Assignment“-Problem löst – also die Frage, welche spezifischen Aktionen zum Erfolg führten – ohne das Verhalten des Roboters bei der tatsächlichen Arbeit in der realen Welt zu verändern. Wenn der Roboter später echte Probleme löst, hat er das Referenzblatt nicht, und das ist auch gut so; er nutzt einfach die klügeren Gewohnheiten, die er während des Trainings gelernt hat. Die Studie zeigt, dass wir dem Roboter, indem wir ihm einen Moment geben, in dem er mit einer „privilegierten Sicht“ auf die Wahrheit reflektieren kann, beibringen können, ein viel schärferer Detektiv zu sein, der zwischen einem glücklichen Zufallstreffer und einer gut geplanten Untersuchung unterscheidet.

Technisches Resümee: EviSD – Evidenz-konditionierte Selbst-Distillation für such-augmentierte Agenten

Problemstellung

Such-augmentierte Sprachagenten nutzen externe Retrieval-Verfahren, um zwischen Schlussfolgerungen (Reasoning) und Informationsbeschaffung zu wechseln. Während jüngste auf Ergebnissen basierende Reinforcement Learning (RL)-Methoden, wie etwa Group Relative Policy Optimization (GRPO), ein Training über verifizierbare Endantworten ermöglichen, leiden sie unter einer fundamentalen Einschränkung bei der Kreditzuweisung (Credit Assignment). Auf Ergebnisebene basierende Belohnungen übertragen denselben Trajektorien-Vorteil auf jedes generierte Token. Infolgedessen kann das System nicht unterscheiden zwischen:

Effektiven Suchanfragen, die entscheidende Evidenz abgerufen haben.
Redundanten oder vagen Suchanfragen, die keinen Wert lieferten.
Intermediären Reasoning-Token gegenüber terminalen Antwort-Token.

Dieses „nur-Ergebnis“-Feedback versagt bei der Lokalisierung instanzspezifischer Entscheidungen, was es schwierig macht, die spezifischen Aktionen (Suche oder Antwort) zu optimieren, die zum Erfolg oder Misserfolg führten – insbesondere in Multi-Turn-Szenarien, in denen frühe Abfragen die Qualität des nachfolgenden Reasonings bestimmen.

Bestehende Ansätze versuchen, die Granularität der Kreditzuweisung durch Suchspezifische Belohnungen oder Schritt-Ebene-Schätzer zu verfeinern, doch oft fehlt ihnen ein Mechanismus, um zu bestimmen, welche instanzspezifische Information eine gesampelte Aktion leiten sollte. Umgekehrt führen On-Policy Selbst-Distillationsmethoden (OPSD) privilegierte Teacher-Kontexte ein, verlassen sich jedoch oft auf trajektorienbasierte Hindsight oder Aufgaben-Skills, die nicht direkt die spezifische Evidenz identifizieren können, die für eine gegebene Abfrage erforderlich ist.

Methodik: EviSD

Die Autoren schlagen EviSD (Evidence-Conditioned Self-Distillation) vor, ein Framework, das instanzbezogene unterstützende Evidenz als privilegierten Kontext nutzt, um ergebnisbasierte Kredite zu verfeinern. Die Methode operiert unter zwei Kernentscheidungen im Design:

1. Konstruktion des instanzbezogenen privilegierten Kontexts

EviSD behandelt unterstützende Evidenz (in den Trainingsdaten annotiert) als privilegierten Kontext für Suchaktionen und Gold-Antworten für Antwortaktionen.

Für Suchaktionen: Das Teacher-Modell wird auf die annotierte unterstützende Evidenz ( $E_q$ ) der aktuellen QA-Instanz konditioniert. Dies bietet eine Sichtweise darauf, was eine nützliche Abfrage aufdecken sollte, ohne eine spezifische Suchanfrage vorzuschreiben.
Für Antwortaktionen: Der Teacher wird auf die Gold-Antwort ( $C_q$ ) konditioniert.
Aktions-Alignment: Der privilegierte Kontext wird dem ursprünglichen Kontext nur dann vorangestellt, wenn der Student eine Such- oder Antwortaktion generiert. Für andere Token (Reasoning, Delimiter) bleibt der Kontext unverändert.

2. Aktions-lokalisierte, ergebnis-verankerte Kredit-Modulation

Anstatt einen separaten Distillations-Loss zu optimieren, übersetzt EviSD die Differenz zwischen Teacher und Student in eine begrenzte Korrektur des GRPO-Vorteils.

Teacher-Student-Kontrast: Dieselbe Policy agiert sowohl als Student (Sampling aus dem ursprünglichen Kontext) als auch als Teacher (Re-Scoring derselben Aktion unter dem privilegierten Kontext). Das Signal ist das entkoppelte Log-Likelihood-Verhältnis ( $\delta$ ) zwischen den beiden Ansichten.
Lokalisierung: Die Modulation wirkt sich nur auf die Inhalts-Token der generierten Such- und Antwortaktionen ( $m^{act}$ ）aus. Reasoning-Token und abgerufene Passagen behalten ihren ursprünglichen GRPO-Kredit.
Modulationsfunktion: Das privilegierte Signal moduliert die Größenordnung des ergebnisbasierten Vorteils ( $A$ ) über eine beschränkte Funktion:
$\Delta A^{priv} = \lambda |A| \tanh(\tau \delta) m^{act}$
$\hat{A} = A + \Delta A^{priv}$
Hierbei steuert $\lambda$ die maximale relative Korrektur und $\tau$ die Sensitivität. Entscheidend ist, dass die Korrektur für $\lambda < 1$ das Vorzeichen des ursprünglichen Vorteils nicht umkehren kann. Die Ergebnisbelohnung bleibt der Anker für die Update-Richtung; die privilegierte Information verfeinert lediglich die Stärke des Kredits für spezifische Aktions-Token.

Training und Inferenz

Training: Das Modell sampelt Trajektorien, berechnet Ergebnisbelohnungen, konstruiert privilegierte Kontexte für Such- und Antwort-Turns, re-scored die Aktionen, um die Teacher-Student-Differenz zu generieren und aktualisiert die Policy unter Verwendung des modulierten Vorteils $\hat{A}$ innerhalb des Standard-GRPO-Clipping-Objektivs.
Inferenz: Der eingesetzte Agent arbeitet exakt wie zuvor. Die privilegierten Kontexte und die Teacher-Ansicht werden entfernt, was keine Änderungen an der Inferenz-Pipeline oder zusätzliche Latenz erfordert.

Zentrale Beiträge

Evidenz-konditioniertes Framework: EviSD führt eine neuartige Verwendung von instanzspezifischer unterstützender Evidenz als privilegierten Teacher-Kontext für Suchaktionen ein, ergänzt durch Gold-Antworten für Antwortaktionen.
Aktions-lokalisierte Modulation: Das Paper schlägt eine Regel zur Kredit-Modulation vor, die die entkoppelte Teacher-Student-Differenz in eine begrenzte Korrektur für GRPO-Vorteile umwandelt. Dieser Ansatz erfordert keinen zusätzlichen Distillations-Loss und verursacht keine Änderungen bei der Inferenz.
Leistung und Robustheit: Die Methode erreicht State-of-the-Art-Ergebnisse über sieben QA-Benchmarks und drei Modell-Backbones (Qwen2.5-3B, 7B und Qwen3-1.7B) hinweg und übertrifft die stärksten Baselines um 1,3–2,3 makro-gemittelte Exact Match (EM) Punkte.

Experimentelle Ergebnisse

Die Autoren evaluierten EviSD auf sieben Datensätzen (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMQA, MuSiQue, Bamboogle), die Single-Hop- und Multi-Hop-Reasoning abdecken.

Gesamtleistung: EviSD erreichte die höchste makro-gemittelte EM in allen evaluierten Settings. Auf dem Qwen2.5-7B Backbone übertraf es die zweitbeste Methode (SDAR) um 1,3–2,3 Punkte.
Sucheffizienz: EviSD zeigte höhere Erfolgsraten mit weniger Suchvorgängen (1,87 Suchen pro Trajektorie gegenüber 2,16 bei SDAR), was auf eine präzisere Steuerung der Suchaktionen hindeutet.
Ablationsstudien:
- Quelle des Privilegs: Das Ersetzen der instanzspezifischen Evidenz durch einen Antwort-only-Kontext reduzierte die Leistung um 2,1 EM-Punkte, was den Wert der Evidenz für die Überwachung von Suchaktionen bestätigt.
- Lokalisierung: Die Anwendung der Modulation auf die gesamte Antwort (statt nur auf die Aktions-Spans) reduzierte die Leistung um 7,1 Punkte, was die Notwendigkeit der Lokalisierung der Anleitung auf Aktions-Token validiert.
- Trainingsdynamik: EviSD behielt im Vergleich zu Wettbewerbern eine glatte On-Policy-Erfolgsrate und eine niedrigere KL-Divergenz bei, was auf eine stabile Policy-Verbesserung ohne abrupte Abweichungen hindeutet.
Sensitivität: Die Methode zeigte eine geringe Sensitivität gegenüber der Qualität der privilegierten Evidenz; das Ersetzen der Gold-Evidenz durch relevante abgerufene Dokumente führte zu einer vernachlässigbaren Verschlechterung der Leistung.

Bedeutung und Ansprüche

Das Paper behauptet, dass EviSD die kritische Lücke der ergebnisbasierten RL für Such-Agenten adressiert, indem es die Kreditzuweisung lokalisiert, ohne die Skalierbarkeit von Ergebnisbelohnungen zu opfern. Durch die Behandlung der unterstützenden Evidenz als privilegierte Information führt das Framework den Agenten dazu, zu identifizieren, welche Information für eine Abfrage notwendig ist, ohne die Abfrage selbst vorzuschreiben.

Die Autoren betonen, dass sich ihr Ansatz von bisherigen Selbst-Distillationsmethoden unterscheidet, da er:

Instanzspezifische Evidenz verwendet anstatt trajektorienbasierter Hindsight oder wiederverwendbarer Skills.
Den Ergebnis-Kredit ** moduliert** anstatt eines separaten Distillations-Ziels zu optimieren.
Die durch die Ergebnisbelohnung bestimmte Update-Richtung beibehält, während die Größenordnung des Kredits für spezifische Aktionen verfeinert wird.

Letztlich zeigt EvidSD, dass die Verfeinerung der Kreditzuwendung durch evidenz-konditionierte Selbst-Distillation die such-augmentierten Reasoning-Fähigkeiten über verschiedene Modellskalen und Generationen hinweg signifikant verbessern kann, während eine einsatzbereite Inferenz-Architektur erhalten bleibt.