🤖 AI

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

Das Papier stellt ABSeeker vor, einen Agenten für die Langzeitsuche, der mittels eines neuartigen Answer-Backtracked Credit Assignment (ABC)-Frameworks trainiert wurde, welches spärliche Trajektorien-Ergebnisse in dichte schrittweise Belohnungen umwandelt, um nützliche Aktionen von Fehlern zu unterscheiden, wodurch ein kompaktes 4B-Modell Agenten gleicher Größenordnung übertrifft und mit wesentlich größeren 30B-Modellen in komplexen Such-Benchmarks konkurriert.

Ursprüngliche Autoren: Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

Veröffentlicht 2026-08-06

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein riesiges, mehrstufiges Rätsel zu lösen. In der Welt der künstlichen Intelligenz nennt man das das Training eines „Search Agent“ (Suchagenten). Diese Agenten sind wie digitale Detektive, die nicht nur nach einem einzelnen Fakt suchen; sie müssen durch das Internet wandern, Dutzende von Websites lesen, die Punkte miteinander verbinden und eine komplexe Antwort zusammensetzen. Denken Sie an eine Schatzsuche, bei der die Karte fehlt und der Roboter den Weg finden muss, indem er Fragen stellt, Hinweise prüft und manchmal feststellt, dass er sich im Kreis dreht. Die große Herausforderung für Wissenschaftler besteht darin, herauszufinden, wie man diese Roboter besser im Suchen lehrt. Normalerweise gibt der Lehrer dem Roboter nach Abschluss einer Suche nur ein einfaches „Gut gemacht!“ oder „Versuch es noch einmal!“, basierend darauf, ob der endgültige Schatz gefunden wurde. Das ist jedoch so, als würde man die gesamte Semesterleistung eines Schülers nur anhand der Abschlussprüfung bewerten und dabei ignorieren, dass er wochenlang hart gelernt hat, aber am Ende einen dummen Fehler gemacht hat, oder dass er die richtige Antwort beim ersten Versuch erraten hat, ohne wirklich gearbeite zu haben.

Dieses Paper mit dem Titel „ABSeeker“ widmet sich genau diesem Problem. Die Forscher der Shanghai Jiao Tong University erkannten, dass wir Suchagenten erst dann wirklich intelligent machen können, wenn wir jeden einzelnen Schritt betrachten, den sie unternehmen, und nicht nur das Endergebnis. Sie schlagen eine neue Trainingsmethode namens „Answer-Backtracked Credit Assignment“ (ABC) vor. Anstatt nur zu sagen: „Du hast die Antwort richtig gefunden, also war jeder Schritt, den du gemacht hast, gut“, arbeitet ihr System vom korrekten Ergebnis rückwärts, um herauszufinden, welche spezifischen Hinweise entlang des Weges hätten gefunden werden sollen. Dann geht das System den Weg des Roboters zurück und vergibt Anerkennung für das Finden dieser Hinweise – selbst wenn der Roboter am Ende den Weg verloren hat – und verhängt ein „Zeitstraff-Urteil“ für Schritte, die Zeit verschwendet oder gute Hinweise ignoriert haben, selbst wenn der Roboter am Ende zufällig die richtige Antwort gefunden hat. Sie testeten dies an einem relativ kleinen KI-Modell (4 Milliarden Parameter) und fanden heraus, dass es komplexe Suchrätsel besser lösen kann als viel größere Modelle, was beweist, dass das Lehren des Roboters, wie er schrittweise denkt, wichtiger ist als nur das Modell größer zu machen.

Das Mysterium der „Alles-oder-Nichts“-Note

Tauchen wir ein in die Funktionsweise. Stellen Sie sich vor, Sie trainieren einen Hund darauf, ein bestimmtes verstecktes Spielzeug in einem riesigen Park zu finden. Bei der alten Methode des Trainings (die das Paper als „Trajectory-level Supervision“ bezeichnet) würden Sie dem Hund nur dann ein Leckerli geben, wenn er das Spielzeug zu Ihnen zurückbringt. Wenn der Hund das Spielzeug findet, es aber auf dem Rückweg in einer Pfütze fallen lässt, würden Sie ihm kein Leckerli geben. Wenn der Hund sich verirrt, im Kreis läuft und dann zufällig gegen das Spielzeug stößt, würden Sie ihm ein Leckerli geben. Das ist verwirrend für den Hund! Er weiß nicht, dass das Finden des Spielzeugs gut war oder dass das Herumrennen im Kreis schlecht war.

Die Autoren dieses Papers argumentieren, dass dieser „Alles-oder-Nichts“-Ansatz ein schwerwiegender Fehler beim Training von KI-Suchagenten ist. Sie stellten fest, dass eine KI, selbst wenn sie die endgültige Antwort nicht findet, oft viele korrekte Schritte unternimmt – wie etwa das Finden der richtigen Website oder das Lesen des richtigen Absatzes. Umgekehrt kann eine KI durch Glück oder durch einen seltsamen Shortcut die richtige Antwort finden, der wichtige Fakten überspringt. Das Paper argumenttiert, dass wir eine Möglichkeit benötigen, jeden einzelnen Zug der KI zu bewerten, nicht nur die Endpunktzahl.

Der „Backtracking“-Detektiv

Um dies zu beheben, erfanden die Forscher einen klugen Trick namens Answer-Backtracked Clue Recovery. Hier ist die Analogie: Stellen Sie sich vor, die KI ist ein Detektiv, der gerade ein Verbrechen gelöst hat und den Namen des Täters kennt (die „Ground-Truth-Antwort“). Das Paper schlägt vor, dass der Detektiv, anstatt nur den Sieg zu feiern, rückwärts arbeiten sollte: „Okay, ich weiß, der Täter ist John. Um zu beweisen, dass es John ist, muss ich seinen Fingerabdruck, sein Alibi und sein Auto gefunden haben.“

Im Fall der KI nimmt das System die korrekte Antwort und nutzt eine leistungsstarke KI, um rückwärts zu arbeiten („backtracken“) und alle Zwischenhinweise aufzulisten, die entdeckt worden sein müssen, um zu dieser Antwort zu gelangen. Wenn die Antwort beispielsweise eine bestimmte Marke Shampoo ist, könnten die Hinweise sein: „das Unternehmen, das sie besitzt“, „das Jahr, in dem der Gründer seinen Abschluss machte“ und „die Inhaltsstoffliste“. Diese Hinweise werden zur „Karte“ für die Bewertung der Leistung der KI.

Das Bewerten der Schritte

Sobald die Hinweiskarte bereit ist, durchläuft das System die Clue-Anchored Step Scoring. Hier geschieht die Magie. Die Reise der KI wird erneut abgespielt und jeder einzelne Schritt wird gegen die Hinweiskarte geprüft.

Die guten Schritte: Wenn die KI einen Hinweis findet (wie die Inhaltsstoffliste), erhält sie eine hohe Punktzahl, selbst wenn die KI am Ende aufgibt und das gesamte Rätsel nicht löst.
Die schlechten Schritte: Wenn die KI einen Hinweis ignoriert oder eine gute Spur verwirft, erhält sie eine Strafe, selbst wenn sie später irgendwie doch noch auf die richtige Antwort stößt.
Die neutralen Schritte: Einfaches Umherwandern, ohne etwas zu finden, erhält eine neutrale Bewertung.

Dies verwandelt eine einfache „Bestanden/Nicht bestanden“-Note in ein detailliertes Zeugnis für jede Bewegung der KI. Das Paper zeigt, dass diese Methode es der KI ermöglicht, aus ihren Fehlern viel schneller zu lernen, da sie genau weiß, welcher Zug falsch war, anstatt nur zu wissen, dass der gesamte Versuch gescheitert ist.

Die Ergebnisse: Kleines Gehirn, große Siege

Die Forscher entwickelten einen neuen Suchagenten namens ABSeeker mit dieser Methode. Sie begannen mit einem Modell namens Qwen3.5-4B, das in der Welt der KI relativ klein ist (denken Sie an einen klugen Oberstufenschüler im Vergleich zu einem PhD-Level Supercomputer). Sie trainierten es mit nur 8.500 Beispielen – eine winzige Menge im Vergleich zu den Millionen, die normalerweise benötigt werden.

Die Ergebnisse waren überraschend. In einem schwierigen Test namens BrowseComp, bei dem die KI Antworten auf komplexe, mehrteilige Fragen im Web finden muss, erreichte ABSeeker 37,3 %. Als sie eine Funktion hinzufügten, die der KI hilft, ihr Gedächtnis zu verwalten (genannt „Context Management“), sprang die Punktzahl auf 55,3 %.

Um dies einzuordnen: Das Paper vergleicht ABSeeker mit viel größeren KI-Agenten (etwa 30 Milliarden Parameter, die wie professionelle Detektive sind). ABSeeker, der „Oberstufenschüler“, schaffte es, auf mehreren schwierigen Tests diese viel größeren Agenten zu schlagen oder mit ihnen gleichzuziehen. Beispielsweise erreichte es auf der chinesischen Version des Tests (BrowseComp-ZH) 52,9 % und übertraf damit größere Modelle, die niedriger abschneiden.

Warum das wichtig ist

Das Paper legt nahe, dass das Geheimrezept nicht einfach darin besteht, die KI größer zu machen, sondern sie zu lehren, wie sie ihren eigenen Fortschritt bewertet. Durch die Verwendung von „Answer-Backtracked Credit Assignment“ lernt die KI, nützliche Aktionen zu schätzen und nutzlose zu vermeiden, unabhängig davon, ob sie am Ende das Spiel gewinnt oder verliert. Die Autoren fanden heraus, dass selbst in gescheiterten Versuchen etwa 10 % der Schritte tatsächlich qualitativ hochwertige Entdeckungen waren, die belohnt werden sollten. Unter dem alten System wären diese guten Schritte bestraft worden, weil das Endergebnis falsch war.

Kurz gesagt zeigt dieses Paper, dass man einer KI eine detaillierte Karte dessen geben kann, was eine „gute Reise“ ausmacht, und sie kann dann lernen, viel effizienter im Internet zu navigieren, selbst wenn sie mit einem kleineren Gehirn beginnt. Die Forscher glauben, dass dieser Ansatz ein Wendepunkt beim Training zukünftiger KI-Agenten sein könnte, damit diese komplexe Probleme lösen – nicht nur durch Raten, sondern durch sorgfältiges Durchdenken jedes einzelnen Schritts.

Technisches Resümee: ABSeeker – Training von Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

1. Problemstellung

Long-Horizon-Search-Agenten benötigen mehrere aufeinanderfolgende Aktionen, um Informationen abzurufen, zu verifizieren und zu integrieren, um komplexe Abfragen zu lösen. Bestehende Trainingsmethoden für diese Agenten, einschließlich sowohl Supervised Fine-Tuning (SFT) als auch Reinforcement Learning (RL), verlassen sich jedoch typischerweise auf eine trajektorienbasierte Supervision. In diesem Paradigma werden alle Schritte innerhalb einer Trajektorie einheitlich behandelt: Erfolgreiche Trajektorien werden vollständig belohnt, während fehlgeschlagene Trajektorien vollständig bestraft werden.

Diese einheitliche Behandlung führt zu einem grundlegenden Credit-Assignment-Problem (Zuordnungsproblem der Verantwortung):

False Negatives: Eine fehlgeschlagene Trajektorie kann hochgradig nützliche Zwischenschritte enthalten (z. B. das Entdecken entscheidender Beweise oder das Verfeinern einer Hypothese), die jedoch keine Belohnung erhalten, weil das Endergebnis falsch war.
False Positives: Eine erfolgreiche Trajektorie kann fehlerhafte, redundante oder irreführende Schritte enthalten, die trotz Behinderung des Suchprozesses die volle Belohnung erhalten.
Mangelnde Granularität: Bestehende Methoden versäumen es, den individuellen Beitrag spezifischer Aktionen zu unterscheiden, was die Fähigkeit einschränkt, kritische Such- und Denkverhalten zu optimieren.

2. Methodik: Answer-Backtracked Credit Assignment (ABC)

Die Autoren schlagen Answer-Backtracked Credit Assignment (ABC) vor, ein feingranulares Framework, das spärliche trajektorienbasierte Ergebnisse in dichte, schrittbasierte Supervision umwandelt. Die zentrale Erkenntnis ist, dass die Suchaufgabe, sobald eine verifizierte Antwort verfügbar ist, von Natur aus rückverfolgbar (backtrackable) wird. Durch das Zurückverfolgen von der verifizierten Antwort kann man die notwendigen Zwischenbeweise (Clues) rekonstruieren, die hätten entdeckt werden müssen.

Das Framework operiert durch zwei primäre Phasen:

2.1 Answer-Backtracked Clue Recovery

Gegeben ist eine Abfrage $q$ und die dazugehörige verifizierte Ground-Truth-Antwort $a^*$ . Das System setzt ein LLM ein, um die erforderliche Evidenzkette zur Lösung der Frage zu rekonstruieren.

Prozess: Das Rekonstruktionsmodell agiert als aktiver Agent, führt Websuchen durch und besucht Webseiten (unter Verwendung desselben Tool-Call-Protokolls wie der Forward-Agent), um die Beweiskette von der Antwort zurück zu den Einschränkungen der Abfrage zu verfolgen.
Output: Eine Menge von Zwischenbeweisen (Clues) $C = \{c_1, c_2, ..., c_K\}$ . Diese Clues sind konkrete, verifizierbare Informationseinheiten (Entitäten, Fakten, Attribute oder Beziehungen), die eine verifizierte Evidenzkette zwischen der Abfrage und der Antwort bilden.
Rolle: Diese Clues dienen als feste Ankerpunkte zur Bewertung der Qualität jedes Schritts in einer Suchtrajektorie, unabhängig vom Endergebnis.

2.2 Clue-Anchored Step Scoring

Jeder Schritt $s_t$ in einer gesammelten Trajektorie (ob erfolgreich oder fehlgeschlagen) wird gegen die rekonstruierte Clue-Menge $C$ evaluiert.

Scoring-Mechanismus: Jeder Schritt beginnt mit einem Basisscore von 1,0. Der Score wird basierend auf detektierten Verhaltensweisen im Reasoning, den Tool-Calls und den Antworten angepasst:
- Positive Deltas: Entdeckung/Verifizierung eines korrekten Clues (+0,8), Ausschluss eines falschen Kandidaten (+0,4) oder Übermitteln der verifizierten Antwort (+1,0).
- Negative Deltas: Falscheweise Verwerfen eines korrekten Clues (-0,8) oder Übermitteln einer falschen Antwort (-1,0).
Finaler Reward: Der Schritt-Reward $r_t$ ist der kumulierte Score, der auf den Bereich $[0, 2,0]$ begrenzt ist. Entscheidend ist: Ein Schritt in einer fehlgeschlagenen Trajektorie, der einen korrekten Clue entdeckt, erhält eine positive Belohnung, während ein Schritt in einer erfolgreichen Trajektorie, der nützliche Beweise verwirft, eine Strafe erhält.

2.3 Trainings-Pipeline

Basierend auf diesen dichten Schritt-Rewards entwickeln die Autoren zwei Trainingsalgorithmen:

ABC-SFT (Reward-Weighted Supervised Fine-Tuning): Das Standard-SFT wird modifiziert, um den Verlust (Loss) jedes Turns neu zu gewichten. Das Gewicht $w(r_t)$ wird über eine Sigmoid-Funktion des Schritt-Rewards berechnet, wodurch hochwertige Schritte stärker zum Gradienten beitragen, während fehlerhafte Schritte abgeschwächt werden.
ABC-GRPO (Step-Level Reinforcement Learning): Die schrittbasierten Scores dienen als Rewards im Group Relative Policy Optimization (GRPO) Algorithmus. Anstatt eines einzelnen trajektorienbasierten Advantage wird der Algorithmus einen diskontierten schrittbasierten Advantage für jedes Token berechnen, was feingranulare Policy-Updates ermöglicht.

3. Kernbeiträge

Answer-Backtracked Credit Assignment (ABC): Ein neuartiges Framework, das verifizierte Antworten nutzt, um Zwischenbeweis-Clues zu rekonstruieren, was die Evaluierung einzelner Suchschritte unabhängig vom Endergebnis der Trajektorie ermöglicht.
ABC-SFT und ABC-GRPO: Zwei aus ABC abgeleitete Trainingsalgorithmen, die die dichten, schrittbasierten Rewards nutzen, um SFT-Losses neu zu gewichten bzw. RL-Policies zu optimieren.
ABSeeker: Ein Search-Agent, der auf einem 4B-Parameter-Backbone (Qwen3.5-4B) trainiert wurde und nur 8,5k Beispiele benötigt. Er zeigt, dass feingranulare Prozess-Supervision eine hohe Performance ohne massive Modellskalierung ermöglichen kann.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ABSeeker auf fünf Benchmarks: BrowseComp, BrowseComp-ZH, xbench-2505, xbench-2510 und GAIA-text.

Performance:
- BrowseComp: 37,3 % (ohne Context Management), verbesserbar auf 55,3 % mit Context Management.
- BrowseComp-ZH: 39,1 % (ohne Context Management), verbesserbar auf 52,9 % mit Context Management.
- xbench-2505: 77,0 %.
- xbench-2510: 46,0 %.
- GAIA-text: 81,6 %.
Vergleiche:
- ABSeeker erreicht die beste Performance unter allen 4B Search-Agenten (übertrifft QUEST-4B, DR-Venus und AgentCPM-Explore).
- Es übertrifft signifikant gleich skalierte Baselines und gleicht der Performance wesentlich größerer Agenten (~30B), wie etwa Tongyi DeepResearch und OpenSeeker, auf mehreren Benchmarks.
Ablationsstudien:
- Der Ersatz von Standard-SFT durch ABC-SFT liefert konsistente Verbesserungen über alle Benchmarks hinweg.
- Der Ersatz von Standard-Trajektorien-GRPO durch ABC-GRPO steigert die Performance weiter, was zeigt, dass schrittbasierte Credit Assignment sowohl die Suchgenauigkeit als auch das Explorationsverhalten verbessert.
- Eine Analyse der Reward-Verteilung zeigt, dass selbst in erfolgreichen Trajektorien ~4 % der Schritte von geringer Qualität sind, während ~10 % der Schritte in fehlgeschlagenen Trajektorien hochwertig sind. ABC identifiziert und belohnt Letztere erfolgreich, während es Ersteren bestraft.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Answer-Backtracked Credit Assignment das Problem des Credit-Assignments in Long-Horizon-Suchen effektiv löst, indem es eine explizite, feingranulare Prozess-Supervision bereitstellt.

Effizienz: Die Methode ermöglicht es einem kompakten 4B-Modell, deutlich größere Agenten zu übertreffen, was darauf hindeutet, dass die Qualität der Trainings-Supervision (Unterscheidung zwischen nützlichen und fehlerhaften Schritten) entscheidender ist als die reine Modellgröße für Suchaufgaben.
Generalisierung: Trotz des Trainings ausschließlich auf BrowseComp-ähnlichen Fragen generalisiert ABSeeker effektiv auf xbench und GAIA, was auf robuste Cross-Benchmark-Fähigkeiten hindeutet.
Prozess-Supervision: Die Ergebnisse validieren, dass die Belohnung nützlicher Aktionen in fehlgeschlagenen Trajektorien und die Unterdrückung von Fehlern in erfolgreichen Trajektorien zu effizienteren und gezielteren Suchverhaltensweisen führt.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz die Bedeutung expliziter Prozess-Supervision für das skalierbare Training von Search-Agenten hervorhebt, und schlagen vor, das Framework auf andere Long-Horizon-Aufgaben auszuweiten, bei denen Ergebnisse in Zwischenbeweise zurückverfolgt werden können.