🤖 machine learning

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflect ist ein Trainingsframework, das das langfristige Denken von Suchagenten verbessert, indem es Reflexion als eine Gedächtnissteuerungs-Policy formuliert und einen dualen Distillationsmechanismus einsetzt, um lokale reflektive Entscheidungen mit globalen Aufgabenergebnissen abzugleichen, wodurch die Herausforderungen der spärlichen Überwachung durch ergebnisorientiertes Reinforcement Learning überwunden werden.

Ursprüngliche Autoren: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

Veröffentlicht 2026-08-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten, sehr eifrigen Roboter bei, ein riesiges, mehrstufiges Rätsel zu lösen. Dieser Roboter, der von einem Large Language Model (LLM) angetrieben wird, ist wie ein Detektiv, der in der Lage ist, Millionen von Büchern zu lesen, Fragen zu stellen und Hinweise zusammenzufügen. Aber hier ist der Haken: Wenn der Detektiv stecken bleibt oder einer falschen Spur folgt, merkt er es oft erst, wenn er schon ein ganzes Kapitel voller Unsinn geschrieben hat. In der Welt der Künstlichen Intelligenz nennt man das „Long-Horizon Reasoning“ (langfristige Schlussfolgerung). Es ist die Fähigkeit, eine lange Reise zu planen, nicht nur einen einzelnen Schritt zu machen.

Das große Problem ist, das einem Roboter beizubringen, zu sagen: „Warte, ich gehe in die falsche Richtung, lass uns zurückgehen“, ist unglaublich schwer. Normalerweise erhält der Roboter erst am Ende der Geschichte eine Note: „Du hast das Rätsel gelöst!“ oder „Du bist gescheitert.“ Wenn der Roboter vor drei Stunden einen Fehler gemacht hat, hat er keine Vorstellung davon, dass genau dieser spezifische Moment das Problem war. Es ist wie ein Schüler, der eine schlechte Note in einer Abschlussprüfung bekommt und keine Ahnung hat, welche Hausaufgabe die Probleme verursacht hat. Dieses Paper befasst sich mit genau dieser Frustration: Wie bringen wir einer KI bei, auf ihre eigene Arbeit zu schauen, die Fehler zu erkennen und die „Rückgängig“-Taste zu drücken, bevor sie das ganze Projekt ruiniert?

Lernen Sie LoongReflect kennen, ein neues Trainings-Framework, das darauf ausgelegt ist, KI-Agenten in selbstkorrigierende Detektive zu verwandeln. Die Forscher der Peking University erkannten, dass eine KI für das Lösen komplexer Rätsel mehr als nur einen „Versuch es nochmal“-Button benötigt; sie braucht eine strukturierte Art und Weise, innezuhalten, nachzudenken und ihre eigene Historie neu zu schreiben.

Betrachten Sie den Denkprozess der KI nicht als eine gerade Linie, sondern als einen riesigen, umkehrbaren Baum. Während die KI ein Problem untersucht, lässt sie Zweige wachsen. Meistens geht sie einen Zweig entlang und sammelt Fakten. Aber manchmal stößt sie auf eine Sackgasse oder findet einen Hinweis, der nicht passt. In der Vergangenheit hätte die KI vielleicht einfach weitergegangen und diesen schlechten Hinweis mitgeschleppt, bis die ganze Geschichte kollabiert ist. LoongReflect gibt der KI zwei Superkräfte: (reflektieren) und (zurückverfolgen).

Die -Aktion ist wie ein Detektiv, der anhält, um eine Karte zu konsultieren. Er fragt: „Was weiß ich mit Sicherheit? Was fehlt mir? Ist dieser Zweig sicher?“ Er rät nicht nur; er fasst die Beweise zusammen und identifiziert Risiken. Wenn der Detektiv erkennt, dass er auf dem falschen Pfad ist, nutzt er die -Aktion. Dies ist nicht nur das Löschen des letzten Satzes; es ist wie eine Zeitreise zurück zum letzten sicheren Checkpoint, das Abschneiden des unordentlichen, falschen Zweigs und das Behalten eines kleinen Klebezettels mit der Aufschrift: „Gehe nicht wieder diesen Weg entlang.“ Die KI beginnt dann frisch an diesem sicheren Punkt und ist mit einer gelernten Lektion bewaffnet.

Aber wie bringt man einer KI das bei? Das Paper identifiziert ein schwieriges „Learning Signal Dilemma“ (Lernsignal-Dilemma). Wenn man die KI nur belohnt, wenn sie die endgültige Antwort richtig hat, erhält sie nur sehr wenig Hilfe dabei, wie sie reflektiert. Es ist, als würde man versuchen, Autofahren zu lernen, indem man nur ein Hupen bekommt, wenn man einen Unfall baut. Die KI weiß nicht, ob es die Kurve, die Geschwindigkeit oder der Regen war, der den Unfall verursacht hat.

Um dies zu beheben, haben die Autoren ein Zwei-Kanal-Trainingssystem entwickelt, das wie zwei Trainer ist, die zusammenarbeiten:

Der schnelle Coach (Der Lehrer): Dieser Coach ist eine „privilegierte“ Version der KI, die den gesamten Baum der Möglichkeiten und das Endergebnis sehen kann, bevor der Schüler einen Zug macht. Er beobachtet den lokalen Zweig des Schülers und sagt: „Hey, du ignorierst hier einen entscheidenden Hinweis“ oder „Du solltest jetzt zurückverfolgen“. Entscheidend ist, dass dieser Coach nicht die endgültige Antwort verrät (um zu verhindern, dass der Schüler den Denkprozess umgeht), sondern nur Hinweise darauf gibt, wie man denkt und wann man umkehrt. Dies bietet der KI ein dichtes, unmittelbares Feedback zu ihren Reflexionsfähigkeiten.
Der langsame Coach (Das Ergebnis): Dieser Coach wartet bis zum Ende der Reise. Er betrachtet das Endergebnis und sagt: „Gute Arbeit beim Lösen des Rätsels!“ oder „Du bist gescheitert.“ Er nutzt diese Endnote, um sicherzustellen, dass die lokalen Entscheidungen der KI tatsächlich zu Erfolg in der realen Welt führen.

Die Magie geschieht, wenn diese beiden Coaches koordinieren. Der „schnelle Coach“ schlägt eine Richtung basierend auf lokaler Logik vor, und der „langsame Coach“ prüft, ob diese Richtung tatsächlich zu einem Sieg führt. Wenn sie sich uneinig sind, nutzt das System eine clevere „Look-Ahead“-Methode (Vorausschau), um den Vorschlag des schnellen Coaches anzupassen, damit er die KI nicht in die Irre führt. Es ist wie ein GPS, das eine Abkürzung vorschlägt, aber ein Verkehrsleiter überprüft, ob diese Abkürzung einen tatsächlich schneller ans Ziel bringt.

Die Ergebnisse sind vielversprechend. Die Forscher haben LoongReflect bei schwierigen mehrstufigen Fragen (wie dem Finden eines spezifischen Faktums, der über mehrere Dokumente versteckt ist) und mathematischen Problemen getestet. Sie fanden heraus, dass mit dieser Methode trainierte Agenten andere Top-KI-Agenten konsistent übertrafen. Beispielsweise stieg die durchschnittliche Punktzahl bei einem 3-Milliarden-Parameter-Modell von etwa 31 % auf über 46 %, was einen signifikanten Sprung darstellt. Noch beeindruckender ist, dass die Fähigkeiten, die die KI bei diesen Leseaufgaben erlernt hat, auf mathematische Probleme übertrugen, die sie noch nie gesehen hatte, was darauf hindeutet, dass sie wirklich die Kunst der Reflexion gelernt hat und nicht nur, wie man Antworten auswendig lernt.

Kurz gesagt: LoongReflect legt nahe, dass wir KI-Agenten, indem wir ihnen eine strukturierte Möglichkeit geben, innezuhalten, ihre eigenen Fehler zu diagnostizieren und ihre Fehler sauber rückgängig zu machen, viel besser darin machen können, die komplexen, langfristigen Probleme zu lösen, an denen sie derzeit scheitern. Es verwandelt die KI von einem Roboter, der einfach nur weiterläuft, in einen Detektiv, der weiß, wann er anhalten, nachdenken und einen anderen Weg einschlagen muss.

Technisches Resümee: LoongReflect

Problemstellung

LLM-Agenten (Large Language Model Agents) verlassen sich zunehmend auf langfristiges (long-horizon) Denken, um komplexe Aufgaben zu lösen, die Planung, Werkzeugnutzung und Gedächtnis erfordern. Eine kritische Fähigkeit in diesen Szenarien ist die Reflexion: die Fähigkeit, den Fortschritt eines Trajektorienverlaufs zu bewerten, fehlende Belege oder unzuverlässige Zwischenzustände zu identifizieren und zu entscheiden, ob ein aktueller Denkzweig fortgesetzt, revidiert oder abgebrochen werden soll.

Das Erlernen effektiver Reflexion wird durch zwei fundamentale Herausforderungen behindert:

Das Lernsignal-Dilemma: Der Wert einer reflexiven Entscheidung wird durch viele nachfolgende Aktionen vermittelt und offenbart sich erst durch das endgültige Aufgabenergebnis. Ergebnisbasiertes Reinforcement Learning (RL) liefert spärliche, verzögerte und schwach attribuierbare Überwachung für diese Zwischenentscheidungen. Umgekehrt ist die Zuweisung expliziter Belohnungen für die Reflexion anfällig für „Reward Hacking“, was oberflächliche oder übermäßige Reflexion fördert, ohne den Aufgabenerfolg tatsächlich zu verbessern.
Die lokale-globale Perspektivkluft: Reflexion erfolgt im Kontext des aktuellen Denkzweigs (lokal), doch ihr wahrer Nutzen hängt davon ab, wie dieser Zweig zum vollständigen Verlauf (global) beiträgt. Ein lokaler Reflektor kann nicht direkt beobachten, ob das Fortsetzen, Revidieren oder Abbrechen eines Zweigs letztendlich das Endergebnis verbessert.

Bestehende Ansätze behandeln Reflexion entweder als lokale Beurteilung oder verlassen sich auf Überwachungssignale, die nicht mit den langfristigen Ergebnissen übereinstimmen, wodurch sie daran scheitern, Reflexion als Kontrollmechanismus auf Trajektorienebene zu erlernen.

Methodik: LoongReflect

LoongReflect ist ein Trainingsframework, das Reflexion als explizite Gedächtnis-Kontrollpolitik (memory-control policy) für langfristige Agenten formuliert. Es adresset die genannten Herausforderungen durch eine reversible Trajektorienbaum-Struktur und einen Zwei-Kanal-Optimierungsmechanismus.

1. Gedächtnis-Kontroll-Framework

Der Agent operiert über einen reversiblen Trajektorienbaum ( $T_t$ ) mit einem aktiven Ausführungspfad ( $P_t$ ) und einem komprimierten Arbeitsgedächtnis ( $m_t$ ).

Explizite Aktionen: Der Agent wählt zwischen Ausführungsaktionen (Denken, Werkzeugnutzung, Antworten) und Kontrollaktionen:
- <reflect>: Diagnostiziert den aktiven Zustand, indem es verifizierte Fakten zusammenfasst, fehlende Belege identifiziert und branchespezifische Risiken bewertet. Es gibt eine strukturierte Entscheidung aus: continue (fortfahren) oder backtrack (zurückgehen).
- <backtrack>: Führt eine Wiederherstellung aus, wenn der aktuelle Zweig als unzuverlässig eingestuft wird. Es entfernt den kontaminierten Suffix aus dem aktiven Kontext, stellt einen validierten Präfix wieder her und bewahrt eine prägnante „korrektive Lektion“ (z. B. eine falsifizierte Annahme oder Einschränkung) für zukünftige Schritte.
Zustandsseparation: Inaktive Zweige werden aus dem aktiven Kontext ausgeschlossen, um Zustandskontamination zu verhindern, bleiben aber im Baum für die Fehlerdiagnose und die reflexive Überwachung erhalten.

2. Zwei-Kanal-Optimierung

Um die lokale-globale Diskrepanz zu lösen, verwendet LoongReflect zwei komplementäre Lernkanäle, die über ein Look-Ahead, Extragradient-artiges Update koordiniert werden.

Schneller Kanal (Lokale Destillation):
- Ziel: Bereitstellung dichter, lokal informierter Überwachung für Reflexionsentscheidungen.
- Mechanismus: Ein privilegierter EMA-Lehrer (trainiert auf derselben Policy, jedoch mit Zugriff auf den globalen Trajektorienbaum und das Endergebnis) generiert antwortmaskierte, strukturierte Hinweise. Diese Hinweise diagnostizieren den Zustand (verifizierte Belege, Risiken, Rückkehrpunkte), ohne die endgültige Antwort preiszugeben.
- Loss: Der Student lernt über ein maskiertes Reverse-KL-Ziel, das auf die <reflect>- und <backtrack>-Token beschränkt ist, wodurch die lokalen Kontrollentscheidungen mit der global informierteren Diagnose des Lehrers abgeglichen werden.
Langsamer Kanal (Globale Optimierung):
- Ziel: Abstimmung lokaler Kontrollentscheidungen mit dem endgültigen Aufgabenerfolg.
- Mechanismus: Verwendet Group Relative Policy Optimization (GRPO) auf vollständigen Trajektorien. Es evaluiert, ob die Reflexions- und Backtracking-Entscheidungen zu einem erfolgreichen Endergebnis geführt haben.
- Loss: Optimiert die Policy basierend auf gruppenrelativen Vorteilen, die aus den Endergebnissen abgeleitet werden, um sicherzustellen, dass das destillierte reflexive Verhalten zum Gesamterfolg der Aufgabe beiträgt.
Look-Ahead Koordination:
- Der schnelle Kanal schlägt eine Update-Richtung ( $g_f$ ) basierend auf lokaler Destillation vor. Der langsame Kanal evaluiert diese Richtung gegenüber globalen Ergebnissen, um eine Kalibrierungsrichtung ( $g_s$ ) abzuleiten.
- Wenn $g_f$ und $g_s$ kollidieren (d. h. lokale Verbesserungen verschlechtern die globale Leistung), wird die konfliktbehaftete Komponente von $g_f$ herausprojiziert. Das finale Update kombiniert die kalibrierte schnelle Richtung mit der langsamen Richtung und stellt sicher, dass das lokale Lernen nicht von den globalen Zielen divergiert.

Zentrale Beiträge

Formulierung von Reflexion als Gedächtnissteuerung: Die Arbeit schlägt vor, Reflexion nicht als freien Text, sondern als explizite, strukturierte Kontrollaktion (<reflect>, <backtrack>) über einen reversiblen Trajektorienbaum zu modellieren, was eine systematische Fehlerbehebung ermöglicht.
Zwei-Kanal-Lernframework: Es führt ein neuartiges Trainingsparadigma ein, das antwortmaskierte Lehrer-Destillation (für dichte, global informierte lokale Überwachung) mit ergebnisbasiertem GRPO (für die Abstimmung auf Trajektorienebene) kombiniert, koordiniert durch einen Look-Ahead-Mechanismus zur Vermeidung von Signal-Konflikten.
Empirische Validierung: Das Framework zeigt konsistente Verbesserungen gegenüber rein ergebnisbasiertem RL und Self-Distillation-Baselines über mehrere Benchmarks hinweg.

Experimentelle Ergebnisse

Die Experimente wurden auf Qwen2.5-3B und Qwen2.5-7B Modellen über sieben Retrieval-Augmented Generation (RAG) Benchmarks und mathematische Reasoning-Aufgaben durchgeführt.

Leistung: LoongReflect erreichte die höchsten F1-Scores auf allen Benchmarks.
- Auf Qwen2.5-3B erreichte es eine durchschnittliche F1 von 46,15 % und übertraf damit die stärkste Baseline (AgenticRAG-R1) um 12,60 Punkte.
- Auf Qwen2.5-7B erreichte es 49,21 % und übertraf die Baseline um 12,61 Punkte.
Generalisierung: Das Modell zeigte signifikante Gewinne in Out-of-Domain-Settings (z. B. Bamboogle, MuSiQue, Natural Questions), was darauf hindeutet, dass die gelernte Reflexionspolitik über die Trainingsverteilung hinaus generalisiert, statt lediglich auf In-Domain-Aufgaben zu überfitten.
Transfer auf mathematisches Denken: Bei der Anwendung auf MATH und GSM8K (Nicht-Retrieval-Aufgaben) verbesserte LoongReflect die Leistung sowohl gegenüber AgenticRAG-R1 als auch gegenüber RLSD, was darauf hindeutet, dass die gelernten Diagnose- und Wiederherstellungsverhaltensweisen das mehrstufige Denken auch ohne externe Suche begünstigen.
Ablationsstudien:
- Das Entfernen von <reflect> oder <backtrack> verursachte signifikante Leistungseinbußen (ca. 13–15 F1-Punkte), was die Notwendigkeit sowohl der Diagnose- als auch der Wiederherstellungsmechanismen bestätigt.
- Das Entfernen entweder des schnellen oder des langsamen Kanals oder der Look-Ahead-Koordination führte zu konsistenten Leistungsverschlechterungen, was die komplementäre Natur der dichten lokalen Überwachung und der globalen Ergebnisabstimmung validiert.

Bedeutung und Behauptungen

Das Paper behauptet, dass LoongReflect die fundamentale Diskrepanz zwischen der lokalen Natur von Reflexionsentscheidungen und der globalen Natur ihres Nutzens adressiert. Durch die Behandlung von Reflexion als strukturierte Gedächtnis-Kontrollpolitik und die Nutzung eines Zwei-Kanal-Optimierungsframeworks gelingt es der Methode, Agenten zu trainieren, die in der Lage sind:

Den Zustand lokal auf Kontamination und fehlende Belege zu diagnostizieren.
Aus Fehlern durch Backtracking zu einem validierten Zustand zu reagieren (recover).
Diese lokalen Kontrollentscheidungen mit dem langfristigen Aufgabenerfolg abzustimmen.

Die Autoren behaupten, dass dieser Ansatz eine robuste Lösung für das Training langfristiger Agenten bietet, die über einfaches ergebnisbasiertes RL oder lokale Verifizierung hinausgeht und zu einem System fähig wird, das explizites Zustandsmanagement und Fehlerkorrektur beherrscht. Die Ergebnisse legen nahe, dass strukturierte Reflexion, wenn sie korrekt durch global informierte Destillation und Ergebnisabstimmung überwacht wird, eine kritische Komponente für zuverlässiges Agentenverhalten in komplexen, mehrstufigen Umgebungen ist.