🤖 machine learning

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflect is een trainingsframework dat langdurig redeneren in zoekagenten verbetert door reflectie te formuleren als een geheugencontrolebeleid en een tweeledig distillatiemechanisme toe te passen om lokale reflectieve beslissingen af te stemmen op globale taakresultaten, waardoor de uitdagingen van schaarse supervisie bij op resultaten gebaseerde reinforcement learning worden overwonnen.

Oorspronkelijke auteurs: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, zeer enthousiaste robot leert om een enorme, meerstapsige mysteries op te lossen. Deze robot, aangedreven door een Large Language Model (LLM), is als een detective die miljoenen boeken kan lezen, vragen kan stellen en aanwijzingen kan samenvoegen. Maar hier is de crux: wanneer de detective vastloopt of een fout spoor volgt, realiseert hij zich dat vaak pas nadat hij een heel hoofdstuk aan onzin heeft geschreven. In de wereld van kunstmatige intelligentie wordt dit "long-horizon reasoning" genoemd. Het is het vermogen om een lange reis te plannen, en niet alleen een enkele stap te zetten.

Het grote probleem is dat een robot leren zeggen: "Wacht, ik ga de verkeerde kant op, laten we teruggaan," ontzettend moeilijk is. Meestal krijgt de robot pas aan het einde van het verhaal een cijfer: "Je hebt het mysterie opgelost!" of "Je bent mislukt." Als de robot drie uur geleden een fout heeft gemaakt, heeft hij geen idee dat dat specifieke moment het probleem was. Het is alsof een student een slecht cijfer krijgt voor een eindexamen en geen idee heeft welk huiswerkassignment de problemen heeft veroorzaakt. Dit artikel pakt precies die frustratie aan: hoe leren we een AI om naar zijn eigen werk te kijken, de fouten te spotten en de "ongedaan maken"-knop in te drukken voordat hij het hele project verpest?

Maak kennis met LoongReflect, een nieuw trainingsframework ontworpen om AI-agenten te transformeren in zelfcorrigerende detectives. De onderzoekers van de Peking Universiteit realiseerden zich dat een AI om complexe puzzels op te lossen meer nodig heeft dan alleen een "probeer het opnieuw"-knop; het heeft een gestructureerde manier nodig om te pauzeren, na te denken en zijn eigen geschiedenis te herschrijven.

Beschouw het denkproces van de AI niet als een rechte lijn, maar als een reusachtige, omkeerbare boom. Terwijl de AI een probleem verkent, groeien er takken. Meestal loopt de AI één tak af en verzamelt feiten. Maar soms loopt hij tegen een doodlopend spoor aan of vindt hij een aanwijzing die niet past. In het verleden zou de AI gewoon door zijn gelopen zijn, waarbij hij die slechte aanwijzing met zich mee sleepte totdat het hele verhaal instortte. LoongReflect geeft de AI twee superkrachten: en .

De -actie is als de detective die even stopt om een kaart te raadplegen. Hij vraagt: "Wat weet ik zeker? Wat mis ik? Is deze tak veilig?" Hij gokt niet alleen; hij vat de bewijslast samen en identificeert risico's. Als de detective beseft dat hij op het verkeerde pad zit, gebruikt hij de -actie. Dit is niet zomaar het wissen van de laatste zin; het is alsof hij terugreist in de tijd naar het laatste veilige controlepunt, de rommelige, foute tak afknipt en een klein plaknotitie achterlaat met de tekst: "Ga niet opnieuw deze weg in." De AI begint dan opnieuw vanaf dat veilige punt, gewapend met een geleerde les.

Maar hoe leer je een AI dit aan? Het artikel identificeert een lastig "leer-signaal dilemma". Als je de AI alleen beloont wanneer hij het uiteindelijke antwoord goed heeft, krijgt hij heel weinig hulp bij het hoe van het reflecteren. Het is als proberen te leren autorijden door alleen een toeter te krijgen wanneer je een ongeluk maakt. De AI weet niet of het de bocht, de snelheid of de regen was die de crash veroorzaakte.

Om dit op te lossen, hebben de auteurs een tweekanalige trainingssysteem gebouwd, wat lijkt op het hebben van twee coaches die samenwerken:

De Snelle Coach (De Leraar): Deze coach is een "geprivilegieerde" versie van de AI die de hele boom van mogelijkheden en de uiteindelijke uitkomst kan zien voordat de student een zet doet. Hij observeert de lokale tak van de student en zegt: "Hé, je negeert hier een cruciale aanwijzing," of "Je zou nu moeten terugkeren (backtrack)." Cruciaal is dat deze coach niet het uiteindelijke antwoord weggeeft (om te voorkomen dat de student het redeneerproces omzeilt); hij geeft alleen hints over hoe te denken en wanneer terug te keren. Dit geeft de AI directe, gedetailleerde feedback op zijn reflectievaardigheden.
De Langzame Coach (De Uitkomst): Deze coach wacht tot het einde van de reis. Hij kijkt naar het eindresultaat en zegt: "Goed gedaan, de puzzel is opgelost!" of "Je bent mislukt." Hij gebruikt deze definitieve score om ervoor te zorgen dat de lokale beslissingen van de AI daadwerkelijk leiden tot succes in de echte wereld.

De magie gebeurt wanneer deze twee coaches coördineren. De "Snelle Coach" suggereert een richting op basis van lokale logica, en de "Langzame Coach" controleert of die richting daadwerkelijk tot een overwinning leidt. Als ze van mening verschillen, gebruikt het systeem een slimme "look-ahead"-methode om de suggestie van de Snelle Coach aan te passen, zodat deze de AI niet de verkeerde kant op stuurt. Het is als een GPS die een kortere route voorstelt, maar een verkeerregelaar die controleert of die kortere route je ook echt sneller bij je bestemming brengt.

De resultaten zijn veelbelovend. De onderzoekers hebben LoongReflect getest op moeilijke meerstapsvragen (zoals het vinden van een specifiek feit dat verspreid is over verschillende documenten) en wiskundige problemen. Ze ontdekten dat agenten die met deze methode zijn getraind, consequent beter presteren dan andere topniveau AI-agenten. Zo sprong de gemiddelde score van een model met 3 miljard parameters van ongeveer 31% naar meer dan 46%, een significante sprong. Nog indrukwekkender is dat de vaardigheden die de AI leerde tijdens deze leesopdrachten werden overgedragen naar wiskundeproblemen die hij nog nooit eerder had gezien, wat suggereert dat de AI werkelijk de kunst van het reflecteren heeft geleerd, en niet alleen hoe hij antwoorden moet memoriseren.

Kortom, LoongReflect suggereert dat door AI-agenten een gestructureerde manier te geven om te pauzeren, hun eigen fouten te diagnosticeren en hun fouten netjes ongedaan te maken, we ze veel beter kunnen maken in het oplossen van de complexe, langdurige problemen waar ze momenteel door worden gehinderd. Het verandert de AI van een robot die gewoon maar door blijft lopen in een detective die weet wanneer hij moet stoppen, nadenken en een ander pad moet proberen.

Technische Samenvatting: LoongReflect

Probleemstelling

LLM-agenten (Large Language Model) vertrouwen steeds vaker op langetermijnredeneringen om complexe taken op te lossen die planning, instrumentgebruik en geheugen vereisen. Een cruciale capaciteit in deze omgevingen is reflectie: het vermogen om de voortgang van een traject te beoordelen, ontbrekend bewijs of onbetrouwbare tussenstaten te identificen, en te beslissen of een huidige redeneervertakking moet worden voortgezet, herzien of verlaten.

Het leren van effectieve reflectie wordt belemmerd door twee fundamentele uitdagingen:

Het leer-signaal dilemma: De waarde van een reflectieve beslissing wordt bemiddeld door vele daaropvolgende acties en wordt pas onthuld via de uiteindelijke taakuitkomst. Uitkomstgerichte reinforcement learning (RL) biedt schaarse, vertraagde en zwak toe te schrijven supervisie voor deze tussenliggende beslissingen. Omgekeerd is het toekennen van expliciete tussenliggende beloningen aan reflectie gevoelig voor "reward hacking", wat oppervlakkige of excessieve reflectie aanmoedigt zonder de taaksucces te verbeteren.
De Local-Global Perspectiefkloof: Reflectie wordt uitgevoerd vanuit de context van de huidige redeneervertakking (lokaal), maar de werkelijke bruikbaarheid ervan hangt af van hoe die vertakking bijdraagt aan het volledige traject (globaal). Een lokale reflector kan niet direct observeren of het voortzetten, herzien of verlaten van een vertakking uiteindelijk de uiteindelijke uitkomst zal verbeteren.

Bestaande benaderingen behandelen reflectie ofwel als een lokale beoordeling, of vertrouwen op supervisiesignalen die niet zijn afgestemd op langetermijnuitkomsten, waardoor ze er niet in slagen reflectie te leren als een controlemechanisme op trajectniveau.

Methodologie: LoongRefkect

LoongReflect is een trainingsframework dat reflectie formuleert als een expliciet geheugen-controlebeleid voor agenten met een lange horizon. Het pakt de bovengenoemde uitdagingen aan via een omkeerbare trajectboomstructuur en een tweekanaals optimalisatiemechanisme.

1. Geheugen-controleframework

De agent opereert over een omkeerbare trajectboom ( $T_t$ ) met een actief executiepad ( $P_t$ ) en een gecomprimeerd werkgeheugen ( $m_t$ ).

Expliciete Acties: De agent selecteert uit executie-acties (redeneren, instrumentgebruik, antwoorden) en controle-acties:
- <reflect>: Diagnosticeert de actieve staat door geverifieerde feiten samen te vatten, ontbrekend bewijs te identificeren en tak-specifieke risico's te beoordelen. Het geeft een gestructureerde beslissing uit: continue (doorgaan) of backtrack (terugkeren).
- <backtrack>: Voert herstel uit wanneer de huidige vertakking als onbetrouwbaar wordt beschouwd. Het verwijdert de gecontamineerde suffix uit de actieve context, herstelt een gevalideerd prefix en bewaart een beknopte "correctieve les" (bijv. een gefalsifieerde aanname of beperking) voor toekomstige stappen.
Staatsscheiding: Inactieve vertakkingen worden uit de actieve context uitgesloten om staat-contaminatie te voorkomen, maar blijven aanwezig in de boom voor foutdiagnose en reflectieve supervisie.

2. Tweekanaals Optimalisatie

Om de lokale-globale mismatch op te lossen, gebruikt LoongReflect twee complementaire leerkanalen die worden gecoördineerd via een look-ahead, extragradient-stijl update.

Snel Kanaal (Lokale Distillatie):
- Doel: Dichte, lokaal geïnformeerde supervisie bieden voor reflectiebeslissingen.
- Mechanisme: Een geprivilegieerde EMA Teacher (getraind op hetzelfde beleid maar met toegang tot de globale trajectboom en de finale uitkomst) genereert antwoord-gemaskeerde gestructureerde hints. Deze hints diagnosticeren de staat (geverifieerde bewijslast, risico's, terugkeerpunten) zonder het uiteindelijke antwoord te onthullen.
- Loss: De student leert via een gemaskeerde reverse-KL objectief die beperkt is tot <reflect> en <backtrack> tokens, waarbij de lokale controlebeslissingen worden afgestemd op de globaal geïnformeerde diagnose van de teacher.
Traag Kanaal (Globale Optimalisatie):
- Doel: Lokale controlebeslissingen afstemmen op het succes van de uiteindelijke taak.
- Mechanisme: Gebruikt Group Relative Policy Optimization (GRPO) op volledige trajecten. Het evalueert of de reflectie- en backtracking-beslissingen hebben geleid tot een succesvolle finale uitkomst.
- Loss: Optimaliseert het beleid op basis van groep-relatieve voordelen afgeleid van de finale beloningen, om ervoor te zorgen dat het gedistilleerde reflectieve gedrag bijdraagt aan het algemene taaksucces.
Look-Ahead Coördinatie:
- Het snelle kanaal stelt een update-richting voor ( $g_f$ ) op basis van lokale distillatie. Het trage kanaal evalueert deze richting tegen globale uitkomsten om een kalibratierichting ( $g_s$ ) af te leiden.
- Als $g_f$ en $g_s$ conflicteren (d.w.z. lokale verbeteringen de globale prestaties schaden), wordt het conflicterende component van $g_f$ eruit geprojecteerd. De uiteindelijke update combineert de gekalibreerde snelle richting met de trage richting, wat ervoor zorgt dat lokaal leren niet afwijkt van globale doelstellingen.

Belangrijkste Bijdragen

Formulering van Reflectie als Geheugencontrole: Het artikel stelt voor om reflectie niet te modelleren als vrije tekst, maar als expliciete, gestructureerde controle-acties (<reflect>, <backtrack>) over een omkeerbare trajectboom, wat systematisch foutherstel mogelijk maakt.
Tweekanaals Leerframework: Het introduceert een nieuw trainingsparadigma dat antwoord-gemaskeerde teacher-distillatie (voor dichte, globaal geïnformeerde lokale supervisie) combineert met uitkomstgerichte GRPO (voor traject-niveau afstemming), gecoördineerd via een look-ahead mechanisme om signaalconflict te voorkomen.
Empirische Validatie: Het framework vertoont consistente verbeteringen ten opzichte van alleen uitkomstgerichte RL en self-distillatie baselines over meerdere benchmarks.

Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-3B en Qwen2.5-7B modellen over zeven retrieval-augmented generation (RAG) benchmarks en wiskundige redeneertaken.

Prestaties: LoongReflect behaalde de hoogste F1-scores op alle benchmarks.
- Op Qwen2.5-3B bereikte het een gemiddelde F1 van 46,15%, waarmee het de sterkste baseline (AgenticRAG-R1) met 12,60 punten versloeg.
- Op Qwen2.5-7B bereikte het 49,21%, waarmee het de baseline met 12,61 punten overtrof.
Generalisatie: Het model vertoonde significante winst in out-of-domain settings (bijv. Bamboogle, MuSiQue, Natural Questions), wat aangeeft dat het geleerde reflectiebeleid generaliseert buiten de trainingsdistributie in plaats van enkel te overfitten op in-domain taken.
Transfer naar Wiskundig Redeneren: Wanneer toegepast op MATH en GSM8K (niet-retrieval taken), verbeterde LoongReflect de prestaties ten opzichte van zowel AgenticRAG-R1 als RLSD, wat suggereert dat de geleerde diagnose- en herstelgedragingen nuttig zijn voor meerstaps redeneren, zelfs zonder externe zoekopdrachten.
Ablatie-studies:
- Het verwijderen van <reflect> of <backtrack> veroorzaakte significante prestatiedalingen (ongeveer 13–15 F1-punten), wat de noodzaak van zowel diagnose- als herstelmechanismen bevestigt.
- Het verwijderen van ofwel het Snelle Kanaal of het Trage Kanaal, of de Look-Ahead coördinatie, resulteerde in een consistente prestatievermindering, wat de complementaire aard van dichte lokale supervisie en globale uitkomstafstemming valideert.

Betekenis en Claims

Het artikel beweert dat LoongReflect de fundamentele mismatch aanpakt tussen het lokale karakter van reflectiebeslissingen en het globale karakter van hun nut. Door reflectie te behandelen als een gestructureerd geheugen-controlebeleid en een tweekanaals optimalisatieframework te gebruiken, slaagt de methode erin agenten te trainen die kunnen:

Diagnosticeert: staat-contaminatie en ontbrekende bewijslast lokaal identificeren.
Herstelt: van fouten door terug te keren naar gevalideerde staten.
Afstemt: deze lokale controlebeslissingen af op langetermijn taaksucces.

De auteurs stellen dat deze aanpak een robuuste oplossing biedt voor het trainen van agenten met een lange horizon, bewegend van eenvoudige uitkomstgerichte RL of lokale verificatie naar een systeem dat in staat is tot expliciet staatbeheer en foutcorrectie. De resultaten suggereren dat gestructureerde reflectie, wanneer het correct wordt gesuperviseerd via globaal-geïnformeerde distillatie en uitkomstafstemming, een kritieke component is voor betrouwbaar agentgedrag in complexe, meerstaps omgevingen.