Technische Samenvatting: PathRouter

Probleemstelling

Agentic Graph Retrieval-Augmented Generation (GraphRAG) systemen maken gebruik van taalmodel-agenten om iteratief te zoeken en te redeneren over graafgestructureerde bewijslast. Hoewel deze systemen streven naar het verbeteren van besluitvorming door te navigeren door complexe informatienetwerken, lijden bestaande trainingsmethoden die uitsluitend vertrouwen op resultaatgerichte reinforcement learning (RL) onder twee kritieke beperkingen:

1. Answer-Path Reward Aliasing: Standaard RL wijst beloningen toe op basis van enkel de correctheid van het uiteindelijke antwoord. Dit vervaagt het onderscheid tussen trajecten waarbij het juiste antwoord wordt afgeleid uit nuttige bewijspaden en trajecten waarbij het antwoord wordt opgehaald uit het parametrische geheugen van het model (shortcuts), ondanks een mislukte bewijsretrieval. Als gevolg hiervan wordt het model versterkt voor "gelukkige" successen die de retrieval-capaciteiten niet daadwerkelijk verbeteren.
2. Search-Update Ambiguity: Scalaire, trajectgerichte feedback (bijv. een enkele beloningsscore voor de hele interactie) faalt in het aangeven welke specifieke retrieval-acties (zoekopdrachten of redeneerstappen) hebben bijgedragen aan de uitkomst. Dit laat de agent zonder bruikbare sturing om de zoekstrategie aan te passen wanneer een traject faalt of slaagt via shortcuts.

Methodologie: PathRouter

De auteurs stellen PathRouter voor, een pad-bewust trainingsframework ontworpen om beloningssignalen af te stemmen op de kwaliteit van de retrieval. Het framework werkt via drie kernmechanismen:

1. Pad-bewuste routing en gedifferentieerde advantage scaling

In plaats van alle trajecten uniform te behandelen, evalueert PathRouter elk traject langs twee assen:

• Antwoordcorrectheid ($C_i$): Of het uiteindelijke antwoord correct is.
• Evidence-Path Overlap ($P_i$): De token-niveau F1-overlap tussen de opgehaalde passages en de gouden ondersteunende bewijslast.

Op basis van deze metrieken worden trajecten gecategoriseerd in vier typen, die elk een gedifferentieerd gewicht ontvangen voor Group Relative Policy Optimization (GRPO) advantage scaling:

• Faithful Success ($C \uparrow, P \uparrow$): Correct antwoord met hoge bewijsoverlap. Ontvangt volledig gewicht.
• Shortcut Failure ($C \uparrow, P \downarrow$): Correct antwoord maar lage bewijsoverlap (vertrouwend op parametrisch geheugen). Ontvangt verlaagd gewicht om de versterking van shortcut-gedrag te onderdrukken.
• Evidence Retrieved ($C \downarrow, P \uparrow$): Incorrect antwoord maar hoge bewijsoverlap (redeneerfout). Ontvangt verzwakt gewicht om te voorkomen dat nuttig retrieval-gedrag te zwaar wordt bestraft.
• Joint Failure ($C \downarrow, P \downarrow$): Incorrect antwoord met lage bewijsoverlap. Ontvangt volledig gewicht.

Deze routing zorgt ervoor dat beleid-updates de kwaliteit van de retrieval reflecteren in plaats van enkel de correctheid van het antwoord.

2. Selectieve Gold-Evidence Teacher voor Search-Update Ambiguity

Om de ambiguïteit op te lossen over welke zoekacties aangepast moeten worden, introduceert PathRouter een frozen gold-evidence teacher voor bewijs-arme trajecten ($P_i < \theta_P$).

• Mechanisme: De teacher wordt geprompt met de query en de gouden ondersteunende passages (geprivilegieerde context). Het genereert geen nieuw traject, maar scoort de on-policy rollout van de student.
• Token-niveau KL-begeleiding: De teacher biedt Kullback-Leibler (KL) divergentie-supervisie specifiek op redeneertoekens en zoekopdracht-tokens.
• Uitsluiting: Antwoord-tokens en opgehaalde observatieblokken worden uitgesloten van KL-supervisie om directe imitatie van het antwoord te voorkomen en ervoor te zorgen dat de agent leert om bewijs te vinden in plaats van enkel het antwoord te produceren.
• Scheduling: Een lineaire warmup wordt toegepast op de KL-coëfficiënt om de student de ruimte te geven om te exploreren via GRPO-beloningen voordat de teacher-restrictie effect krijgt.

3. Trainingsdoelstelling

De totale loss combineert de gerouteerde GRPO-loss met de selectieve teacher KL-loss:
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
De beloningsfunctie bevat ook exploration shaping (bonussen voor multi-turn retrieval, straffen voor luie stops, timeouts en redundantie) om grondige bewijsverzameling aan te moedigen.

Belangrijkste Bijdragen

1. Identificatie van Reward Aliasing: Het artikel identificeert answer-path reward aliasing als een primaire faalmodus in agentic GraphRAG en stelt een route-geconditioneerd GRPO advantage scaling mechanisme voor om antwoordcorrectheid te ontkoppelen van de kwaliteit van de retrieval.
2. Selectieve Token-niveau Distillatie: Een nieuw selectief teacher-mechanisme wordt geïntroduceerd dat token-niveau KL-begeleiding toepast op redeneer- en zoekopdracht-tokens voor bewijs-arme trajecten. Dit lost de search-update ambiguïteit op zonder de uiteindelijke antwoorden te imiteren.
3. Empirische Validatie: Uit uitgebreide experimenten blijkt dat PathRouter consistent de prestaties verbetert van zowel antwoordnauwkeurigheid als evidence-path overlap over zes QA-benchmarks en drie modelgroottes (1.5B, 3B, 7B).

Experimentele Resultaten

Geëvalueerd op zes benchmarks (HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA) met behulp van Qwen2.5 modellen:

• Prestatiewinst: PathRouter presteert consistent beter dan sterke baselines, inclusief Graph-R1.
  • Op 7B modellen behaalde het een gemiddelde F1-winst van 4.9 punten (van 57.82 naar 62.74) en een Exact Match (EM) winst van 4.69 punten.
  • Op 3B modellen behaalde het een gemiddelde F1-winst van 3.1 punten.
  • De verbeteringen waren het meest uitgesproken op multi-hop redeneertaken (bijv. +7.4 F1 op HotpotQA, +8.2 op MuSiQue voor 7B modellen).
• Trajectverschuiving: Analyse van de trajectverdelingen laat zien dat PathRouter er succesvol in slaagt de massa te verschuiven van "shortcut" en "joint failure" categorieën naar "faithful success" en "evidence-present reasoning failure", wat duidt op verbeterde bewijsverwerving onafhankelijk van de antwoordcorrectheid.
• Generalisatie: Cross-dataset transfer tests toonden een hoge OOD-generalisatie (gemiddelde ratio van 95.7%), wat suggereert dat de geleerde retrieval-strategieën robuust zijn en niet gebonden zijn aan specifieke datasetdistributies.
• Ablatie-bevindingen:
  • Het verwijderen van de pad-beloning ($r_p$) verslechterde de kwaliteit van het bewijs (SF-F1) aanzienlijk terwijl de antwoord F1 behouden bleef, wat bevestigt dat het signaal gericht is op retrieval.
  • Het verwijderen van de selectieve teacher KL verminderde de prestaties, met name op multi-hop taken, wat de rol ervan bevestigt bij het oplossen van de search-update ambiguïteit.
  • De effectiviteit van de Teacher KL bleek capaciteitsafhankelijk te zijn; kleinere modellen (1.5B) vertoonden gemengde resultaten of degradatie met een sterkere teacher, wat suggereert dat de student-capaciteit een limiterende factor is.

Betekenis en Claims

Het artikel claimt dat PathRouter de fundamentele problemen van credit assignment in de resultaatgerichte reinforcement learning van agentic systemen aanpakt. Door zowel antwoordcorrectheid als evidence-path overlap gezamenlijk te evalueren, zorgt het framework ervoor dat beleid-updates worden gedreven door de kwaliteit van het retrievalproces, en niet enkel door de uiteindelijke output.

De auteurs stellen dat deze aanpak agenten in staat stelt om retrieval-policies te leren die zowel antwoord-accuraat als bewijs-getrouw zijn. Het werk suggereert dat path-aware training leidt tot generaliseerbaar retrieval-gedrag dat datasetspecifieke shortcuts vermijdt, wat een robuustere basis biedt voor complexe redeneertaken in GraphRAG-systemen. Het artikel erkent beperkingen met betrekking tot de extra hyperparameters die nodig zijn voor routing en scheduling, evenals de verhoogde computationele kosten per stap door de forward passes van de teacher, waarbij een afweging wordt gemaakt tussen trainingsefficiëntie en verbeterde getrouwheid.