Technische Samenvatting: Harness-G

Probleem: Retrieval-Equivalence Collapse in RL Search Agents

Reinforcement learning (RL) zoekagenten, zoals Search-R1, modelleren retrieval doorgaans als de generatie van vrije natuurlijke taalqueries. Deze agenten optimaliseren multi-turn interactietrajecten met behulp van eindantwoord-beloningen (bijv. F1 of Exact Match). Hoewel recente studies proberen de training te verbeteren via dichtere credit-signalen (bijv. informatiewinst, process rewards), behouden ze de fundamentele interface waarbij de policy een string genereert en de omgeving deze mapt naar retrieved bewijs.

De auteurs identificeren een kritieke foutmodus in deze opstelling, getiteld retrieval-equivalence collapse. Tijdens de training genereert de policy diverse oppervlakte-variaties van query-strings (hoge query-vorm diversiteit), maar deze queries mappen vaak naar bijna identieke sets aan retrieved bewijs (lage retrieval-outcome diversiteit). Naarmate de training vordert, convergeren trajecten voor dezelfde vraag naar een enkele retrieval-equivalentieklasse. Deze collapse creëert twee optimalisatieproblemen voor groep-relatieve methoden zoals GRPO:

1. Verdwijnende Voordelen (Vanishing Advantages): Als meerdere trajecten hetzelfde bewijs ophalen en hetzelfde antwoord produceren, zijn hun returns identiek, waardoor binnen-groep voordelen verdwijnen.
2. Verwarrende Retrieval Credit (Confounded Retrieval Credit): Als trajecten hetzelfde bewijs ophalen maar verschillende antwoorden produceren, reflecteren de verschillen in de returns de downstream reasoning in plaats van de kwaliteit van de retrieval, wat het onmogelijk maakt om succes of falen toe te schrijven aan specifieke retrieval-acties.

Consequent is de "exploratie" die door diverse query-strings wordt geboden vaak illusoir en slaagt het er niet in effectieve contrasten te bieden voor het leren van betere retrieval-strategieën.

Methodologie: Harness-G

Om dit aan te pakken, stellen de auteurs Harness-G voor, een graaf-gestructureerd retrieval-framework dat de policy-omgeving interface herontwerpt. In plaats van vrije tekst-queries te genereren, voert de policy een eindige actie-selectie uit over een gestructureerde bewijsruimte.

1. Graaf-gestructureerde Omgeving

Harness-G construeert offline een lichtgewicht, programmatische tripartite graaf vanuit de corpus, bestaande uit:

• Paragraph nodes: Documentcontexten.
• Sentence nodes: De minimale eenheden van bewijs.
• Entity nodes: Bruggen tussen cross-sentence en cross-document hops.
  Randen (edges) verbinden paragrafen met zinnen, zinnen met entiteiten (via mentions), aangrenzende zinnen, en identieke/vergelijkbare entiteiten (via surface normalization en embedding buren). Deze graaf wordt gebouwd zonder generatieve LLM's, door gebruik te maken van sentence splitting, NER en dense encoding.

2. De Action Menu Interface

Op elk moment stelt de omgeving een begrensde, eindige actie-menu ($M_t$) beschikbaar aan de policy. De policy selecteert een actie-ID uit dit menu in plaats van een tekstuele string te genereren. De acties zijn:

• Select(s): Een zichtbare zin $s$ vastleggen als bewijs.
• Lookup(e): Informatie ophalen rond een specifiek entiteit $e$. De omgeving construeert deterministisch de query (door de vraag en het vastgelegde bewijs te concateneren) en geeft de top-$K$ zinnen terug.
• Answer / Answer_With: De retrieval beëindigen en een antwoord genereren (optioneel de zichtbare zinnen in één stap vastleggen).

Dit ontwerp garandeert dat:

• Eindigheid: De actieruimte begrensd is.
• Verifieerbaarheid: Ongeldige acties worden geblokkeerd vóór uitvoering.
• Voorzienbaarheid (Previewability): De omgeving de uitkomst van elke kandidaat-actie deterministisch kan simuleren (voorproeven) zonder de staat te muteren.

3. Structured Non-Myopic Credit (SNC)

Door gebruik te maken van de previewbare actie-frontier, introduceert Harness-G Structured Non-Myopic Credit (SNC) om stap-niveau beloningen toe te wijzen zonder extra agent rollouts of externe reward modellen te vereisen. SNC bestaat uit twee termen:

• Frontier-Relative Advantage ($r^{fr}_t$): Een frozen answer scorer evalueert de kans op het gouden antwoord gegeven de huidige context. Voor een informatie-verwervingsactie berekent het de marginale winst van de geselecteerde actie ten opzichte van de gemiddelde winst van een "frontier" van alternatieve haalbare acties in dezelfde staat. Dit biedt een lokale, same-state vergelijking die onbeschikbaar is in open query-ruimtes.
• Enablement Credit ($r^{en}_t$): Om de non-myope aard van multi-hop reasoning aan te pakken (waarbij een vroege "brug"-actie een latere hoogwaardige retrieval mogelijk maakt), propageert SNC de downstream winsten terug langs een provenance graaf. Als stap $u$ een entiteit consumeert die geproduceerd is door stap $t$, vloeit credit van $u$ naar $t$ in reverse topologische volgorde.

Het totale stap-voordeel wordt gecombineerd met de standaard outcome reward in de GRPO objectief: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$.

Belangrijkste Bijdragen

1. Identificatie van Retrieval-Equivalence Collapse: De paper demonstreert empirisch dat vrije query-interfaces in RL zoekagenten leiden tot een collapse in retrieval diversiteit, waardoor groep-relatieve optimalisatie ineffectief wordt.
2. Interface Herontwerp (Harness-G): Het herformuleert multi-hop retrieval als eindige actie-selectie over een graaf-gestructureerde omgeving, waarbij vrije string-generatie wordt vervangen door een verifieerbaar, previewbaar menu.
3. Structured Non-Myopic Credit (SNC): Het introduceert een credit-toewijzingsmechanisme dat de previewability van de actie-menu gebruikt om same-state relatieve voordelen te berekenen en vertraagde credit te propageren voor enabling acties, alles zonder extra rollouts.
4. Empirische Validatie: Uitgebreide experimenten over zes QA-benchmarks (inclusclusief multi-hop datasets zoals 2Wiki, HotpotQA en MuSiQue) tonen aan dat Harness-G sterk presteert ten opzichte van sterke baselines, met name in multi-hop scenario's en bij kleinere model-schalen.

Resultaten

Geëvalueerd op zes benchmarks met Qwen2.5-1.5B en Qwen2.5-3B modellen:

• Prestaties: Harness-G behaalt de hoogste gemiddelde F1 bij beide model-schalen.
  • Bij 1.5B presteert het met 10.74 punten meer dan de sterkste baseline (Graph-R1) in gemiddelde F1.
  • Bij 3B presteert het 3.98 punten beter dan Graph-R1.
• Ablatie Studies:
  • Het vervangen van de vrije query-interface door enkel de actie-menu verbetert de F1 met gemiddeld meer dan 17 punten, met winsten die boven de 35 punten liggen op MuSiQue.
  • Het toevoegen van SNC verbetert de prestaties verder, vooral op multi-hop taken waar vertraagde credit cruciaal is.
• Stabiliteit en Efficiëntie: Harness-G vertoont stabiele trainingsdynamiek met begrensde gradiënt-normen. Het vereist geen extra agent rollouts voor credit-toewijzing (alleen read-only previews) en brengt minimale overhead met zich mee (~9–11% wall-clock tijd per stap). Het demonstreert ook sterkere out-of-distribution (O.O.D.) transfer-capaciteiten vergeleken met Graph-R1.

Betekenis en Claims

De paper claimt dat actieruimte-ontwerp een complementaire en kritieke as is voor reward-ontwerp bij het trainen van zoekagenten. De auteurs stellen dat het louter densificeren van rewards (bijv. via process rewards of informatiewinst) binnen een vrije query-interface de fundamentele oplossing voor retrieval-equivalence collapse niet kan bieden, omdat de interface zelf veel-op-één mappingen van queries naar bewijs toestaat.

Door de retrieval-interface te herdefiniëren als discreet, verifieerbaar en previewbaar, maakt Harness-G het volgende mogelijk:

1. Echte Exploratie: Het waarborgen dat verschillende acties leiden tot werkelijk verschillende retrieval-uitkomsten.
2. Precieze Credit Toewijzing: Het mogelijk maken voor de agent om te leren welke specifieke bewijs- of entiteitskeuzes superieur zijn aan alternatieven in dezelfde beslissingsstaat.
3. Non-Myopic Leren: Het effectief aanleren aan de agent om noodzakelijke "brug"-stappen uit te voeren die niet direct hoge rewards opleveren, maar essentieel zijn voor later succes.

Het werk concludeert dat hoewel Harness-G momenteel alleen tekst-gebaseerd is, de gestructureerde aanpak van actieruimtes en credit-toewijzing een robuust framework biedt voor het trainen van zoekagenten, wat suggereert dat toekomstig werk deze principes naar multimodale bewijsvormen kan uitbreiden.