Technische Samenvatting: GRASP (Graph Agentic Search over Propositions)

Probleemstelling

Multi-hop vraag-antwoord (QA) vereist dat modellen iteratief bewijs verzamelen om afhankelijkheden op te lossen die alleen semantische gelijkenis niet kan aanpakken. Hoewel recente agentische ophaalsystemen de nauwkeurigheid verbeteren door taalmodellen (LLMs) autonomie te verlenen om te zoeken en te redeneren, staan ze voor een kritieke bottleneck: token-efficiëntie.

Bestaande op grafieken gebaseerde benaderingen, zoals HippoRAG en GeAR, maken gebruik van kennisgrafieken (KG's) die zijn opgebouwd uit relationele triples (onderwerp-relatie-object) om gestructureerde traversie mogelijk te maken. Dit introduceert echter aanzienlijke kosten:

1. Indexeringskosten: Het extraheren en construeren van op triples gebaseerde KG's is rekenkundig duur en vaak onbetrouwbaar, wat soms de ophaalkwaliteit verslechtert tot onder dat van naïeve RAG.
2. Inferentiekosten: Agentische systemen lijden vaak aan cumulatief tokenverbruik door herhaalde LLM-aanroepen, het uitbreiden van contextvensters en redundante traversie door parallelle agenten.

Huidige methoden slagen er niet in om zowel hoge nauwkeurigheid als minimaal tokenverbruik gezamenlijk te optimaliseren tijdens zowel de indexerings- als de inferentiefase.

Methodologie: GRASP

De auteurs stellen GRASP (Graph Agentic Search over Propositions) voor, een agentisch ophaalsysteem dat is ontworpen om zowel QA-nauwkeurigheid als token-efficiëntie te optimaliseren. GRASP werkt via drie kerncomponenten:

1. Hiërarchische Grafiekconstructie met Drie Lagen

In tegenstelling tot op triples gebaseerde KG's, construeert GRASP een grafiek $G = (V_E, V_P, V_D, E)$ met drie distincte lagen:

• Entiteitslaag ($V_E$): Getypeerde entiteiten (bijv. "Persoon", "Locatie") die uit tekst zijn geëxtraheerd. Deze dienen als gerichte gateways voor traversie.
• Propositie-laag ($V_P$): De kernophaleneenheid. In plaats van atomaire triples, extrahert het systeem atomaire, zelfstandige natuurlijke taalproposities (bijv. "De Paashaas werd in 1678 opgetekend in het zuidwesten van Duitsland").
• Passage-laag ($V_D$): De originele brondocumenten die zijn gekoppeld aan hun samenstellende proposities.

Extractionproces: Entiteiten en proposities worden gezamenlijk geëxtraheerd in één LLM-aanroep. Entiteiten worden via indexreferenties gekoppeld aan hun bronproposities, waardoor de grafiekranden worden gevormd. Dit vermijdt de verliesrijke compressie van context tot relationele triples.

2. Op Planning Gebaseerde Inferentiepijplijn

GRASP decomposeert complexe multi-hop-vragen in afhankelijkheidsbewuste plannen:

• Planner: Een module genereert een redeneringscontour in natuurlijke taal en een geordende reeks subvragen. Cruciaal gebruikt het numerieke placeholders (bijv. #1) om expliciet te verwijzen naar antwoorden uit eerdere subvragen, wat de afhankelijkheidsstructuur van datasets zoals MuSiQue nabootst.
• Uitvoering Sub-agent: Elke subvraag wordt afgehandeld door een onafhankelijke sub-agent. De agent onderhoudt een compacte observatiestatus ($O_i$) in plaats van een volledige conversatiegeschiedenis, waardoor de contextgroei wordt begrensd.
  • Hybride Zoeken: De agent herschrijft de subvraag tot een declaratieve zoekopdracht en een lijst met trefwoorden. Het voert hybride zoeken (dichte vector + BM25) uit over de propositie-laag om kandidaat-entiteiten op te halen.
  • RankVote-score: Opgehaalde proposities worden geaggregeerd tot kandidaat-entiteiten. Voor passage-oophaling gebruikt het systeem RankVote, een wederkerige-rangstemmechanisme dat passages scoort op basis van de rangen van hun samenstellende proposities, met prioriteit voor sterk relevante context.
  • Iteratieve Verfijning: De agent evalueert of het bewijs toereikend is. Zo niet, dan herschrijft het de zoekopdracht en start het de traversie opnieuw (tot een limiet), waardoor redundante herlezing van bewijs wordt vermeden.

3. Succeseconomie-maatstaf

Het artikel introduceert Succeseconomie ($C_w$), een op informatietheorie gebaseerde maatstaf om efficiëntie te evalueren. Het amortiseert de totale tokenkosten over met moeilijkheid gewogen correcte antwoorden:
$$C_w = \frac{\sum T_i}{\sum w_i \cdot \mathbb{1}[EM_i = 1]}$$
waarbij $w_i = -\log_2(r_i)$ de verrassing (zelfinformatie) is van een correct antwoord, geschat door het basis-LLM meerdere keren te prikkelen. Dit straft tokenverspilling af en beloont het efficiënt oplossen van moeilijke vragen.

Belangrijkste Bijdragen

1. GRASP-systeem: Een grafiek-verrijkt agentisch ophaalsysteem dat nauwkeurigheid en token-efficiëntie gezamenlijk optimaliseert, competitief geëvalueerd in zowel open-retrieval- als extended-context-scenario's.
2. Op proposities gebaseerde indexering: Een innovatieve hiërarchische grafiek met drie lagen die proposities als kernophaleneenheid gebruikt. De auteurs tonen aan dat dit een hogere passage-recall bereikt dan op triples gebaseerde grafieken (HippoRAG2), terwijl 69% minder indexeringstokens worden gebruikt.
3. Gecompartimentaliseerde inferentie: Een op planning gebaseerde pijplijn met geïsoleerde sub-agenten die context zowel over hops als binnen individuele agent-uitvoering compartimentaliseren, waardoor onbeperkte contextgroei wordt voorkomen.
4. Succeseconomie: Een nieuwe evaluatiemaatstaf die pleit voor efficiëntiebewuste beoordeling in agentische QA, verdergaand dan alleen nauwkeurigheidsgerichte benchmarks.

Experimentele Resultaten

GRASP werd geëvalueerd op MuSiQue, 2WikiMultihopQA en HotpotQA onder twee scenario's:

Open-Corpus Ophaalscenario

• Prestatie: GRASP behaalde de hoogste Exact Match (EM), F1 en Judge-scores op MuSiQue en 2Wiki, en presteerde beter dan IRCoT+HippoRAG2.
• Efficiëntie: Het gebruikte 40–50% minder tokens dan IRCoT+HippoRAG2 terwijl het superieure nauwkeurigheid bereikte. Op HotpotQA, hoewel IRCoT+HippoRAG2 iets hogere nauwkeurigheid had, gebeurde dit tegen meer dan 2x de tokenkosten.
• Ophaalkwaliteit: In gesimuleerde agentische ophaling behaalde GRASP een recall van 0,904 tegenover 0,817 voor HippoRAG2, wat proposities valideert als een superieure ophaaleenheid.

Extended Context (LongBench) Scenario

• Prestatie: GRASP leidde in EM en F1 over alle drie de datasets. Op 2Wiki verbeterde het de EM met 12 punten ten opzichte van GraphReader, terwijl het ongeveer 70% van de tokenkosten gebruikte.
• Efficiëntie: GRASP gebruikte 30% minder tokens dan de volgende meest nauwkeurige methode (GraphReader) terwijl het concurrerende of superieure Judge-scores behield.
• Ablatie: Het verwijderen van de propositie-grafiek of de entiteitsselectielaag degradeerde de prestaties aanzienlijk of verhoogde het tokenverbruik, wat de noodzaak van de drie-lagenstructuur bevestigt.

Betekenis en Claims

Het artikel beweert dat GRASP zich op de Pareto-grens bevindt voor nauwkeurigheids-kostentrade-offs in multi-hop QA. Door token-efficiëntie als een eersteklas ontwerpdoel te behandelen naast nauwkeurigheid, adresseert GRASP de fundamentele spanning in agentische systemen waarbij redeneerdiepte doorgaans leidt tot exponentiële tokengroei.

De auteurs benadrukken dat:

• Proposities superieur zijn aan triples: Ze behouden semantische nuance die verloren gaat bij triple-extractie en fungeren als meer discriminerende eenheden voor op embedding gebaseerde ophaling.
• Gestructureerde decompositie vitaal is: Planning-gebaseerde decompositie gecombineerd met gestructureerde ophaling (de grafiek) is effectiever dan het afwisselen van ophaling met chain-of-thought alleen.
• Efficiëntie een standaardvereiste is: De introductie van "Succeseconomie" pleit ervoor dat de gemeenschap efficiëntiebewuste evaluatie als standaardpraktijk omarmt, met erkenning dat inferentiekosten direct schalen met redeneercomplexiteit.

Het werk suggereert dat toekomstige verbeteringen zich kunnen richten op het verfijnen van de decompositienauwkeurigheid van de planner (momenteel een bottleneck voor 3- en 4-hop-vragen) via supervised fine-tuning of reinforcement learning, maar de huidige architectuur demonstreert al een significante sprong in het balanceren van prestaties en kosten.