💬 NLP

SGR: A Stepwise Reasoning Framework for LLMs with External Subgraph Generation

Het artikel introduceert SGR, een stapsgewijs redeneringskader dat de prestaties van grote taalmodellen in complexe taken verbetert door query-specifieke subgrafieken te construeren uit externe kennisbanken om multi-stap redenering te verankeren in gestructureerd, feitelijk bewijs.

Oorspronkelijke auteurs: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen vriend hebt (het Large Language Model, of LLM) die prachtige verhalen kan schrijven en veel vragen kan beantwoorden. Echter, wanneer je hen een lastig, meerstaps logisch raadsel vraagt, raken ze soms verdwaald, verzinnen ze feiten of volgen ze een verkeerd pad, omdat ze uitsluitend vertrouwen op hun geheugen.

Het paper introduceert SGR (Stepwise Reasoning Framework), een nieuwe manier om deze slimme vriend te helpen bij het oplossen van moeilijke problemen door hen een op maat gemaakte kaart te geven voordat ze beginnen met denken.

Hier is hoe SGR werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Hallucinatie"-valstrik

Stel je het LLM voor als een reiziger die probeert een bestemming te vinden met alleen hun geheugen. Als de reis kort is, gaat het goed. Maar als de reis vijf specifieke bochten en een brug vereist die misschien niet bestaat, raden ze misschien dat de brug er is, gewoon om maar door te gaan. Dit leidt tot "hallucinaties" (dingen verzinnen) of logische fouten.

2. De Oplossing: Het Bouwen van een Op Maat Gemaakte "Subgraaf"-kaart

In plaats van de reiziger te laten raden, fungeert SGR als een cartograaf die een minikaart bouwt die specifiek is voor die ene vraag.

De Kennisgraf: Stel je een gigantische bibliotheek van feiten voor waar elk feit verbonden is als een spinnenweb (Entiteit A is verbonden met Entiteit B).
De Subgraaf: Wanneer je een vraag stelt, kijkt SGR niet naar de hele bibliotheek. Het knipt een klein, specifiek stukje van dat web uit dat relevant is voor je vraag. Het is alsof je een enkel, duidelijk pad uit een dicht bos haalt en het op een tafel legt voor de reiziger om te zien.

3. Het Drie-Stappenproces

SGR helpt het LLM in drie distincte fasen:

Stap 1: De Kaart Tekenen (Gestructureerde Subgraaf-Generatie)
Het systeem kijkt naar je vraag, vindt de belangrijkste "landmarken" (entiteiten) en "wegen" (relaties), en bouwt een kleine, gestructureerde kaart. Het filtert alle ruis en irrelevante bomen in het bos eruit, en laat alleen het pad over dat nodig is om het raadsel op te lossen.
Stap 2: Het Pad Stap-voor-Stap Bewandelen (Stapsgewijze Redenering)
In plaats van direct naar het antwoord te springen, wordt het LLM gedwongen om langs de lijnen van deze op maat gemaakte kaart te lopen. Het controleert: "Oké, ik ben bij Landmark A. De kaart zegt dat ik naar Landmark B moet gaan. Maakt dat zin?" Dit voorkomt dat het model stappen overslaat of wilde gissingen doet.
Stap 3: De Route Dubbel Controleren (Collaboratieve Redenering)
Soms is één pad niet genoeg. SGR kan het LLM vragen om een paar verschillende routes op de kaart te proberen. Vervolgens fungeert het als een scheidsrechter, die controleert of het uiteindelijke antwoord daadwerkelijk past bij de regels van de kaart. Als het LLM probeert te zeggen "Het antwoord is X", maar de kaart toont aan dat X onmogelijk is, corrigeert het systeem het. Het combineert de beste delen van verschillende paden om het meest betrouwbare antwoord te geven.

4. Waarom Het Beter Werkt

Het paper testte deze methode uit op verschillende moeilijke vraag-antwoorduitdagingen (zoals complexe trivia of logische raadsels).

Het Resultaat: SGR sloeg consequent andere methoden, inclusief standaard "slimme" AI-modellen die gewoon chatten zonder kaart.
Het Voordeel: Het maakte de AI nauwkeuriger en minder geneigd om over feiten te liegen. Het maakte ook het denkproces van de AI transparant – je kunt de kaart en het pad dat het nam daadwerkelijk zien, in plaats van alleen een magisch antwoord te krijgen.

5. De Haken en Ogen (Beperkingen)

Het paper erkent dat het bouwen van deze op maat gemaakte kaarten extra tijd en rekenkracht kost. Het is alsof je voor elke reis een cartograaf huurt; het is langzamer dan gewoon raden, maar veel nauwkeuriger. Ook, als de originele bibliotheek (de Kennisgraf) ontbrekende boeken of verkeerde feiten heeft, zal de kaart gebrekkig zijn en zal de reiziger zich toch verdwalen.

Kortom: SGR is een framework dat AI verhindert te gokken door het een op maat gemaakte, gecontroleerde kaart van de wereld te geven die relevant is voor de vraag, en het dwingt het pad stap-voor-stap te bewandelen om ervoor te zorgen dat het antwoord waar is.

Technische Samenvatting: SGR – Een Stapsgewijs Redeneringskader voor LLM's met Externe Subgraafgeneratie

Probleemstelling
Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in vloeiendheid en tekstgeneratie, vertonen ze aanzienlijke beperkingen in complexe redeneertaken die diepe logische inferentie vereisen. Getraind op massieve tekstcorpora, genereren LLM's vaak outputs die logische consistentie missen of feitelijke hallucinaties bevatten. Bovendien zijn hun interne redeneermechanismen vaak ondoorzichtig. Hoewel het integreren van externe Kennisgrafieken (KG's) is voorgesteld om deze problemen te mitigeren, vertrouwen bestaande methoden vaak op vaste prompt-sjablonen of statische ophaalstrategieën. Deze benaderingen slagen er vaak niet in om de rijke structurele informatie binnen KG's volledig te benutten, wat leidt tot onvolledige redeneerketens, de introductie van irrelevante ruis, of het onvermogen om zich dynamisch aan te passen aan specifieke querystructuren.

Methodologie: Het SGR-kader
De auteurs stellen SGR (Stepwise Reasoning Framework) voor, een systeem dat is ontworpen om het redeneren van LLM's te verbeteren door dynamisch externe subgrafen uit kennisbanken te genereren. Het kader werkt via drie hoofdcomponenten:

Gestructureerde Subgraafgeneratie:
- Bij ontvangst van een invoervraag $q$ extrahert het systeem sleutelelementen, relaties en beperkingen om een gestructureerde representatie $S_q$ te vormen.
- Met behulp van een schema-gestuurde aanpak fungeert de LLM als een expert in kennisgrafieken om centrale entiteiten en relaties te identificeren. Het construeert een query-specifieke subgraaf $G_q$ door de externe KG te filteren op triples met hoge semantische relevantie voor de vraag.
- Dit proces omvat het genereren van een gestructureerd schema, dat vervolgens wordt vertaald naar een uitvoerbare Cypher-query (via een NLCypher-module) om precieze kandidaat-triples op te halen uit een Neo4j-database. Dit omzeilt de beperkingen van vaste prompts door een dynamische, op de query toegesneden kenniscontext te creëren.
Stapsgewijze Redeneerverbetering:
- Het kader leidt de LLM om stap voor stap te redeneren over de gegenereerde subgraaf.
- Het redeneerproces wordt gemodelleerd als een traject van toestanden $z_{1:T}$ , waarbij elke stap afhankelijk is van de vraag, vorige toestanden en het huidige subgraafbewijs.
- Een padconsistentiescore wordt geïntroduceerd om ervoor te zorgen dat het redeneerpad overeenkomt met de opgehaalde gestructureerde kennis. Het model wordt aangemoedigd om antwoorden te selecteren die zowel redeneervertrouwen als structurele consistentie met de subgraaf maximaliseren.
Integratie van Collaboratief Redeneren:
- SGR hanteert twee strategieën om de uiteindelijke output te genereren: Direct Redeneren en Collaboratief Redeneren.
- Direct Redeneren: De LLM genereert antwoorden direct op basis van de opgehaalde subgraaf en het schema, gevolgd door een validatiestap waarbij kandidaat-antwoorden worden gecontroleerd tegen de schema-beperkingen in de KG.
- Collaboratief Redeneren: Als direct redeneren ontoereikend is, start het kader een iteratieve lus. De LLM genereert intermediaire hypothesen, die worden geverifieerd en uitgebreid door ondersteunend bewijs uit de KG op te halen. Deze cyclus herhaalt zich, waardoor het systeem meerdere redeneerpaden kan verkennen.
- Tot slot worden resultaten van meerdere paden geaggregeerd, gewogen op basis van een combinatie van modelvertrouwen en graafconsistentie, om de uiteindelijke voorspelling te produceren.

Belangrijkste Bijdragen

Nieuw Kader: De introductie van SGR, een kader voor stapsgewijze redeneerverbetering dat gebruikmaakt van extern gegenereerde, query-specifieke subgrafen om de prestaties van LLM's bij complexe meerstapsredeneerproblemen te verbeteren.
Interpreteerbaarheid: De ontwikkeling van een interpreteerbare, kennisverrijkte redeneerprocedure. In tegenstelling tot black-box-generatie, produceert SGR expliciete redeneerpaden en uiteindelijke outputs die kunnen worden getraceerd en geverifieerd tegen de onderliggende kennisgraaf.
Empirische Validatie: Uitgebreide experimenten die aantonen dat SGR concurrentiebaselines (inclusief standaard prompting, Chain-of-Thought en eerdere state-of-the-art methoden) overtreft op meerdere benchmarkdatasets.

Experimentele Resultaten
Het kader werd geëvalueerd op vier benchmarkdatasets: CWQ (Complex WebQuestions), WebQSP, GrailQA en KQA Pro.

Prestaties: SGR behaalde consistente verbeteringen ten opzichte van baselines. Bijvoorbeeld, op de CWQ-dataset behaalde SGR met ChatGPT een Hits@1 van 0,578 en een Nauwkeurigheid van 0,526, wat beter is dan standaard ChatGPT-prompting (0,376/0,256) en CoT-prompting (0,388/0,258). Op GrailQA bereikte SGR/ChatGPT 0,713 Hits@1 en 0,633 Nauwkeurigheid.
Ablatiestudies: Experimenten op de CWQ-dataset bevestigden de noodzaak van beide componenten. Het verwijderen van schema-gestuurde subgraafgeneratie of Neo4j-gebaseerde ophaling resulteerde in aanzienlijke prestatiedalingen, wat valideert dat gestructureerde ophaling en schema-geleiding cruciaal zijn voor meerstapsredeneren.
Generalisatie: Het kader toonde model-agnostische capaciteiten, met consistente winsten wanneer toegepast op zowel Cypher LLM's als ChatGPT, en zelfs verbetering van de prestaties op kleinere taalmodellen.

Betekenis en Beweringen
Het artikel beweert dat SGR een robuuste oplossing biedt voor de beperkingen van LLM's in complexe redenering door intermediaire stappen te verankeren in gestructureerde externe kennis. De betekenis hiervan ligt in:

Nauwkeurigheid en Betrouwbaarheid: Door het model te concentreren op relevante entiteiten en relaties binnen een subgraaf, vermindert het kader de impact van irrelevante of ruisinformatie, waardoor de feitelijke betrouwbaarheid verbetert.
Transparantie: Het kader biedt een mechanisme om redeneerpaden te traceren, wat de interpreteerbaarheidsproblemen aanpakt die vaak geassocieerd worden met LLM's.
Aanpasbaarheid: Door dynamisch subgrafen te genereren in plaats van te vertrouwen op statische sjablonen, past het systeem zich aan diverse querystructuren en redeneerpatronen aan.

Beperkingen
De auteurs erkennen dat SGR extra rekenkosten met zich meebrengt vanwege de vereisten voor subgraafgeneratie en kennisophaling, wat de inferentie-efficiëntie in grootschalige toepassingen kan beïnvloeden. Bovendien is de prestatie van het kader afhankelijk van de volledigheid en nauwkeurigheid van de onderliggende externe kennisgrafieken; ontbrekende of ruisige feiten in de KG kunnen nog steeds leiden tot redeneerfouten. Toekomstig werk wordt voorgesteld om zich te richten op het optimaliseren van ophaalefficiëntie en het verkennen van lichtgewicht implementatiestrategieën.