💬 NLP

Topology-Aware Reasoning over Incomplete Knowledge Graph with Graph-Based Soft Prompting

Dit paper introduceert een nieuw framework voor graafgebaseerde soft prompting dat Large Language Models in staat stelt om robuust te redeneren over onvolledige kennisgrafieken door subgraaf-structuur te coderen in plaats van op kwetsbare pad-doorloop te vertrouwen, wat leidt tot state-of-the-art prestaties op meerdere KBQA-benchmarks.

Oorspronkelijke auteurs: Shuai Wang, Xixi Wang, Yinan Yu

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shuai Wang, Xixi Wang, Yinan Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote, onvolledige schatkist met feiten hebt: een Kennisgrafiek. In deze schatkist staan kaarten die mensen, plaatsen en dingen met elkaar verbinden. Soms zijn de lijntjes tussen de kaarten echter weggeveegd of ontbreken ze helemaal.

De vraag is: hoe kun je een slimme computer (een Groot Taalmodel of LLM) helpen om het juiste antwoord te vinden, zelfs als de kaart onvolledig is?

Tot nu toe probeerden deze computers één stapje tegelijk te zetten: "Ik ga van A naar B, en dan van B naar C." Maar als de lijn tussen B en C ontbreekt, raken ze in de war en geven ze een onzin antwoord (een "hallucinatie").

De auteurs van dit papier, Shuai Wang en zijn collega's, hebben een slimme nieuwe manier bedacht, genaamd GraSP. Hier is hoe het werkt, uitgelegd met een paar simpele analogieën:

1. Van "Stap-voor-stap" naar "De hele foto bekijken"

Stel je voor dat je op zoek bent naar een vriend in een grote stad, maar je hebt een oude, beschadigde kaart.

De oude manier: Je loopt van het ene kruispunt naar het andere. Als een straat weg is, loop je vast. Je kijkt alleen naar de directe buren.
De nieuwe manier (GraSP): In plaats van alleen naar de directe buren te kijken, kijkt de computer naar de hele wijk rondom je vriend. Zelfs als de directe straat ontbreekt, ziet hij dat je vriend in dezelfde wijk woont als iemand anders, die weer in dezelfde buurt werkt als je doelwit.

De computer gebruikt een speciale "bril" (een GNN of Graph Neural Network) om de structuur van die hele wijk te snappen. Hij ziet de verbindingen die niet direct op de kaart staan, maar die wel logisch zijn door de vorm van de straten.

2. De "Geheime Code" (Soft Prompting)

Hoe vertel je die slimme computer wat hij moet doen?
Stel je voor dat je een detective bent. Je hebt een dossier met veel losse stukjes papier (de feiten).

Oude methode: Je leest elke zin hardop voor aan de detective. Dit duurt lang en er komt veel ruis bij.
De GraSP-methode: Je maakt een geheime code (een "soft prompt"). Dit is geen tekst die je leest, maar een soort "gevoel" of "intuïtie" dat direct in het hoofd van de detective wordt geprojecteerd. Deze code vertelt de detective: "Kijk niet alleen naar de naam, maar voel de structuur van de hele wijk. Er is hier een verborgen pad."

Hierdoor kan de computer beter redeneren over de ruimte tussen de feiten, niet alleen over de feiten zelf.

3. Het Twee-Stage Team (De Praktische Jager en de Expert)

Om dit niet te duur te maken (rekenen kost veel tijd en geld), gebruiken ze een slim team-up:

De Snelle Scout (Klein Model): Eerst sturen ze een klein, snel en goedkoop robotje de wijk in. Dit robotje heeft de "geheime code" en kijkt snel: "Welke 3 of 4 mensen in deze wijk zijn waarschijnlijk belangrijk voor de vraag?" Het maakt een ruw lijstje.
De Expert (Groot Model): Daarna geven ze dat lijstje aan een super-intelligente, maar dure expert. De expert hoeft niet meer de hele stad te verkennen; hij kijkt alleen naar de 3 of 4 mensen die de scout heeft uitgezocht en zegt: "Ah, ja, dit is het antwoord!"

Dit bespaart enorm veel tijd en geld, omdat de dure expert niet hoeft te "graven" in de hele database, maar alleen hoeft te "verifiëren".

Waarom is dit zo goed?

Het is robuust: Zelfs als de kaart 25% leeg is (veel lijntjes ontbreken), blijft dit systeem werken. De oude methoden vallen dan volledig uit elkaar.
Het is slim: Door naar de "vorm" van de gegevens te kijken, kan het systeem de ontbrekende stukjes zelf invullen, net als een mens die een puzzel maakt en de vorm van de stukjes ziet, zelfs als de randjes ontbreken.
Het werkt overal: Ze hebben het getest op vier verschillende moeilijke vraagstukken en wonnen in drie van de vier gevallen.

Kortom: GraSP is als het geven van een GPS-app aan een detective die een beschadigde kaart heeft. In plaats van stap voor stap te lopen en vast te lopen, laat de app de detective de hele wijk overzien, zodat hij de verborgen paden ziet en het antwoord vindt, zelfs als de weg niet direct op de kaart staat.

Probleemstelling

Grote Taalmodellen (LLMs) tonen indrukwekkende prestaties, maar zijn vatbaar voor hallucinaties bij kennisintensieve taken zoals het beantwoorden van vragen op basis van kennisbanken (KBQA). Bestaande KBQA-methoden vertrouwen vaak op expliciete randen in een Kennisgraf (KG) om multi-hop redenering uit te voeren (van entiteit naar entiteit). Dit maakt deze systemen echter kwetsbaar voor onvolledigheid in de kennisgraf. Als een directe verbinding (rand) ontbreekt tussen twee relevante entiteiten, breekt de redeneerketen af, wat leidt tot foutieve antwoorden. Bestaande methoden die subgrafen naar tekst vertalen (verbaaliseren), verliezen vaak de onderliggende topologische structuur, wat essentieel is om impliciete relaties te ontdekken.

Methodologie: GraSP Framework

De auteurs stellen GraSP (Graph-based Soft Prompting) voor, een nieuw raamwerk dat de redeneerparadigma verschuift van "node-level pad-doorloop" naar "subgraaf-level redenering". Het framework bestaat uit drie hoofdstappen:

Subgraaf Extractie:
- Op basis van de topic-entiteit in de vraag wordt een $l$ -hop subgraaf geëxtraheerd.
- Om irrelevante entiteiten te filteren, wordt een relevantie-strategie gebruikt waarbij de cosine-相似iteit tussen de vraag en kandidaat-entiteiten wordt berekend via een BERT-encoder. De top- $k$ meest relevante entiteiten worden iteratief geselecteerd om de subgraaf op te bouwen.
Grafgebaseerde Soft Prompting:
- In plaats van de subgraaf naar tekst te vertalen, wordt een Graph Neural Network (GNN) gebruikt om de structuur van de subgraaf te coderen.
- De GNN gebruikt een Graph Attention Network (GAT) mechanisme om aandacht te richten op entiteiten die relevanter zijn voor de vraag.
- De gegenereerde entiteitsembeddings worden via een lichtgewicht Feed-Forward Network (FFN) omgezet in soft prompts (continue vectorrepresentaties).
- Deze soft prompts worden als input aan de LLM gegeven, samen met de instructie, de vraag en de lijst van kandidaat-entiteiten. Dit stelt de LLM in staat om te redeneren op basis van de globale structurele context, zelfs als directe randen ontbreken.
Twee-staps Redenering en Antwoordgeneratie:
- Fase 1 (Selectie): Een lichtgewicht LLM (klein model) gebruikt de soft prompts om de meest relevante entiteiten en relaties in de subgraaf te identificeren. Dit model kan worden gefinetuned of bevroren.
- Fase 2 (Generatie): De geselecteerde entiteiten en relaties worden als expliciete bewijslast (in natuurlijke taal) doorgegeven aan een krachtig LLM (groot model). Dit model bepaalt of er voldoende informatie is om het antwoord te genereren. Zo niet, dan wordt een nieuwe iteratie gestart met een nieuwe topic-entiteit.
- Dit ontwerp reduceert de rekentijd doordat het dure, grote model alleen wordt ingezet voor de definitieve generatie en verificatie, terwijl het kleine model de zware zoekopdracht doet.

Belangrijkste Bijdragen

Nieuw Redeneerparadigma: Introductie van een subgraaf-niveau redeneerbenadering die structurele informatie codeert in soft prompts, waardoor het systeem robuuster wordt tegen ontbrekende randen in de kennisgraf.
Twee-staps Architectuur: Een efficiënt raamwerk dat een klein model gebruikt voor soft-prompt-gedreven selectie en een groot model voor bewijsbewuste antwoordgeneratie. Dit combineert hoge prestaties met lagere computationele kosten en maakt integratie met bestaande (gesloten) LLMs mogelijk.
SOTA Prestaties: Het framework behaalt state-of-the-art resultaten op drie van de vier geteste multi-hop KBQA-benchmarks.

Resultaten

De methode is geëvalueerd op vier datasets: ComplexWebQuestions (CWQ), WebQuestionsSP (WebQSP), WebQuestions en GrailQA.

Algemene Prestaties: GraSP behaalde de beste resultaten op drie datasets (CWQ, WebQSP, WebQuestions) met Hit@1 scores van respectievelijk 82.6, 93.6 en 84.3. Op GrailQA was het resultaat vergelijkbaar met de beste baselines.
Robuustheid bij Onvolledigheid: In experimenten waarbij 5% tot 25% van de randen in de kennisgraf willekeurig werden verwijderd, degradeerde GraSP aanzienlijk minder dan concurrenten (zoals ToG, KBQA-o1 en LMP). De totale prestatiedaling was slechts 10.8 punten, vergeleken met 14.9 tot 18.2 punten voor de baselines. Dit bewijst dat het gebruik van structurele context (via GNN) effectief is om ontbrekende expliciete relaties te overbruggen.
Efficiëntie: GraSP vereist aanzienlijk minder LLM-aanroepen en heeft een kortere runtime dan baselines zoals ToG en LMP, vooral dankzij het gebruik van een klein model voor de initiële selectie.
Ablatie Studies: Experimenten bevestigden dat grafgebaseerde soft prompts superieur zijn aan tekstuele soft prompts of triplet-gebaseerde representaties, wat aantoont dat het behoud van de grafstructuur cruciaal is.

Significantie

Dit paper is significant omdat het een fundamentele beperking van huidige KBQA-systemen aanpakt: de afhankelijkheid van perfecte, volledige kennisgrafen. Door topologie-bewust redeneren te combineren met soft prompting, biedt GraSP een oplossing die niet alleen nauwkeuriger is bij onvolledige data, maar ook schaalbaarder en kostenefficiënter. De methode demonstreert dat LLMs effectief kunnen worden geleid door gestructureerde, niet-texuele context (via soft prompts) om complexe multi-hop vragen te beantwoorden zonder dat het model zelf de kennisgraf hoeft te "leren" of te finetunen voor de specifieke taak. Dit opent de deur voor robuustere AI-systemen in domeinen waar kennisgrafen per definitie onvolledig zijn.