TRACE: An Experiential Framework for Coherent Multi-hop Knowledge Graph Question Answering

Titel: TRACE: Een Ervaringsgerichte Framework voor Coherente Multi-hop Knowledge Graph Vraagbeantwoording

1. Het Probleem

Multi-hop Knowledge Graph Question Answering (KGQA) vereist dat modellen redeneren over meerdere relatieve paden in een kennisgrafiek om complexe vragen te beantwoorden. Bestaande methoden kampen echter met twee fundamentele tekortkomingen:

• Gebrek aan coherentie: Veel modellen behandelen elke redeneerstap als een geïsoleerde gebeurtenis, zonder rekening te houden met de context van eerdere stappen. Dit leidt tot logische inconsistenties en afwijkingen van de intentie van de vraag.
• Inefficiënte verkenning: Modellen leren niet uit eerdere verkenningen. Ze herhalen vaak dezelfde onproductieve zoekpaden (redundante exploratie) omdat er geen mechanisme is om ervaring uit eerdere mislukte of succesvolle trajecten te generaliseren en te hergebruiken.

2. Methodologie: Het TRACE Framework

TRACE (Trajectory-aware Reasoning with Adaptive Context and Exploration priors) is een experientieel framework dat Large Language Models (LLMs) combineert met structurele kennis uit kennisgrafieken. Het doel is om zowel de semantische coherentie als de robuustheid van multi-hop redenering te verbeteren. Het framework bestaat uit drie kerncomponenten:

A. Dynamische Context Generatie (Dynamic Context Generation)

• Doel: Semantische continuïteit behouden over meerdere redeneerstappen.
• Werking: In plaats van alleen de gestructureerde relaties te gebruiken, vertaalt dit module het lopende redeneerpad naar een natuurlijk talig verhaal (narratief).
• Mechanisme: Een LLM genereert een contextueel narratief $C_q^{(t)}$ op basis van de vraag $q$ en de reeks relaties $R_q^{(t)}$ die tot nu toe zijn doorlopen. Dit narratief dient als context voor de volgende stap, waardoor de beslissingen logisch verbonden blijven met de oorspronkelijke vraag en de historische weg.

B. Verkenning Generalisatie (Exploration Generalization)

• Doel: Redundante exploratie verminderen door te leren uit het verleden.
• Werking: Wanneer een redeneertraject stopt (bijvoorbeeld door een maximale diepte of geen verdere opties), wordt dit traject samengevat.
• Mechanisme:
  1. Een LLM genereert een samenvatting ($D_q$) van het specifieke traject.
  2. Een abstractiefunctie ($f_{gen}$) analyseert meerdere samenvattingen om terugkerende patronen van onproductief gedrag te identificeren.
  3. Deze patronen worden omgezet in herbruikbare ervaringspriors ($F$). Deze priors fungeren als "ervaringskennis" die het model waarschuwt voor paden die eerder hebben geleid tot doodlopende straten.

C. Dual-Feedback Herordening (Dual-Feedback Re-ranking)

• Doel: De selectie van relaties verfijnen door lokale context en globale ervaring te combineren.
• Werking: Dit is een tweestapsproces voor het selecteren van de volgende relatie:
  1. Retrieval: Een LLM-baseerde retriever kiest een top-$k$ set kandidaat-relaties gebaseerd op het lokale contextuele narratief.
  2. Re-ranking: Een scoring-functie evalueert deze kandidaten opnieuw. Deze score is gebaseerd op zowel de huidige relatiesequentie als de exploratiepriors ($F$). Relaties die lijken op eerdere onproductieve patronen krijgen een lagere score.
• Resultaat: Alleen relaties met een score boven een drempelwaarde ($\zeta$) worden behouden, wat zorgt voor een balans tussen exploratiebreedte en selectie-robustheid.

3. Belangrijkste Bijdragen

• Nieuw Framework: TRACE introduceert een uniek experientieel framework dat LLM-gedreven contextueel redeneren verenigt met het integreren van exploratie-priors.
• Coherentie en Generalisatie: Het lost het probleem van gebroken redeneerpaden op door dynamische narratieven te gebruiken, en lost redundantie op door verkenningstrajecten te abstraheren naar herbruikbare kennis.
• Dubbel Feedback Mechanisme: Het introduceert een innovatieve herordeningstechniek die lokale semantische cues en globale ervaringskennis combineert voor betere relatieselectie.

4. Resultaten

TRACE is uitgebreid getest op twee populaire KGQA-benchmarks: WebQSP en ComplexWebQuestions (CWQ).

• Prestaties: TRACE overtreft consistent de state-of-the-art baselines (zoals DP, RwT, ToG, en FiDeLis).
  • Op WebQSP behaalde TRACE een Hits@1 van 91,6% en een F1-score van 81,7%.
  • Op CWQ behaalde TRACE een Hits@1 van 76,9% en een F1-score van 72,9%.
• Ablatie-studies: Experimenten tonen aan dat het verwijderen van zowel de contextgeneratie (CT) als de verkenninggeneralisatie (ER) leidt tot een aanzienlijke daling in prestaties, wat bewijst dat beide componenten essentieel en complementair zijn.
• Efficiëntie: TRACE verbruikt minder tokens en vereist minder LLM-aanroepen dan vergelijkbare methoden (zoals RwT), dankzij de reductie van redundante verkenningen.
• Robuustheid: Het framework presteert goed met verschillende LLM-achtergronden (van open-source modellen zoals Llama2 tot gespecialiseerde modellen zoals GPT-4), hoewel sterkere LLM's de prestaties verder verbeteren.

5. Betekenis en Toekomstperspectief

De significante bijdrage van TRACE ligt in de verschuiving van "stap-voor-stap" redenering naar een ervaringsgestuurde benadering. Door LLM's niet alleen te laten redeneren op basis van de huidige vraag, maar hen ook te laten leren van hun eigen zoekgeschiedenis (via priors), creëert het een robuuster en efficiënter systeem.

Dit onderzoek opent de weg voor:

• Schalbaarheid: Minder rekenkosten door minder onnodige zoekpaden.
• Toepassingen: Uitbreiding naar andere domeinen zoals wetenschappelijke ontdekking en multi-agent samenwerking.
• Verbetering: Toekomstig werk richt zich op het automatiseren van prompt-optimalisatie en het verlichten van de inferentiekosten.

Kortom, TRACE bewijst dat het integreren van "ervaring" in het redeneerproces van AI-modellen cruciaal is voor het oplossen van complexe, multi-hop problemen in gestructureerde kennisbronnen.