Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

Technische Samenvatting: Afleidingsprompting voor Retrieval-Augmented Generation

Probleemstelling
Hoewel Large Language Models (LLM's) de vraag-antwoordmogelijkheden (QA) hebben verbeterd, blijven ze vatbaar voor hallucinaties en foutieve redenering, met name in kennisintensieve, domeinspecifieke taken. Het Retrieval-Augmented Generation (RAG)-framework probeert dit te mitigeren door de generatie van het model te verankeren in opgehaalde documenten. Echter, bestaande technieken voor het verbeteren van redenering, zoals Chain-of-Thought (CoT) en Tree of Thoughts (ToT), missen expliciete beperkingen over hoe tussenstappen in de redenering worden opgebouwd. Het ontbreken van een systematische methodologie staat modellen toe om onbeheerde redeneerpaden te genereren, wat leidt tot foutieve logica en hallucinaties, zelfs wanneer context wordt geboden.

Methodologie: Afleidingsprompting
De auteurs stellen Afleidingsprompting voor, een nieuwe techniek voor de generatiestap van het RAG-framework, geïnspireerd door logische afleidingen in de propositielogica. In plaats van een vrij geformuleerd antwoord te genereren, construeert de methode een gestructureerde "afleidingsboom" waarbij een conclusie systematisch wordt afgeleid uit een set initiële hypothesen (opgehaalde documentfragmenten) met behulp van vooraf gedefinieerde regels.

• Kernmechanisme: Het proces behandelt opgehaalde fragmenten als een set hypothesen $\{h_1, \dots, h_n\}$. De LLM krijgt de taak een set regels in natuurlijke taal toe te passen om deze hypothesen te transformeren of te combineren en zo een conclusie $c$ af te leiden die de vraag $q$ beantwoordt.
• Regelset: De methode maakt gebruik van een specifieke set regels gedefinieerd in natuurlijke taal, waaronder:
  • Extract: Een specifiek deel van een hypothese isoleren.
  • Concat: Onafhankelijke hypothesen combineren.
  • Instantiate: Een hypothese generaliseren naar een specifiek geval.
  • Compose: Hypothesen samenvoegen die een gemeenschappelijk element delen.
  • Refine: Een hypothese aanpassen aan de vraag zonder de semantiek te veranderen.
  • NoInfo: Expliciet aangeven wanneer hypothesen de benodigde informatie missen.
• Algoritmische uitvoering: Het proces is iteratief. De LLM beslist welke regel toe te passen, selecteert de relevante hypothesen en genereert een nieuwe conclusie. Als de conclusie niet het uiteindelijke antwoord is, wordt deze toegevoegd aan de lijst van hypothesen voor volgende stappen.
• Implementatiestrategieën: De auteurs evalueerden twee implementatiebenaderingen:
  1. Een-staps prompt: Het isoleren van elke regeltoepassing als een onafhankelijke LLM-aanroep.
  2. Hele afleidingsprompt: Het gebruik van een Few-Shot-strategie om de LLM te begeleiden bij het construeren van de volledige afleidingsboom in één inferentie-aanroep.
     De studie vond dat de Hele afleidingsprompt aanzienlijk rekenkundig efficiënter is (het vervangen van $n$ inferenties door één) terwijl het vergelijkbare resultaten oplevert.

Casestudie en Evaluatie
De methode werd geëvalueerd in een specifiek domein: administratieve informatie voor de Faculteit Ingenieurswetenschappen van de Universidad de la República (Uruguay).

• Dataset: 135 echte gebruikersvragen afgeleid van historische e-mails, verwerkt om persoonsgegevens te verwijderen.
• Basislijnen: De studie vergeleek Afleidingsprompting met:
  • Standaard RAG (met gebruik van Cross-Encoder voor retrieval).
  • Benaderingen met lange contextvensters (het direct aanvoeren van volledige documenten aan het model).
• Modellen: Experimenten maakten gebruik van de Anthropic Claude 3-familie (Haiku en Opus).
• Evaluatiemetric: Een geautomatiseerde evaluatie met Claude Opus als rechter, die antwoorden scoorde op een schaal van 1–5 op basis van een rubriek die onderscheid maakt tussen "onacceptabel" (tegenstrijdig/vals, scores 1–2) en "acceptabel" (niet-tegenstrijdig, scores 3–5).

Resultaten
De experimenten toonden aan dat Afleidingsprompting de precisie van RAG-systemen significant verbetert:

• Vermindering van onacceptabele antwoorden: Afleidingsprompting met Claude Opus behaalde 89,6% acceptabele antwoorden, vergeleken met 77,8% voor standaard RAG en 76,3% voor Long Context-methoden. Dit vertegenwoordigt een substantiële reductie van hallucinaties en tegenstrijdige informatie.
• Precisie versus Recall: Hoewel de methode de fouten drastisch verminderde (scores 1 en 2), verhoogde het niet noodzakelijk het aantal zeer gedetailleerde antwoorden (scores 4 en 5). In veel gevallen waarin andere methoden faalden door hallucinaties, identificeerde Afleidingsprompting correct een gebrek aan informatie (score 3) via de NoInfo-regel.
• Modelafhankelijkheid: De effectiviteit van de methode correleert met de modelcapaciteit. Waar Claude Opus robuust presteerde, vertoonde het kleinere Claude Haiku-model een afname in antwoorden van hoge kwaliteit (scores 4 en 5) ondanks het verminderen van fouten, wat suggereert dat het construeren van geldige afleidingen aanzienlijke modelcapaciteit vereist.
• Interpreteerbaarheid: Een belangrijke bevinding is dat de afleidingsboom interpreteerbaar is. Wanneer er fouten optreden, kunnen deze worden teruggevoerd naar specifieke regeltoepassingen (bijvoorbeeld een hallucinatie tijdens een Refine-stap), waardoor gebruikers foutieve redenering kunnen identificeren in plaats van alleen een verkeerd antwoord te ontvangen.

Betekenis en Claims
Het artikel claimt dat Afleidingsprompting een gecontroleerd, interpreteerbaar alternatief biedt voor bestaande redeneertechnieken. Door het generatieproces te dwingen via een reeks vooraf gedefinieerde logische regels, beperkt de methode de vrijheid van het model om te hallucineren, waardoor antwoorden verankerd blijven in de opgehaalde documenten. De auteurs benadrukken dat hoewel de methode de precisie verbetert en onacceptabele outputs reduceert, het succes afhankelijk is van het vermogen van de onderliggende LLM om de regelgebaseerde logica effectief te begrijpen en toe te passen. Het werk suggereert dat deze logische aanpak kan worden gegeneraliseerd naar andere RAG-scenario's en potentieel niet-RAG-taken, mits passende regelsets worden gedefinieerd.