💬 NLP

Evaluating Prompt Engineering Techniques for RAG in Small Language Models: A Multi-Hop QA Approach

Dit artikel presenteert een empirische studie die aantoont dat geoptimaliseerde prompt-engineeringtechnieken de prestaties van Small Language Models in multi-hop RAG-taken aanzienlijk kunnen verbeteren, met tot wel 84,5% stijging op de HotpotQA-dataset.

Oorspronkelijke auteurs: Amir Hossein Mohammadi, Ali Moeinian, Zahra Razavizade, Afsaneh Fatemi, Reza Ramezani

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amir Hossein Mohammadi, Ali Moeinian, Zahra Razavizade, Afsaneh Fatemi, Reza Ramezani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kleine, slimme assistent hebt (een "Small Language Model" of SLM). Deze assistent is geweldig in het beantwoorden van simpele vragen, maar als je hem een complexe vraag stelt die informatie uit verschillende boeken vereist, raakt hij in de war. Hij probeert het uit zijn hoofd te weten, maar hij vergeet snel of hij verzonnen feiten (hallucinaties) bedenkt.

Om dit op te lossen, geven we de assistent een bibliotheek bij de hand. Dit noemen we RAG (Retrieval Augmented Generation). De assistent zoekt in de bibliotheek naar de juiste pagina's en leest ze voor het antwoord.

Maar hier komt het probleem: Hoe geef je de instructie?
Als je de assistent alleen zegt: "Lees dit en geef een antwoord", doet hij het vaak slecht. Hij weet niet precies hoe hij moet denken.

Deze paper is een groot experiment om uit te vinden: Wat is de beste manier om de assistent te vertellen hoe hij moet denken?

De Grote Proef: 24 Manieren om te Vragen

De onderzoekers (van de Universiteit van Isfahan) hebben 24 verschillende "vraagformuleringen" (prompten) getest. Ze hebben dit gedaan op twee populaire, kleine assistenten: Qwen en Gemma.

Ze hebben een moeilijke test gebruikt genaamd HotpotQA. Dit zijn vragen die je niet in één zin kunt beantwoorden. Je moet bijvoorbeeld eerst weten wie de winnaar van de Olympische Spelen van 2004 was, en dan pas weten welk land die persoon vertegenwoordigde. Je moet twee feiten aan elkaar knopen.

De 24 manieren werden ingedeeld in drie groepen:

De Standaard: "Hier is de tekst, geef antwoord." (De basis).
De Bekende Trucs: Bestaande methoden uit de wetenschap, zoals "Denk stap voor stap" (Chain of Thought).
De Nieuwe Hybriden: De onderzoekers hebben 14 nieuwe, slimme combinaties bedacht.

Wat Vonden Ze? (De Resultaten in Gewone Taal)

1. De "Snelheid vs. Nauwkeurigheid" Afweging

Stel je voor dat je een pakketje moet bezorgen.

De Snelle Koerier (Standaard prompt): Deze rijdt hard, is snel, maar maakt soms fouten omdat hij niet goed kijkt.
De Gedetailleerde Detective (Nieuwe hybride prompts): Deze neemt de tijd. Hij checkt elke aanwijzing, maakt een lijstje, en denkt na over elke stap. Hij is veel nauwkeuriger, maar hij duurt 8 tot 10 keer langer.

De paper laat zien dat als je de assistent dwingt om als een detective te denken (stap-voor-stap), hij veel minder fouten maakt. Maar je moet wel geduld hebben.

2. Niet elke assistent is hetzelfde

Dit is een heel belangrijk punt. Wat werkt voor de ene assistent, werkt niet voor de andere.

Qwen (de 3B model): Deze heeft meer "hand-holding" nodig. Hij moet heel duidelijk worden verteld: "Eerst doe je dit, dan dat, en controleer het daarna." Als je hem dit zegt, wordt hij heel slim, maar hij is traag.
Gemma (de 4B model): Deze is iets slimmer en heeft een ander brein. Voor deze assistent werkt een nieuwe, slimme prompt (genaamd expert_synthesis) wonderbaarlijk goed. Deze prompt zegt eigenlijk: "Je bent een expert, vat alles samen en geef het beste antwoord."
- Het verrassende resultaat: Gemma was met deze prompt sneller én nauwkeuriger dan met de lange, stap-voor-stap instructies. Het bleek dat deze assistent het "stap-voor-stap" gedoe niet nodig had; hij kon het zelf in zijn hoofd doen als je hem maar de juiste rol gaf.

3. De "LLM als Rechter"

Hoe wisten ze of het antwoord goed was? Ze lieten een nog slimmere AI (GPT-4o-mini) de antwoorden beoordelen.
Stel je voor dat een simpele computer telt of woorden overeenkomen (zoals RAGAS deed). Dat werkt niet goed, want een goed antwoord kan anders geformuleerd zijn dan het voorbeeld.
De onderzoekers lieten daarom een slimme rechter kijken naar:

Is het antwoord logisch?
Zijn de feiten waar?
Is het antwoord compleet?
Dit gaf een veel eerlijker beeld van de prestaties.

De Grote Les voor de Praktijk

De paper geeft een soort menukaart voor wie een slimme, kleine AI wil bouwen:

Wil je het allerbeste antwoord, en maakt snelheid niet uit? (Bijvoorbeeld voor medische diagnoses of juridisch advies)
- Gebruik: De nieuwe, complexe "hybride" prompts. Laat de AI als een detective werken.
Wil je een snelle chatbot voor op je telefoon? (Bijvoorbeeld voor een klantenservice)
- Gebruik: De simpele, korte instructies. De AI is dan minder slim, maar wel supersnel.
Heb je een iets slimmere AI (zoals Gemma)?
- Gebruik: De "Expert Synthesis" prompt. Dit is de "heilige graal": het geeft een topantwoord, maar is ook nog redelijk snel.

Conclusie

Deze paper zegt eigenlijk: "Er is geen één perfecte manier om een AI te vragen."
Het hangt af van wat je AI precies is (het model) en wat je nodig hebt (snelheid of precisie). Door slimme instructies te geven, kun je kleine, goedkope AI's laten presteren als grote, dure systemen, maar je moet wel weten welke "taal" je tegen welke AI moet spreken.

Kortom: Geef je assistent de juiste rol en de juiste instructies, en hij kan wonderen verrichten.

Titel: Evaluatie van Prompt Engineering Technieken voor RAG in Kleine Taalmodellen: Een Multi-Hop QA Benadering

Auteurs: Amir Hossein Mohammadi, Ali Moeinian, Zahra Razavizade, Afsaneh Fatemi, Reza Ramezani (Universiteit van Isfahan, Iran)

1. Probleemstelling

Hoewel Retrieval-Augmented Generation (RAG) de feitelijke grondslag van grote taalmodellen (LLMs) heeft verbeterd, blijft er een kritieke onderzoeksleemte bestaan voor Kleine Taalmodellen (SLMs) (bijv. 3B-4B parameters).

Uitdaging: SLMs kampen met beperkte redeneercapaciteit, vooral bij complexe multi-hop vraag-antwoordtaken (waar informatie uit meerdere documenten moet worden gecombineerd).
Kernprobleem: De prestaties van SLMs in RAG-systemen zijn sterk afhankelijk van de prompt-ontwerp, maar dit aspect is onderbelicht. Bestaande prompts zijn vaak niet geoptimaliseerd voor de beperkte contextuele en redeneercapaciteit van kleine modellen.
Doel: Onderzoeken hoe prompt engineering de nauwkeurigheid en efficiëntie van SLM-based RAG-systemen kan maximaliseren zonder de voordelen van lage resource-vereisten te verliezen.

2. Methodologie

De auteurs voerden een grootschalige empirische studie uit met de volgende opzet:

Datasets: Gebruik van de HotpotQA dataset (via RAGBench), specifiek de testset van 390 rijen, uitgebreid tot 18.720 testinstanties. HotpotQA is de gouden standaard voor multi-hop QA omdat het redeneren over meerdere documenten vereist.
Modellen: Twee state-of-the-art SLMs:
1. Qwen2.5-3B-Instruct (3 miljard parameters)
2. Gemma3-4B-It (4 miljard parameters)
Prompt Strategieën: Evaluatie van 24 unieke prompt-sjablonen, ingedeeld in drie categorieën:
1. Baseline: Standaard RAG-prompt (standard_context_aware).
2. Literatuur-gebaseerd: 9 bestaande technieken (o.a. Chain-of-Thought, Few-Shot, Self-Refine).
3. Nieuwe Hybride Prompts: 14 door de auteurs ontwikkelde hybride varianten die elementen van redenering, zelf-correctie en hiërarchische synthese combineren.
Evaluatie Framework:
- Pijplijn: De dataset biedt vooraf opgehaalde documenten; de focus ligt puur op de generatie en evaluatie.
- Judge: In plaats van traditionele metrics zoals RAGAS (die te afhankelijk bleken van lexicaal overlap), werd een "LLM-as-a-judge" aanpak gebruikt met GPT-4o-mini.
- Metrics: Een gewogen score ( $S_{LLM}$ $S_{LL M}$ ) gebaseerd op vijf dimensies:
  1. Semantische uitlijning (35%)
  2. Informatieve nauwkeurigheid (25%)
  3. Logische coherentie (20%)
  4. Volledigheid van het antwoord (15%)
  5. Praktische bruikbaarheid (5%)
- Efficiëntie: Gedefinieerd als $S_{LLM} / \text{Verwerkingstijd}$ , om de afweging tussen kwaliteit en latentie te kwantificeren.

3. Belangrijkste Bijdragen

Nieuwe Taxonomie: Een uitgebreide classificatie van 24 prompt-strategieën, inclusief 14 nieuwe hybride templates specifiek ontworpen voor multi-hop redenering in SLMs.
Gedetailleerde Empirische Analyse: Een rigoureuze evaluatie op twee verschillende SLM-architecturen, waarbij niet alleen nauwkeurigheid, maar ook latentie en een gecombineerde efficiëntiescore worden gemeten.
Inzichtelijke Trade-offs: Kwantificering van de afweging tussen nauwkeurigheid en verwerkingstijd, en het identificeren van model-specifieke voorkeuren.
Actiegericht Advies: Praktische richtlijnen voor ontwikkelaars om de juiste prompt te selecteren op basis van hun specifieke toepassing (bijv. real-time chatbot vs. medische diagnose).

4. Resultaten

De studie leverde significante bevindingen op, gebaseerd op 18.720 tests:

Algemene Prestatieverbetering: De beste hybride prompts verbeterden de nauwkeurigheid met 6% tot 84,5% ten opzichte van de standaard RAG-baseline.
- Qwen2.5-3B: Steeg van ~76,8% (baseline) naar 83,0% (met optimized_multi_hop_prompting).
- Gemma3-4B: Steeg van ~78,5% (baseline) naar 84,6% (met expert_synthesis_prompting).
De Nauwkeurigheid-Latentie Trade-off:
- Er is een duidelijke afweging: complexe prompts die hoge nauwkeurigheid bieden, leiden tot een 8 tot 10 keer langere verwerkingstijd (bijv. van ~1,2s naar ~10s).
- Eenvoudige, literatuur-gebaseerde prompts (zoals instruction_tuned) zijn het snelst en meest efficiënt, maar bereiken niet de pieknauwkeurigheid van de hybride prompts.
Model-specifieke Affiniteit:
- Qwen2.5-3B: Profiteert het meest van gedetailleerde, stap-voor-stap instructies (zoals decompositie van vragen) om de beperkte redeneercapaciteit te compenseren.
- Gemma3-4B: Toont een opmerkelijke uitzondering op de trade-off. De prompt expert_synthesis_prompting bereikte niet alleen de hoogste nauwkeurigheid, maar was ook de snelste en meest efficiënte onder de hybride prompts. Dit suggereert dat krachtigere SLMs hoog-niveau instructies beter intern kunnen verwerken dan expliciete, lange redeneerketens.
Prestatieverschil: Gemma3-4B presteerde consistent beter dan Qwen2.5-3B op alle metrics (nauwkeurigheid, snelheid, efficiëntie), wat de impact van modelgrootte en architectuur bevestigt.

5. Betekenis en Conclusie

Dit onderzoek biedt een cruciale roadmap voor het implementeren van RAG-systemen in resource-beperkte omgevingen:

Geen "One-Size-Fits-All": De optimale prompt hangt af van het specifieke model en de toepassing. Wat werkt voor Qwen, werkt niet noodzakelijk voor Gemma.
Strategische Keuze:
- Voor real-time toepassingen met lage latentie-eisen: Gebruik eenvoudige, literatuur-gebaseerde prompts (instruction_tuned).
- Voor kwaliteitskritische taken (bijv. juridisch, medisch): Gebruik de nieuwe hybride prompts (optimized_multi_hop of expert_synthesis), ondanks de hogere latentie.
Potentieel van SLMs: Met de juiste prompt engineering kunnen kleine modellen (3B-4B) aanzienlijke prestaties behalen in complexe redeneertaken, waardoor ze een haalbaar alternatief worden voor dure, grote modellen in specifieke scenario's.

De studie concludeert dat prompt engineering een beslissende hefboom is om het volledige potentieel van SLM-based RAG-systemen te ontsluiten, mits de afweging tussen nauwkeurigheid en kosten (tijd) bewust wordt beheerd.