Can Small Language Models Use What They Retrieve? An Empirical Study of Retrieval Utilization Across Model Scale

Titel en Doel

Het paper onderzoekt de effectiviteit van Retrieval-Augmented Generation (RAG) voor kleine taalmodellen (≤ 7 miljard parameters). De centrale vraag is of deze modellen daadwerkelijk in staat zijn om gerecupereerde informatie te gebruiken om hun antwoorden te verbeteren, of dat de beperking ligt in het "gebruik" van de context in plaats van in de kwaliteit van de retriever.

1. Het Probleem

RAG is een standaardtechniek om de feitelijke nauwkeurigheid van grote taalmodellen (>10B parameters) te verbeteren door externe documenten te koppelen aan de generatie. Er is echter weinig bekend over de prestaties van kleine modellen (zoals die voor randapparatuur of privacygevoelige toepassingen) in RAG-situaties.
Bestaande evaluaties verwarren vaak twee fouten:

1. De retriever levert onbruikbare documenten op (retrieval failure).
2. Het model kan de bruikbare documenten niet verwerken (utilization failure).

De auteurs stellen dat voor kleine modellen de tweede fout (het niet kunnen gebruiken van de context) de primaire bottleneck is, zelfs als de context perfect is.

2. Methodologie

De studie is opgezet als een diagnostisch experiment om de "gebruiksfout" te isoleren van de "retrievalfout".

• Modellen: Vijf instruction-tuned modellen van drie architectuurfamilies (SmolLM2, Qwen2.5, Llama 3.1) met groottes variërend van 360M tot 8B parameters.
• Datasets: 1.000 vragen uit Natural Questions (single-hop) en HotpotQA (multi-hop).
• Retrievoorwaarden:
  1. Geen retrieval: Baseline.
  2. BM25: Traditionele zoekopdracht.
  3. Dense (E5-large-v2): Vectorzoekopdracht.
  4. Oracle Retrieval: Een gecontroleerde setting waarbij de passage garandeert dat het antwoord bevat (rank 1). Dit elimineert retrieval-kwaliteit als variabele.
• Parametrische Kennisverdeling (Parametric Knowledge Split):
  • Elk (model, vraag)-paar wordt geclassificeerd als KNOWN (het model kan het antwoord zonder context) of UNKNOWN (het model kan het antwoord niet zonder context).
  • Dit stelt de auteurs in staat om te meten:
    • Hoeveel nieuwe kennis het model uit de context haalt (bij UNKNOWN).
    • Hoeveel bestaande kennis het model verliest door de aanwezigheid van context (bij KNOWN).
• Evaluatiemetrics: Exact Match (EM) met 95% betrouwbaarheidsintervallen.

3. Belangrijkste Resultaten

A. Fundamentele Utilisatie-Bottleneck (Oracle Retrieval)

Zelfs met Oracle Retrieval (waar het antwoord zeker in de tekst staat), falen kleine modellen dramatisch om het antwoord te extraheren:

• Voor UNKNOWN vragen haalt het 7B-model slechts 14,6% EM.
• Het 1,5B-model haalt 10,0%.
• Het 360M-model haalt 0,0%.
• Conclusie: Zelfs met perfecte informatie is 85–100% van de inspanning van de retriever verspild. Het probleem is niet dat de retriever faalt, maar dat het model de context negeert.

B. Distractie-effect (Retrieval Vernietigt Kennis)

De aanwezigheid van context heeft een schadelijk effect op vragen die het model al correct kon beantwoorden (KNOWN):

• Retrieval vernietigt 42% tot 100% van de eerder correcte antwoorden.
• Bij het 1,5B-model daalt de nauwkeurigheid van 100% naar 36% (bij ruwe retrieval) of 43% (bij oracle).
• Belangrijke bevinding: Voor modellen <7B is er geen significant verschil tussen "ruwe" retrieval en "oracle" retrieval qua schade. Dit suggereert dat de aanwezigheid van context (distractie) het probleem is, niet de kwaliteit ervan.

C. Negatieve Netto-Trade-off

De verwachte nettowinst van het toevoegen van retrieval is negatief voor alle geteste modellen:

• Voor het 7B-model: De winst bij onbekende vragen (+8,0%) wordt ruimschoots gecompenseerd door het verlies bij bekende vragen (-51,2%).
• Netto resultaat: Een daling van -2,9% in nauwkeurigheid.
• Zelfs met perfecte oracle retrieval is de netto winst voor het 7B-model slechts +4,2%, wat een onrealistische voorwaarde is voor praktische toepassing.

D. Foutanalyse

Bij analyse van 2.588 oracle-fouten is de dominante foutmodus irrelevante generatie (61–100% van de fouten). Het model negeert de context volledig en genereert tekst die geen enkele overlap heeft met de bron.

• Bij het 360M-model is dit 100%.
• Er is een drempelwaarde van ongeveer 1B parameters nodig voordat modellen überhaupt proberen om met de passage te interageren.

4. Robuustheid en Generalisatie

• Prompten: Het probleem blijft bestaan bij verschillende prompt-templates (gedwongen, permissief, minimaal). Zelfs als het model wordt verteld om alleen de context te gebruiken als het helpt, presteert het slechter dan zonder context.
• Architectuur: Het patroon is consistent over SmolLM2, Qwen2.5 en Llama 3.1.
• Kwantisering: De resultaten zijn vergelijkbaar tussen 4-bit gekwantiseerde lokale modellen en FP16-modellen via API, wat aangeeft dat kwantisatie niet de oorzaak is van het falen.

5. Betekenis en Conclusie

Het paper concludeert dat voor sub-7B modellen de RAG-bottleneck context-gebruik (utilization) is, en niet de kwaliteit van de retriever.

• Praktische Implicatie: Het implementeren van RAG met kleine modellen onder standaard omstandigheden leidt vaak tot een negatieve netto-afweging (minder nauwkeurigheid dan zonder RAG).
• Toekomstige Richtingen:
  • Het verbeteren van de retriever (beter zoeken) lost het probleem niet op.
  • Er is behoefte aan RAG-bewust fine-tuning (zoals RAFT) om modellen te leren context te gebruiken.
  • Selectieve retrieval (alleen retrieven als het model het antwoord niet kent) is noodzakelijk om het distractie-effect te verminderen.
  • Robuuste context-gebruik lijkt pas te ontstaan bij modellen groter dan 7B (en waarschijnlijk >10B).

Kernboodschap: Zolang kleine modellen niet specifiek worden getraind om context te integreren, is het toevoegen van retrieval-informatie vaak schadelijker dan nuttig.