Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Deze keynote op ECIR 2025 belicht het onderzoek naar de interactie tussen parametrische en contextuele kennis in taalmodellen, met name gericht op het diagnosticeren van kennisconflicten en het begrijpen van hoe modellen context integreren of negeren.

De kern

De Grote Raadsel van de AI: Waarom Luistert de Computer soms niet naar de Nieuwsbrief?

Stel je voor dat een Large Language Model (een slimme AI) een enorme, onuitputtelijke herinneringskast heeft. Alles wat het ooit heeft gelezen tijdens zijn opleiding zit daar vastgezet in de muren van die kast. Dit noemen onderzoekers parametrische kennis. Het is als het geheugen van een persoon die alles uit zijn hoofd kent.

Maar er is een probleem: soms is die herinnering verouderd, soms is hij gewoon fout, en soms is hij zelfs in strijd met elkaar. Als je de AI vraagt: "Wie is de president van Frankrijk?" en je geeft hem een krant van gisteren die zegt dat er een nieuwe president is, wat doet de AI dan? Luistert hij naar de krant (de context), of blijft hij vasthouden aan wat hij in zijn hoofd heeft?

Dit is waar Isabelle Augenstein, de spreker in dit artikel, over praat. Ze onderzoekt precies hoe deze twee krachten – het geheugen in de hersenen versus de informatie die je net voorleest – met elkaar vechten.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Geheugen is niet altijd te vertrouwen

Stel je voor dat je AI een student is die heeft gestudeerd voor een examen. Hij heeft alle antwoorden in zijn hoofd. Maar wat als hij een fout heeft gemaakt in zijn studiemateriaal? Of wat als hij een antwoord heeft geleerd dat nu alweer verouderd is?

• Het probleem: Als je de AI probeert te corrigeren door hem te laten herschrijven (retrainen), is dat net als de hele school opnieuw te bouwen. Dat kost een fortuin en tijd.
• De oplossing: We proberen de AI te laten kijken naar extra informatie (zoals een zoekmachine) terwijl hij antwoordt. Dit heet RAG (Retrieval-Augmented Generation). Het is alsof je de student een naslagwerk geeft tijdens het examen.

2. De "Luister-Test": Wanneer negeert de AI de naslag?

Hier wordt het interessant. De onderzoekers ontdekten iets verrassends:

• Statische feiten: Als je de AI vertelt: "De hoofdstad van Japan is Stockholm" (wat natuurlijk fout is), en je geeft hem een tekst die zegt "Nee, het is Tokio", dan luistert de AI vaak niet. Hij blijft vasthouden aan zijn eigen, foutieve geheugen. Het is alsof de student zegt: "Ik weet het beter, ik heb het in mijn hoofd!"
• Dynamische feiten: Als je het hebt over iets dat vaak verandert (zoals het weer of een sportuitslag), dan luistert de AI juist wel naar de nieuwe tekst.
• De les: De AI is eigenwijs. Hij negeert nieuwe informatie juist het meest als hij denkt dat hij het al "weet", zelfs als hij het verkeerd weet.

3. De "Herinnerings-Conflicten"

Soms is de verwarring niet alleen tussen de AI en de tekst, maar binnen de AI zelf.
Stel je voor dat de AI tijdens zijn opleiding twee verschillende boeken heeft gelezen. In het ene boek staat: "De aarde is rond." In het andere (een oud sprookjesboek) staat: "De aarde is plat."
Nu heeft de AI beide feiten in zijn geheugen. Als je hem nu vraagt wat de waarheid is, wordt hij onzeker. De onderzoekers noemen dit intra-memory conflict (conflict binnen het geheugen). Ze hebben een manier bedacht om te meten hoe onzeker de AI is door te kijken hoe warrig zijn antwoorden zijn.

4. De "Realiteitscheck" met DRUID

Veel onderzoekers gebruiken kunstmatige data om te testen hoe goed AI werkt. Het is alsof je een piloot test in een virtuele simulator met perfecte weersomstandigheden. Maar in de echte wereld is het weer stormachtig.
De onderzoekers hebben een nieuwe dataset gemaakt genaamd DRUID. Dit is een verzameling van echte feitencontroles uit de echte wereld.

• Wat vonden ze? In de simulator (kunstmatige data) leek het alsof AI heel goed kon omgaan met tegenstrijdige informatie. In de echte wereld (DRUID) bleek dat niet zo te zijn.
• De verrassing: De AI luistert het liefst naar bronnen die duidelijk en assertief klinken. Als een tekst zegt "Dit is 100% waar!", dan gelooft de AI het sneller dan als een tekst zegt "Misschien is het wel waar, maar...". De AI houdt van zelfverzekerdheid, zelfs als die zelfverzekerdheid vals is.

5. Conclusie: De AI klimt een spiraal op

De kernboodschap van dit artikel is dat we nog lang niet begrijpen hoe deze slimme machines precies denken.

• Ze zijn goed in het opzeggen van wat ze hebben geleerd, maar slecht in het redeneren.
• Ze negeert nieuwe informatie als ze denkt dat ze het al weet.
• Ze is gevoelig voor hoe een tekst klinkt (assertief vs. twijfelend).

De spreker sluit af met een mooie quote van Karen Spärck Jones (een legende in de vakgebied):

"Oude ideeën verschijnen in nieuwe vermommingen. Maar de nieuwe kostuums zijn beter gemaakt. Het is niet alsof we in cirkels lopen, maar alsof we een spiraal beklimmen."

Kortom: We leren elke dag iets nieuws over hoe we deze digitale hersenen moeten sturen, maar we moeten oppassen dat we niet denken dat ze slimmer zijn dan ze zijn. Soms moeten we ze gewoon dwingen om naar de krant te kijken in plaats van naar hun eigen geheugen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het keynote-extended abstract van Isabelle Augenstein, geschreven in het Nederlands.

Titel: Het onderlinge spel tussen het gebruik van parametrische en contextuele kennis door LLM's

Auteur: Isabelle Augenstein (Universiteit van Kopenhagen)
Context: Keynote bij ECIR 2025 (Karen Spärck Jones Award Lecture)

---

1. Het Probleem

Grote Taalmodellen (LLM's) bezitten parametrische kennis, opgeslagen in hun gewichten tijdens het trainingsproces. Hoewel deze modellen schaalbaar zijn, brengt dit twee fundamentele uitdagingen met zich mee:

1. Beperkte updatebaarheid: Het corrigeren van fouten of verouderde kennis vereist kostbare hertraining.
2. Kennisconflicten: Bij kennisintensieve taken (zoals feitelijke vraag-antwoordtaken) moeten LLM's vaak externe context integreren (bijv. via Retrieval-Augmented Generation, RAG). Studies tonen echter aan dat LLM's vaak de verstrekte context negeren als deze in strijd is met hun parametrische geheugen.

Er bestaan twee soorten conflicten:

• Intra-memory conflict: Contradicties binnen de parametrische kennis zelf (bijv. door tegenstrijdige data in de trainingsset).
• Context-memory conflict: Wanneer de externe context in tegenspraak is met wat het model "weet" uit zijn training.

Het huidige onderzoeksgap is dat het onderlinge spel tussen deze twee kennisbronnen en het moment waarop context parametrische kennis moet overschrijven, onvoldoende wordt begrepen.

2. Methodologie

De spreker presenteert een reeks onderzoeken die verschillende methoden combineren om deze dynamiek te analyseren:

• Attributie-analyse (Yu et al., 2024):

  • Er wordt een unificerend evaluatiekader ontwikkeld om Instance Attribution (invloedrijke trainingsvoorbeelden) en Neuron Attribution (belangrijke neuronen) te vergelijken.
  • In plaats van het hele model te analyseren, wordt gefocust op de MLP-classificatielagen vanwege de rekenkosten.
  • Er worden "faithfulness tests" uitgevoerd (sufficiency en comprehensiveness) om te zien of het verwijderen van neuronen of het fine-tunen met specifieke voorbeelden de voorspelling beïnvloedt.

• Probing en Conflict-detectie (Marjanovic et al., 2024):

  • Gebruik van het DynamicQA-dataset, dat statische feiten, temporale feiten (veranderen in de tijd) en betwistbare feiten bevat.
  • Meting van semantische entropie om intra-memory conflicten te detecteren (onzekerheid in het parametrische geheugen).
  • Meting van de coherent persuasion score om context-memory conflicten te kwantificeren (hoeveel de output-distributie verschuift bij het toevoegen van tegenstrijdige context).

• Realistische Contextevaluatie (Hagström et al., 2025):

  • Introductie van het DRUID-dataset: een dataset voor claimverificatie met echt wereldse contexten (in tegenstelling tot synthetische data).
  • Definities van nieuwe maten zoals ACU (Actual Context Utilisation) om te meten of en hoe goed een model context daadwerkelijk gebruikt.
  • Vergelijking van synthetische datasets met realistische scenario's om te zien of synthetische data de impact van bepaalde kenmerken (zoals kennisconflicten) overschat.

• Contextmanipulatie (CMT):

  • Onderzoek naar verschillende technieken om context te manipuleren (van prompt engineering tot mechanistische interventies) om te zien hoe LLM's conflicten oplossen.

3. Belangrijkste Resultaten

• Attributie en Model-interne werking:

  • De meeste MLP-neuronen kunnen worden verwijderd zonder significante verandering in voorspellingen, wat suggereert dat kennis mogelijk meer afhankelijk is van attention-weights dan eerder gedacht.
  • Fine-tunen met "invloedrijke" trainingsvoorbeelden (geïdentificeerd via attributie) presteert niet beter dan willekeurige selectie, waarschijnlijk door een gebrek aan diversiteit in die specifieke voorbeelden.
  • Instance en Neuron Attribution leveren vaak verschillende verklaringen op voor dezelfde voorspelling.

• Kennisconflicten en Dynamiek:

  • Paradoxale bevinding: LLM's zijn gemakkelijker te overtuigen door gemanipuleerde context over statische feiten (die nooit veranderen) dan over dynamische feiten (die veranderen). Dynamische feiten worden minder vaak bijgewerkt via context-retrieval.
  • Fact Dynamicity (hoe vaak een feit verandert) is een sterkere negatieve indicator voor model-persuasie dan de populariteit van een feit.
  • Intra-memory conflicten leiden tot onzekerheid en instabiliteit in het model.

• Contextgebruik in RAG (Real-world vs. Synthetisch):

  • Synthetische datasets overschatten het voorkomen van kennisconflicten en "context repulsie" (het negeren van context) in vergelijking met realistische data.
  • In realistische scenario's leiden contexten van fact-check bronnen tot hoger contextgebruik, waarschijnlijk door assertiever taalgebruik.
  • LLM's prioriteren context met hoge query-context gelijkenis, wat in echte RAG-situaties moeilijk te bereiken is.
  • Er is geen enkele kenmerkende indicator die RAG-falen in realistische settings voorspelt; het is een complex samenspel.

• Interactie tussen kennisbronnen:

  • Bij claimverificatie (veel conflicten) kiezen modellen vaak voor contextuele kennis boven parametrische kennis.
  • Bij common-sense vragen (minder conflicten) vertrouwen ze vaker op hun parametrische geheugen.
  • Grotere modellen presteren over het algemeen beter in het gebruik van context, maar kleinere modellen kunnen met de juiste manipulatie-techniek (CMT) beter presteren dan grote modellen.

4. Bijdragen

1. Unificerend Evaluatiekader: Een framework om attributiemethoden (instance vs. neuron) te vergelijken en de betrouwbaarheid ervan te testen.
2. DynamicQA & DRUID Datasets: Nieuwe datasets die de nuance van feitelijke dynamiek en realistische contextgebruik introduceren, weg van puur synthetische data.
3. Nieuwe Metingen: Introductie van de Coherent Persuasion Score en ACU om contextgebruik en kennisconflicten kwantitatief te meten.
4. Empirische Inzichten: Het blootleggen van de tegenintuïtieve bevinding dat statische feiten makkelijker te "herschrijven" zijn via context dan dynamische feiten, en dat synthetische data de complexiteit van real-world RAG vaak verkeerd voorstelt.

5. Significantie en Conclusie

Deze keynote benadrukt dat het begrijpen van hoe LLM's parametrische en contextuele kennis combineren, cruciaal is voor het bouwen van betrouwbare, feitelijke systemen. De resultaten tonen aan dat:

• LLM's vaak beter zijn in het "reciteren" van geleerde patronen dan in redeneren.
• Bestaande methoden voor kennis-editing en RAG vaak tekortschieten omdat ze de complexiteit van interne conflicten en real-world context niet volledig doorgronden.
• Er een sterke behoefte is aan samenwerking tussen Information Retrieval (IR) en Natural Language Processing (NLP) onderzoekers.

De spreker concludeert met een citaat van Karen Spärck Jones: onderzoek is niet zozeer het ronddraaien in cirkels, maar het beklimmen van een spiraal, waarbij oude ideeën in nieuwe, betere vormen terugkeren. Dit onderzoek levert een realiteitscheck op voor RAG-systemen en onderstreept de noodzaak van studies die zijn afgestemd op de realiteit, niet op synthetische idealen.