Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN

Probleemstelling

Grote Taalmodellen (LLMs) slaan feitelijke kennis op in hun parameters, maar door verouderende of evoluerende informatie in de trainingsdata ontstaan er vaak kennisconflicten, vooral bij temporele feiten (feiten die veranderen in de tijd, zoals "Wie is de huidige president van de VS?").

Er bestaat momenteel geen consensus over hoe goed LLMs deze conflicten kunnen oplossen met externe context (bijv. via Retrieval-Augmented Generation of in-context learning). Twee recente studies komen tot tegenstrijdige conclusies:

1. DYNAMICQA stelt dat temporele feiten moeilijker te updaten zijn dan statische feiten; modellen zijn minder overtuigbaar door externe context.
2. MULAN concludeert het tegenovergestelde: temporele feiten zijn makkelijker te updaten dan statische feiten.

De auteurs van dit paper vermoeden dat deze discrepantie voortkomt uit verschillen in datasetontwerp, evaluatiemethodologie en modelgrootte, en niet noodzakelijk uit fundamenteel verschillend gedrag van de modellen zelf.

Methodologie

Het paper is een reproduceerbaarheidsstudie die de experimenten van beide oorspronkelijke studies nabootst en kruisbestuift. De aanpak bestaat uit drie fasen:

1. Reproductie onder originele condities:

   • De auteurs reproduceren de resultaten van DYNAMICQA en MULAN met de oorspronkelijke modellen (voornamelijk 7B-modellen zoals Llama-2, Mistral, Qwen2).
   • Ze corrigeren een fout in de openbare code van DYNAMICQA waar de evaluatie in de "zonder context"-conditie onterecht vergeleek met een substitueerantwoord in plaats van het originele antwoord.

2. Cross-evaluatie (Unificatie):

   • Om de bron van de tegenstrijdige conclusies te vinden, passen ze de evaluatiemethodologie van de ene studie toe op het dataset van de andere.
   • DYNAMICQA-methode op MULAN-data: Ze vervangen de programmatisch gegenereerde zinnen van MULAN door realistische, natuurlijke taalcontexten (gegenereerd door een LLM, geïnspireerd op CONFLICTBANK) om de Coherent Persuasion Score te berekenen.
   • MULAN-methode op DYNAMICQA-data: Ze converteren de vraag-antwoordformaten van DYNAMICQA naar fact-completion zinnen en meten de Update Success Rate.

3. Schalingsanalyse (Modelgrootte):

   • De oorspronkelijke studies beperkten zich tot 7B-modellen. Deze studie breidt het onderzoek uit naar de Gemma 3-familie (1B, 4B en 12B parameters) om te onderzoeken hoe modelgrootte invloed heeft op het vasthouden en updaten van temporele feiten.

Gebruikte Metrieken:

• Coherent Persuasion Score: Meet de semantische verschuiving in de outputverdeling bij toevoeging van context.
• Update Success Rate: Het percentage gevallen waarin de context het memoriseerde antwoord succesvol verandert.
• Semantic Entropy: Meet de onzekerheid in de output.
• Accuracy & F1-score: Standaard prestatie-indicatoren.

Kernbijdragen

1. Systematische reproduceerbaarheid: Het paper bevestigt de oorspronkelijke bevindingen van beide studies onder hun eigen experimentele condities, maar corrigeert tegelijkertijd implementatiefouten in DYNAMICQA.
2. Identificatie van oorzaken van divergentie: Het onderzoek toont aan dat de tegenstrijdige conclusies voornamelijk worden veroorzaakt door datasetontwerp (bijv. hoe "temporeel" wordt gedefinieerd en de kwaliteit van de context) en evaluatiemethodologie (hoe succes wordt gemeten), in plaats van een universeel verschil in modelgedrag.
3. Invloed van modelgrootte: Het introduceert een analyse van modelgrootte (1B tot 12B), wat laat zien dat bevindingen over updatebaarheid niet lineair of consistent zijn over verschillende schalen binnen dezelfde modelfamilie.

Resultaten

• Reproduceerbaarheid: De oorspronkelijke conclusies bleven overeind: DYNAMICQA toont aan dat temporele feiten weerstand bieden tegen updates, terwijl MULAN aantoont dat ze makkelijker te updaten zijn.
• Cross-evaluatie (De "Waarheid"):
  • Wanneer de MULAN-methode (Update Success) wordt toegepast op DYNAMICQA-data, zijn de resultaten gemengd. Sommige modellen updaten temporele feiten makkelijker, andere niet. Dit suggereert dat DYNAMICQA's conclusie niet universeel geldt.
  • Wanneer de DYNAMICQA-methode (Coherent Persuasion) wordt toegepast op MULAN-data, generaliseren de bevindingen van MULAN wel: mutable (temporele) feiten tonen een hogere overtuigingskracht en minder "hardnekkige" (stubborn) instances.
  • Conclusie: De dataset van MULAN lijkt robuuster voor de conclusie dat temporele feiten makkelijker te updaten zijn, terwijl DYNAMICQA's dataset (gebaseerd op Wikipedia-edit counts) mogelijk veel statische feiten onterecht als "temporeel" classificeert, wat de resultaten vertekent.
• Invloed van Modelgrootte:
  • De bevindingen zijn niet monotoon over modelgroottes. Bijvoorbeeld, in de MULAN-evaluatie toont het 4B-model aan dat temporele feiten makkelijker te updaten zijn, maar bij zowel het 1B- als het 12B-model zijn ze juist moeilijker te updaten dan statische feiten.
  • Dit impliceert dat conclusies over de updatebaarheid van temporele feiten sterk afhankelijk zijn van de specifieke modelgrootte en niet gegeneraliseerd kunnen worden binnen een modelfamilie.

Betekenis en Conclusie

De studie concludeert dat er geen eenduidig antwoord is op de vraag of externe context temporele kennisconflicten in LLMs betrouwbaar oplost. De conclusies zijn hoogst contingent op:

1. Datasetconstructie: Hoe temporele feiten worden gedefinieerd en gegenereerd (bijv. edit-counts vs. relationele structuur).
2. Evaluatiemethodologie: Of men kijkt naar verdelingverschuiving of naar exacte antwoordwijziging.
3. Modelgrootte: Gedrag varieert significant tussen kleine, middelgrote en grote modellen.

De auteurs waarschuwen dat noch DYNAMICQA noch MULAN op zichzelf een volledig beeld geeft. Voor toekomstig onderzoek is het cruciaal om zowel datasetkwaliteit als evaluatiemethodologie zorgvuldig te aligneren en rekening te houden met modelgrootte-effecten, aangezien de "waarheid" over temporele conflicten in LLMs nog een open vraag blijft.