RAG or Learning? Understanding the Limits of LLM Adaptation under Continuous Knowledge Drift in the Real World

1. Probleemstelling: Continue Kennisdrift

Grote Taalmodellen (LLM's) verwerven hun kennis tijdens het vooraf trainen (pretraining), wat hen koppelt aan een statisch moment in de tijd (de "knowledge cutoff"). In de realiteit evolueert kennis echter continu: functies veranderen, beleidsmaatregelen worden herzien en gebeurtenissen vinden plaats. Dit fenomeen wordt continue kennisdrift genoemd.

De auteurs identificeren twee kritieke problemen bij het aanpassen van LLM's aan deze drift:

1. Verouderde feiten: Modellen geven antwoorden gebaseerd op verouderde informatie.
2. Temporele inconsistentie: Zelfs als een model toegang heeft tot nieuwe feiten, faalt het vaak in het redeneren over de orde en afhankelijkheid van gebeurtenissen in de tijd. Het kan bijvoorbeeld niet correct onderscheid maken tussen wie een CEO was in 2023 versus 2024, wat leidt tot logisch onjuiste conclusies.

Bestaande oplossingen hebben beperkingen:

• Continu finetunen/Kennis-editing: Deze methoden zijn rekenkundig duur, leiden vaak tot catastrophic forgetting (vergeten van oude kennis) en overschrijven vaak eerdere kennis in plaats van deze te behouden in een tijdscontext.
• Traditionele RAG (Retrieval-Augmented Generation): Hoewel RAG externe kennis toevoegt zonder het model te hertrainen, wordt het zelden geëvalueerd in scenario's met chronologische evolutie. Standaard RAG mist vaak het vermogen om complexe, tijdsgebonden relaties tussen meerdere gebeurtenissen te structureren.

2. Methodologie: De Chronos Framework

Om deze uitdagingen aan te pakken, stellen de auteurs Chronos voor, een tijdbewust retrieval-fraamewerk dat geen extra training van het LLM vereist. De kern van de methode is het organiseren van gerecupereerde informatie in een Event Evolution Graph (EEG).

Het proces verloopt in vier stappen:

1. Query-analyse:
   De invoerquery wordt ontbonden in entiteiten en een expliciet tijdsvenster ($t_s, t_e$). De query wordt herschreven naar een tijds-onafhankelijke versie om de zoekopdracht te verfijnen.

2. Tijdbewuste Retrieval (Time-aware Retrieval):
   In plaats van alleen te vertrouwen op semantische gelijkenis, combineert Chronos een semantische score met een temporele relevantiescore.

   • De tijdsafstand tussen een document ($t_i$) en het query-venster wordt berekend.
   • Een exponentiële afnamefunctie straft documenten buiten het venster af.
   • De uiteindelijke score is een gewogen som van semantische relevantie en temporele nabijheid.

3. Constructie van de Event Evolution Graph (EEG):
   De gerecupereerde kennis (in de vorm van quadrupels: onderwerp, relatie, object, tijdstempel) wordt gestructureerd in een grafiek die drie lagen combineert:

   • EEG-I (Initial): Een lineaire tijdlijn van alle gerecupereerde gebeurtenissen.
   • EEG-F (Full): Inclusief gereconstrueerde historische gebeurtenissen (geïnferreerd door het model) om context te bieden voor gebeurtenissen vóór het retrieval-venster.
   • EEG-A (Augmented): De grafiek wordt verrijkt met extra relevante gebeurtenissen en entiteit-gerichte koppelingen. Hierbij worden gebeurtenissen met dezelfde entiteit met elkaar verbonden om hun evolutie in de tijd te tonen (bijv. CEO A -> CEO B -> CEO C).

4. Voorspelling met Multi-Perspectief Views:
   Voordat het antwoord wordt gegenereerd, worden twee soorten subgrafieken gegenereerd en als context aan het LLM gepresenteerd:

   • Temporele view: De globale chronologische volgorde van alle relevante feiten.
   • Entiteit-centric views: Specifieke tijdlijnen per entiteit.
     Dit stelt het model in staat om redeneren over de evolutie van feiten zonder de modelparameters aan te passen.

3. Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formaliseren het probleem van het aanpassen van LLM's aan continue kennisdrift met een focus op het behoud van temporele consistentie.
2. Nieuwe Benchmark: Ze introduceren een dynamische benchmark gebaseerd op real-world gebeurtenissen van 2024 tot 2025 (10 domeinen, zoals bedrijfsleiderschap en sport). Deze benchmark bevat tijdstempel-gedocumenteerde feiten en vijf soorten vragen (historisch, hedendaags, multi-tijdstempel, multi-bron en common-sense) om temporeel redeneren te testen.
3. Chronos Baseline: Een sterk, niet-parametrisch framework dat bewijst dat het structureren van kennis in een EEG superieur is aan standaard RAG en parametrische updates voor temporele consistentie.

4. Resultaten

De experimenten werden uitgevoerd op modellen zoals GPT-4o, Claude en LLaMA-3.1.

• Parametrische methoden (Finetuning/Kennis-editing): Toonden beperkte schaalbaarheid. Methoden zoals LoRA en WISE presteerden slecht op historische vragen (catastrophic forgetting) en faalden vaak bij het onderscheiden van verschillende tijdstippen voor dezelfde entiteit (ze overschreven oude kennis).
• Standaard RAG: Presteerde goed op simpele hedendaagse vragen, maar faalde bij complexe temporele redenering (C2 en C3 vragen) omdat het geen gestructureerde tijdlijn bood.
• Chronos: Bereikte consequent de beste prestaties over alle categorieën.
  • Het behield hoge nauwkeurigheid op historische vragen (door de reconstructie van geschiedenis).
  • Het presteerde uitstekend op complexe hedendaagse vragen door de EEG te gebruiken om feiten in de juiste volgorde te plaatsen.
  • Het degradeerde niet in common-sense redenering.

De ablatiestudies bevestigden dat elke component (tijdbewuste retrieval, geschiedenisreconstructie, verrijking en de multi-perspectief views) essentieel is voor de prestaties.

5. Significantie en Conclusie

Dit werk toont aan dat het simpelweg "bijleren" van een model of het toevoegen van ruwe documenten via RAG onvoldoende is voor real-world kennisdrift. De sleutel tot succes ligt in het expliciet modelleren van de temporele evolutie van kennis.

Door gerecupereerde feiten te structureren in een Event Evolution Graph, kunnen LLM's redeneren over hoe entiteiten veranderen in de tijd zonder hun interne kennis te corrumperen of te vergeten. Dit biedt een fundamentele basis voor toekomstig onderzoek naar robuuste, adaptieve AI-systemen die betrouwbaar kunnen opereren in een dynamische wereld. De auteurs benadrukken dat hun aanpak geen extra training vereist, waardoor het schaalbaar en kosteneffectief is voor industriële toepassingen.