Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks

Deze studie toont aan dat tijdsgerelateerde wijzigingen in technische corpora, zoals de migratie van documentatie naar concurrerende repositories, slechts een beperkte impact hebben op de betrouwbaarheid en rangschikking van informatiezoek-benchmarks, wat suggereert dat dergelijke evaluaties ook met evoluerende corpora stabiel blijven.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van creatieve vergelijkingen om het begrijpelijk te maken.

🕰️ De "Verouderde Kaart" Test

Stel je voor dat je een fysieke landkaart hebt van een stad die je in 2024 hebt gekocht. Op die kaart staan alle straten, winkels en parken perfect getekend. Je gebruikt deze kaart om te oefenen voor een navigatiewedstrijd.

Maar nu is het 2025. In die stad zijn enorme veranderingen gebeurd:

• Een groot winkelcentrum is gesloopt en verplaatst naar een andere wijk.
• Een nieuwe snelweg is aangelegd.
• Sommige straten zijn hernoemd.

Als je nu nog steeds met je oude kaart (2024) probeert te navigeren, loop je vast. Maar wat als je de navigatiewedstrijd wilt blijven gebruiken om te testen of nieuwe GPS-systemen goed werken? Moet je dan een hele nieuwe wedstrijd bedenken, of werkt de oude wedstrijd nog steeds?

Dit is precies wat de onderzoekers van de Universiteit van Waterloo hebben onderzocht. Ze kijken naar informatieopslag (zoals zoekmachines) in de wereld van softwareontwikkeling.

🧪 Het Experiment: De "Tijdsreizen"

De onderzoekers hebben een speciale testomgeving gebouwd genaamd FreshStack. Dit is als een enorme bibliotheek met handleidingen voor programmeurs (specifiek voor een tool genaamd LangChain).

Ze hebben twee momentopnames genomen:

1. Oktober 2024: De bibliotheek zoals die toen was.
2. Oktober 2025: Dezelfde bibliotheek, maar dan een jaar later, na alle veranderingen.

Tussen die twee data hebben er enorme veranderingen plaatsgevonden. In de programmeerwereld worden tools vaak opgeborgen, hernoemd of verplaatst naar andere projecten. Het is alsof de bibliotheek tussen 2024 en 2025 volledig is herschikt: boeken zijn verplaatst naar andere kasten, sommige zijn vernietigd en nieuwe boeken zijn toegevoegd.

🧐 De Drie Vragen

De onderzoekers wilden drie simpele dingen weten:

1. Zijn de oude vragen nog steeds te beantwoorden?

   • Vergelijking: Als je in 2024 vroeg: "Waar vind ik de handleiding voor het maken van een taart?", kun je dat antwoord in 2025 nog steeds vinden, of is de bakkerij gesloten?
   • Resultaat: Ja! Verrassend genoeg konden ze bijna alle vragen (202 van de 203) in 2025 nog steeds beantwoorden. De informatie was niet verdwenen; hij was alleen verhuisd. De "bakkerij" (de code) was verplaatst van de ene wijk (LangChain) naar een andere wijk (bijvoorbeeld LlamaIndex).

2. Waar zit de informatie nu?

   • Vergelijking: In 2024 stond 50% van de relevante boeken in de "LangChain-kast". In 2025 was dat gedaald naar 25%. De boeken waren verspreid over de hele bibliotheek.
   • Resultaat: De informatie is gedecentraliseerd. Als je zoekt naar iets, moet je niet alleen in de oude kast kijken, maar ook in de kasten van concurrenten. De zoekmachine moet dus slimmer zijn en verder kijken dan alleen de oorspronkelijke bron.

3. Werken de zoekmachines nog steeds even goed?

   • Vergelijking: Stel je hebt twee GPS-systemen (Model A en Model B). Je test ze in 2024 en in 2025. Blijft Model A altijd beter dan Model B, of wisselen ze van positie door de nieuwe wegen?
   • Resultaat: Ja, de ranglijst blijft bijna hetzelfde. Als een zoekmachine in 2024 goed was, was hij in 2025 ook nog goed. De correlatie was extreem hoog (97,8%). Dit betekent dat de benchmarks (de tests) betrouwbaar blijven, zelfs als de onderliggende wereld verandert.

💡 De Grote Leerervaring

De belangrijkste conclusie van dit papier is als volgt:

Een goede zoekmachine is niet afhankelijk van een statische kaart, maar van het begrijpen van de inhoud.

Omdat de programmeerwereld zo dynamisch is (boeken verhuizen, straten hernoemen), denken veel mensen dat oude tests snel verouderd zijn. Maar dit onderzoek toont aan dat als je een zoekmachine goed hebt getraind, hij de essentie van de informatie blijft vinden, zelfs als die informatie naar een andere plek is verhuisd.

Het is alsof je een slimme hond hebt die een bal zoekt. Als je de bal van de achtertuin naar de voortuin verplaatst, zoekt de hond niet naar de plek waar de bal altijd lag, maar naar de geur van de bal. Die geur (de inhoud van de code) blijft hetzelfde, zelfs als de locatie verandert.

🚀 Wat betekent dit voor de toekomst?

Dit onderzoek geeft ons vertrouwen. Het betekent dat we niet hoeven te stoppen met het testen van nieuwe zoeksystemen elke keer als de software wereld verandert. We kunnen dezelfde "vragenlijst" blijven gebruiken, omdat de systemen die goed presteren, leren om te navigeren door de chaos van veranderingen.

Kortom: De wereld verandert, maar de slimme zoekmachines blijven hun weg vinden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks" in het Nederlands.

Probleemstelling

Informatieretrieval (IR) benchmarks volgen doorgaans het Cranfield-paradigma, waarbij ze vertrouwen op statische, vooraf gedefinieerde corpussets en relevantie-oordelen. Hoewel dit herbruikbare baselines biedt, zijn technische documenten (zoals code en API-documentatie) uiterst dynamisch. Ze ondergaan frequente wijzigingen, zoals het verwijderen van functies (deprecations), herschikking van codebases en migratie van functionaliteit naar concurrerende frameworks.

Dit creëert een temporele corpus-drift: de documenten in een benchmark verouderen en vertegenwoordigen niet meer de huidige staat van het domein. De kernvraag is of bestaande benchmarks nog geldig zijn wanneer de onderliggende corpusset drastisch verandert, en of de prestaties van retrieval-modellen stabiel blijven onder deze omstandigheden.

Methodologie

De auteurs evalueren deze drift binnen FreshStack, een benchmark gericht op technische domeinen, specifiek gericht op LangChain. Ze hebben een experiment opgezet met twee onafhankelijke corpus-snapshots:

1. Oktober 2024
2. Oktober 2025

Data Collectie en Corpus:

• Het corpus bestaat uit de documentatie van 10 GitHub-repositories (waaronder LangChain, LlamaIndex, Chroma, Transformers, enz.).
• Tussen 2024 en 2025 onderging LangChain een drastische reorganisatie: de documentatie nam met 67% af door verwijdering en herschikking, terwijl documentatie in concurrerende repositories (zoals LlamaIndex en Chroma) groeide (bijv. Chroma groeide met 2,6x).

Benchmarks en Evaluatie:

• Queries: 203 queries afkomstig van Stack Overflow (oorspronkelijk verzameld in 2024) werden gebruikt.
• Nugget-gebaseerde evaluatie: In plaats van volledige antwoorden te beoordelen, worden "nuggets" (atomaire feitelijke kernpunten) gegenereerd uit de Stack Overflow-antwoorden. Een document wordt als relevant beschouwd als het ten minste één nugget ondersteunt.
• Oracle Retrieval: Om een oordeelspool (judgment pool) te creëren, werd een hybride fusie gebruikt van meerdere retrieval-modellen: BM25, BGE (Gemma-2), E5 Mistral (7B) en Qwen3 (4B).
• Automatische Beoordeling: Cohere's Command A (een groot taalmodel) fungeerde als "judge" om te bepalen of de geretrieveerde documenten de gegenereerde nuggets ondersteunden.
• Retrieval Modellen: Er werden diverse embedding-modellen getest (o.a. Qwen3, Stella, Granite, GTE, Jina, Voyage) om hun prestaties op beide snapshots te vergelijken.

Onderzoeksvragen (RQ's):

1. Kunnen bestaande queries nog worden onderbouwd in een dynamisch veranderend corpus?
2. Hoe verandert de verdeling van relevante documenten over repositories in de tijd?
3. Blijven de rangschikkingen van modellen consistent ondanks temporele drift?

Belangrijkste Resultaten

1. Temporele Ondersteuning van Queries (RQ1)

• Verrassend resultaat: Van de 203 queries uit 2024 was alleen één query niet langer volledig ondersteund door het corpus van 2025.
• Hoewel de documentatie van LangChain zelf sterk was afgenomen, waren de benodigde informatiepunten (nuggets) verhuisd naar andere repositories binnen het ecosysteem. De queries bleven dus "grounded" (onderbouwd) in het nieuwe corpus.

2. Verschuiving in Documentbronnen (RQ2)

• Er was een significante migratie van relevante documenten.
  • In 2024 leverde de langchain-repository 50,9% van alle relevante documenten.
  • In 2025 daalde dit naar 24,8%.
  • Tegelijkertijd nam het aandeel van concurrenten zoals llama_index en chroma toe.
• Case Study: Voor query 75864073 (over UnstructuredURLLoader) migreerde de relevante code van LangChain naar LlamaIndex. In 2024 kwam 91,7% van de relevante documenten uit LangChain; in 2025 was dit verspreid over zes repositories, met LlamaIndex als grootste bron (34,6%).
• Dit toont aan dat retrieval-systemen niet langer op exacte bestandsnamen of repository-structuur kunnen vertrouwen, maar op de onderliggende inhoud en semantiek.

3. Consistentie van Modelrangschikkingen (RQ3)

• Ondanks de grote veranderingen in het corpus, bleven de prestaties van de retrieval-modellen sterk gecorreleerd tussen de twee snapshots.
• De Kendall $\tau$-correlatie voor de rangschikking van modellen was zeer hoog:
  • Recall@50: 0.978 (bijna perfect).
  • $\alpha$-nDCG@10: 0.846.
  • Coverage@20: 0.692 (iets lager, wat suggereert dat het vinden van diverse relevante passages moeilijker is bij drift).
• Modellen zoals Qwen3 (4B & 8B) behaalden consistent de hoogste scores in beide jaren.

Bijdragen en Significance

Technische Bijdragen:

• Dit is, voor zover bekend, het eerste werk dat temporele drift specifiek evalueert in een hoog-dynamisch, niche-domein (technische documentatie voor AI-frameworks), in tegenstelling tot eerdere studies die zich richtten op nieuws of algemene webdata.
• Het introduceert een reproduceerbare pipeline voor het automatisch bouwen van benchmarks op verschillende tijdstippen, inclusief het gebruik van LLM's voor relevante oordelen op "nugget"-niveau.
• Het publiceert alle artifacts (data en code) via driftbench op GitHub.

Significantie voor het Veld:

• Robuustheid van Benchmarks: De studie toont aan dat retrieval-benchmarks robuust kunnen zijn tegen temporele drift, zolang het corpus breed genoeg is opgezet (meerdere repositories) om informatie-migratie op te vangen.
• Ecosysteem-dynamiek: Het benadrukt dat in het moderne software-ecosysteem functionaliteit vaak wordt gedistribueerd over meerdere repositories. Een retrieval-systeem moet daarom in staat zijn om context te vinden die niet meer in de oorspronkelijke bron (bijv. de hoofd-repository) staat, maar in gerelateerde of concurrerende projecten.
• Toekomstgericht: Het suggereert dat evaluaties van RAG-systemen (Retrieval-Augmented Generation) rekening moeten houden met de dynamiek van de kennisbronnen, en dat benchmarks die dit meenemen, betrouwbaarder zijn voor het evalueren van systemen in de echte wereld.

Kortom, de paper concludeert dat hoewel de locatie van informatie in technische documentatie sterk kan verschuiven, de inhoud vaak behouden blijft in het bredere ecosysteem, waardoor goed ontworpen benchmarks hun validiteit behouden en retrieval-systemen consistent presteren.