Temporal Leakage in Search-Engine Date-Filtered Web Retrieval: A Retrospective Forecasting Case Study

Probleemstelling

Retrospectieve forecasting (RF) is een methode om voorspellingssystemen te evalueren op vragen waarvan de uitkomst al bekend is. Voor een geldige evaluatie moet de informatie die aan het model wordt aangeboden, strikt vóór de "cutoff-datum" (het moment waarop de vraag werd gesteld) beschikbaar zijn. Als er informatie na deze datum in de zoekresultaten lekt, wordt de nauwkeurigheid kunstmatig opgeblazen, waardoor de evaluatie ongeldig wordt.

De huidige praktijk vertrouwt vaak op datumfilters van zoekmachines (zoals before: in Google of datumbereiken in DuckDuckGo) om deze informatiebarrière te handhaven. Dit paper onderzoekt of deze filters betrouwbaar zijn om post-cutoff-informatie te blokkeren. De auteurs stellen dat deze aanpak onbetrouwbaar is en leidt tot "temporale lekkage" (temporal leakage), waarbij actuele feiten onbedoeld in historische zoekresultaten terechtkomen.

Methodologie

De auteurs hebben een systematische audit uitgevoerd met de volgende stappen:

1. Dataverzameling: Er zijn 393 opgeloste forecastingvragen verzameld van het platform Metaculus (met resolutiedata van 2021 tot 2025).
2. Zoekopdrachten: Voor elke vraag genereerden ze 10-20 zoekopdrachten met behulp van een LLM.
3. Retrieval: Ze voerden zoekopdrachten uit via:
   • Google Search (met de before:-filter).
   • DuckDuckGo (met de datumbereik-filter, startdatum 2000-01-01).
   • De cutoff-datum werd ingesteld op de openingsdatum van de vraag op het forecasting-platform.
   • Totaal werden ongeveer 38.879 URLs van Google en 34.454 van DuckDuckGo opgehaald.
4. Inhoudsanalyse: De inhoud van elke pagina werd opgehaald. Voor lange teksten werd Maximal Marginal Relevance (MMR) gebruikt om de meest relevante passages te selecteren.
5. Leakage-Scoring: Een 0-4 schaal werd ontwikkeld om de ernst van de lekkage te kwantificeren:
   • 0: Geen of irrelevante post-cutoff-info.
   • 1: Topisch maar niet-informatief.
   • 2: Zwak richtinggevend signaal.
   • 3: Sterk signaal dat sterke inferentie mogelijk maakt.
   • 4: Revealert het antwoord direct.
6. Evaluatie: Een "LLM-as-a-Judge" systeem (gebaseerd op gpt-oss-120b) scoorde de documenten. De betrouwbaarheid werd gevalideerd door menselijke annotatoren (Kappa-score van 0,85).
7. Voorspellingsexperiment: Het effect op de voorspellingsnauwkeurigheid werd gemeten door de Brier-score van het model te vergelijken bij gebruik van alleen "lekke" documenten versus "lek-vrije" documenten.

Belangrijkste Bijdragen

1. Uitgebreide Audit: De eerste systematische kwantitatieve studie die aantoont dat datumfilters van grote zoekmachines (Google en DuckDuckGo) structureel falen in het blokkeren van post-cutoff-informatie.
2. Impactmeting: Kwantificering van hoe deze lekkage de prestaties van Large Language Models (LLMs) kunstmatig verbetert, waardoor retrospectieve evaluaties misleidend worden.
3. Mechanismen-analyse: Identificatie en classificatie van vier specifieke mechanismen die leiden tot lekkage, wat eerder alleen kwalitatief was beschreven.

Resultaten

De resultaten tonen aan dat lekkage niet een uitzondering is, maar een veelvoorkomend probleem:

• Prevalentie: Bij 71% van de vragen op Google en 81% op DuckDuckGo bevatte ten min één geretrieveerde pagina belangrijke post-cutoff-informatie (score ≥3).
• Directe Antwoorden: De uitkomst werd direct onthuld (score 4) in 41% van de Google-resultaten en 55% van de DuckDuckGo-resultaten.
• Impact op Voorspelling:
  • Zonder lekkage (alleen score 0 documenten) was de Brier-score 0,24 (vergelijkbaar met een baseline zonder retrieval).
  • Met lekkage (score ≥3) daalde de Brier-score naar 0,10, wat een schijnbaar enorme verbetering suggereert, maar in werkelijkheid het gevolg is van het "kijken naar het antwoord".
• Tijdsvariatie: De lekkage is het hoogst voor oudere cutoffs (2021-2022, >46% van de URLs) en neemt af voor recentere cutoffs, omdat oudere pagina's meer tijd hebben gehad om updates te ondergaan.

Vier Mechanismen van Lekkage:

1. Directe Pagina-updates: Artikelen die oorspronkelijk vóór de cutoff zijn gepubliceerd, maar later zijn bijgewerkt met nieuwe informatie.
2. Gerelateerde Content-modules: Zijbalken of "gerelateerde artikelen" op historische pagina's die actuele nieuwsfragmenten tonen.
3. Afwezigheidssignalen (Absence-based signals): Het ontbreken van verwachte informatie in een uitgebreid overzicht (bijv. een tijdlijn zonder vermelding van een oorlog) kan het model laten concluderen dat het gebeurtenis niet heeft plaatsgevonden.
4. Onbetrouwbare Metadata: Pagina's die een verouderde of onjuiste "laatst bijgewerkt"-datum in hun metadata hebben, waardoor ze door de filter worden toegelaten, maar inhoudelijk actuele feiten bevatten.

Betekenis en Conclusie

Het paper concludeert dat datumbeperkte zoekopdrachten ontoereikend zijn voor geloofwaardige retrospectieve evaluaties van forecasting-systemen. Het vertrouwen op deze filters leidt tot een fundamenteel defect in de evaluatiemethodologie, waarbij systemen worden beloond voor het vinden van informatie die na het moment van voorspelling beschikbaar kwam.

Aanbevelingen:

• Stop met het gebruik van live zoekmachines met datumfilters voor retrospectieve benchmarks.
• Schakel over op bevroren, tijdstempelde web-snapshots (zoals de Wayback Machine of specifieke databases zoals FutureSearch) om te garanderen dat alleen informatie beschikbaar is die daadwerkelijk op het moment van de voorspelling bestond.
• Implementeer strengere beveiligingsmaatregelen in retrieval-pipelines voor tijdgevoelige taken.

De bevindingen hebben brede implicaties voor elk systeem dat tijdgevoelige informatie moet verwerken, waaronder claim-verificatie, dynamische fact-checking en tijdlijn-samenvattingen.