Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks

Die Studie untersucht den Einfluss zeitlicher Korpusveränderungen auf das Retrieval-Benchmark FreshStack und zeigt, dass trotz Dokumentenmigrationen die Evaluierungsergebnisse über verschiedene Zeitpunkte hinweg stabil und zuverlässig bleiben.

Das Wesentliche

Titel: Ist das noch frisch? – Wie sich Suchmaschinen-Tests im Laufe der Zeit verändern

Stellen Sie sich vor, Sie haben einen Kochbuch-Wettbewerb. Die Jury bewertet die Köche anhand eines feststehenden Kochbuchs von 2024. Alles läuft gut, bis das Jahr 2025 kommt. In der Zwischenzeit hat sich die Welt verändert: Manche Zutaten wurden verboten, andere Rezepte wurden komplett umgeschrieben, und einige Kochbücher wurden in neue Bibliotheken verschoben.

Die Frage ist: Ist das alte Kochbuch noch nützlich, um zu testen, ob ein Koch heute noch gut kochen kann? Oder ist es so veraltet, dass die Ergebnisse nichts mehr aussagen?

Genau darum geht es in diesem wissenschaftlichen Papier. Die Forscher haben untersucht, wie sich technische Dokumentationen (wie Anleitungen für Programmier-Tools) im Laufe der Zeit verändern und ob die Tests, mit denen wir Suchmaschinen bewerten, dadurch "schal" werden.

Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Die "lebendige" Bibliothek

Normalerweise testen Suchmaschinen mit einem statischen Test-Set. Das ist wie eine festgeklebte Bibliothek: Die Bücher sind da, die Fragen sind festgelegt, und die Antworten sind bekannt. Das funktioniert super, solange sich nichts ändert.

Aber im Bereich der Technik (wie bei Programmier-Bibliotheken) ändert sich alles ständig.

• Beispiel: Ein Programmier-Befehl, der 2024 noch in einem Hauptbuch (LangChain) stand, wurde 2025 vielleicht gelöscht, weil er veraltet war. Aber! Die Information ist nicht weg. Sie wurde einfach in ein anderes Buch (z. B. LlamaIndex) verschoben oder neu geschrieben.

Wenn man einen Suchtest macht, der nur das alte Buch kennt, findet die Suchmaschine die Antwort nicht mehr. Das nennt man "Temporale Drift" (zeitliche Abdrift).

2. Der Experiment: Ein Zeitreise-Test

Die Forscher haben sich zwei Zeitpunkte angesehen: Oktober 2024 und Oktober 2025.
Sie haben sich eine riesige Sammlung von Dokumenten (den "Corpus") aus GitHub-Repositorien (wo Programmierer ihren Code speichern) geschnappt.

• 2024: Die Dokumente waren so, wie sie damals waren.
• 2025: Sie haben die gleichen Dokumente erneut gesammelt, aber in der aktuellen Version.

Dann haben sie 203 Fragen gestellt, die Programmierer 2024 gestellt hatten (z. B. "Wie importiere ich dieses Tool?").

3. Die überraschende Entdeckung: "Fast alles ist noch da!"

Das Ergebnis war verblüffend:
Von allen 203 Fragen konnten 202 auch im Jahr 2025 beantwortet werden! Nur eine einzige Frage war komplett verloren.

Warum?
Stellen Sie sich vor, Sie suchen nach einem bestimmten Werkzeug in einer Werkstatt.

• 2024: Das Werkzeug lag auf dem Tisch "LangChain".
• 2025: Das Werkzeug wurde vom Tisch "LangChain" genommen und auf den Tisch "LlamaIndex" gelegt, weil die Werkstatt umorganisiert wurde.

Die Suchmaschine muss also nicht mehr nur im alten Buch suchen, sondern muss erkennen, dass die Information migriert ist. Die Informationen sind nicht verschwunden, sie haben nur den Ort gewechselt.

4. Die Bewertung: Funktionieren die Suchmaschinen immer noch?

Die Forscher haben verschiedene Such-Algorithmen (die "Suchmaschinen") getestet, um zu sehen, ob sie die Informationen in beiden Jahren finden konnten.

• Das Ergebnis: Die Rangliste der besten Suchmaschinen hat sich kaum verändert. Wenn Maschine A 2024 die Beste war, war sie es auch 2025.
• Die Metapher: Es ist, als würden Sie zwei verschiedene Fahrer testen, die durch eine Stadt fahren, in der einige Straßen umgeleitet wurden. Wenn beide Fahrer die Umleitungen kennen und trotzdem zum Ziel kommen, sind sie beide gute Fahrer. Die Tatsache, dass sich die Straßen geändert haben, hat nicht verhindert, dass man sie vergleichen kann.

Die Übereinstimmung zwischen den Ergebnissen von 2024 und 2025 war extrem hoch (fast 98 %). Das bedeutet: Unsere Tests sind robust. Selbst wenn sich die Welt der Technik ändert, können wir immer noch zuverlässig testen, welche Suchmaschine die beste ist.

5. Was lernen wir daraus?

Dieses Papier ist wichtig, weil es uns beruhigt. Viele Leute dachten vielleicht: "Oh, technische Dokumentationen ändern sich so schnell, dass unsere Testergebnisse morgen wertlos sind."

Die Forscher sagen: Nein, nicht unbedingt.
Solange die Informationen irgendwo in der Welt existieren (auch wenn sie umgezogen sind), können gute Suchmaschinen sie finden. Unsere Testmethoden sind "frisch" genug, um mit der Zeit Schritt zu halten.

Zusammenfassung in einem Satz:
Selbst wenn sich die technische Welt wie ein umgebauter Baukasten ständig verändert, bleiben unsere Methoden, um zu testen, wie gut Suchmaschinen darin sind, die richtigen Teile zu finden, erstaunlich stabil und zuverlässig.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks" auf Deutsch:

1. Problemstellung

Information-Retrieval-(IR)-Benchmarks folgen traditionell dem Cranfield-Paradigma, das auf statischen, vordefinierten Korpora und Relevanzurteilen basiert. In dynamischen Domänen wie der technischen Dokumentation (z. B. GitHub-Repositories für Frameworks wie LangChain) führt dies jedoch zu einem Problem des temporalen Drifts.

• Dynamik: Code wird häufig erstellt, gelöscht, umorganisiert oder veraltet (Deprecation).
• Folge: Ein Benchmark, der zu einem bestimmten Zeitpunkt erstellt wurde, kann veralten, da sich die zugrunde liegenden Dokumente ändern. Dokumentationen wandern oft zwischen Repositories (z. B. von einem Framework zu einem Konkurrenten).
• Forschungsfrage: Bleiben bestehende Benchmarks und die Rangfolge von Retrieval-Modellen gültig, wenn sich das Korpus über die Zeit drastisch verändert?

2. Methodik

Die Autoren untersuchen den temporalen Drift am Beispiel von FreshStack, einem Benchmark für technische Domänen, mit einem Fokus auf LangChain.

• Datengrundlage: Es wurden zwei unabhängige Korpus-Snapshots von zehn relevanten GitHub-Repositories (einschließlich LangChain, LlamaIndex, Chroma, Transformers etc.) erstellt:
  • Snapshot 1: Oktober 2024
  • Snapshot 2: Oktober 2025
• Korpus-Veränderung: Im Zeitraum von einem Jahr reduzierte sich die Dokumentation von LangChain um 67 % durch Umstrukturierung und Deprecation, während andere Repositories (z. B. Chroma) um das 2,6-fache wuchsen, da Inhalte migrierten.
• Aufbau des Experiments:
  1. Nugget-Generierung: Aus 203 Stack-Overflow-Abfragen wurden „Nuggets" (atomare Schlüsselfakten) extrahiert, die für die Beantwortung der Fragen notwendig sind.
  2. Oracle-Retrieval: Um die Testkollektionen zu erstellen, wurden potenziell relevante Dokumente mittels eines Hybrid-Fusion-Ansatzes gesucht. Dieser kombinierte:
     • BM25 (lexikalisch)
     • Dichte Embedding-Modelle: BGE (Gemma-2), E5 Mistral (7B), Qwen3 (4B).
  3. Automatisierte Relevanzbewertung: Anstelle manueller Bewertung wurde Cohere's Command A (ein 111B-Parameter-Modell) als „Judge" eingesetzt, um auf Nugget-Ebene zu bewerten, ob ein Dokument die benötigten Fakten unterstützt.
• Forschungsfragen (RQ):
  • RQ1: Können bestehende Abfragen in einem sich dynamisch verändernden Korpus noch fundiert werden?
  • RQ2: Wie verändert sich die Verteilung relevanter Dokumente über Repositories hinweg?
  • RQ3: Bleiben die Rangfolgen von Retrieval-Modellen unter temporalen Drifts konsistent?

3. Wichtige Ergebnisse

A. Temporaler Support von Abfragen (RQ1)

• Ergebnis: Überraschenderweise blieben alle bis auf eine der 203 Abfragen (bzw. deren 640 Nuggets) im 2025er-Snapshot vollständig beantwortbar.
• Bedeutung: Obwohl die ursprünglichen Dokumente in LangChain oft gelöscht oder umstrukturiert wurden, existierten die relevanten Informationen weiterhin im Korpus, da sie in andere Repositories (z. B. LlamaIndex) migriert waren. Das Korpus bleibt also „frisch" genug für die Beantwortung der Fragen.

B. Verschiebung der Dokumentenverteilung (RQ2)

• Migration: Es gab eine signifikante Verschiebung der Quellen relevanter Dokumente.
  • Im Jahr 2024 stammten 50,9 % der relevanten Dokumente aus dem langchain-Repository.
  • Im Jahr 2025 sank dieser Anteil auf 24,8 %.
  • Gleichzeitig stieg der Anteil relevanter Dokumente aus konkurrierenden Frameworks wie llama_index (von 16,1 % auf 22,6 %) und langchainjs (von 18,6 % auf 25,5 %).
• Fallstudie: Eine spezifische Abfrage zur UnstructuredURLLoader-Klasse zeigte, dass die relevante Dokumentation von LangChain (2024) vollständig zu LlamaIndex (2025) migriert war. Dies unterstreicht die Modularität des Ökosystems.

C. Konsistenz der Modell-Rankings (RQ3)

• Korrelation: Die Leistungsrangfolgen der verschiedenen Retrieval-Modelle blieben über die beiden Zeitpunkte hinweg extrem stark korreliert.
  • Kendall-τ-Korrelation:
    • Recall@50: 0,978 (sehr stark)
    • α-nDCG@10: 0,846
    • Coverage@20: 0,692 (etwas schwächer, da die Vielfalt der relevanten Passagen schwieriger zu finden ist).
• Interpretation: Obwohl sich das Korpus inhaltlich und strukturell stark verändert hat, behalten die Modelle ihre relative Leistungsfähigkeit bei. Ein Modell, das 2024 gut war, war auch 2025 gut.

4. Hauptbeiträge

1. Erste Evaluation temporaler Drifts in Nischen-Domänen: Im Gegensatz zu früheren Arbeiten, die sich auf Nachrichten oder allgemeine Webdaten konzentrierten, untersucht diese Arbeit hochdynamische technische Dokumentation.
2. Robustheit von Benchmarks: Die Studie zeigt, dass Retrieval-Benchmarks, die mit sich entwickelnden Korpora neu bewertet werden, zuverlässig bleiben, solange die Informationen im Ökosystem erhalten bleiben (auch wenn sie migrieren).
3. Öffentliche Freigabe: Alle Artefakte (Korpora, Code, Ergebnisse) wurden unter https://github.com/fresh-stack/driftbench veröffentlicht.
4. Automatisierte Bewertung: Demonstration der Machbarkeit, komplexe Relevanzurteile in technischen Domänen durch LLMs (Command A) auf Nugget-Ebene durchzuführen.

5. Signifikanz und Fazit

Die Arbeit widerlegt die Annahme, dass Benchmarks in technischen Domänen durch schnelle Änderungen obsolet werden müssen.

• Schlüsselerkenntnis: Die Relevanz von Informationen ist oft repository-unabhängig. Selbst wenn ein Framework (LangChain) Inhalte entfernt, finden sich diese oft in verwandten oder konkurrierenden Projekten wieder.
• Implikation für die IR-Forschung: Retrieval-Systeme müssen nicht nur nach exakten Dateipfaden suchen, sondern semantische Zusammenhänge über Repository-Grenzen hinweg verstehen. Benchmarks wie FreshStack bleiben auch bei temporalen Drifts valide, um die Leistung von Retrieval-Modellen zu bewerten.
• Zukunft: Die Autoren schlagen vor, dass für Domänen, in denen sich Fakten selbst ändern (z. B. Wikipedia), Nuggets bei jedem Snapshot neu generiert werden müssen, während dies für technische Dokumentation (wo Fakten oft nur wandern) weniger kritisch ist.