Technische Samenvatting: Versheid en de Limieten van Heuristische Trenddetectie in Temporele RAG

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen rangschikken bewijsmateriaal doorgaans uitsluitend op basis van semantische gelijkenis binnen een embedding-ruimte, waarbij ze de temporele dynamiek negeren. Deze atemporele aanpak schiet tekort in domeinen waar recentheid, historische geldigheid of de evolutie van onderwerpen cruciaal zijn (bijv. cybersecurity, sportanalyse, nieuws). Zonder een temporeel component lopen RAG-systemen het risico verouderde informatie te presenteren, kritieke updates te missen of onjuiste "as-of"-verklaringen te geven. Hoewel vector-embeddings uitblinken in semantische nabijheid, kunnen ze niet onderscheid maken tussen een nieuwe update en redundante, verouderde informatie.

Methodologie

De auteurs stellen een lichtgewicht, model-agnostische temporele geheugenlaag voor die direct in bestaande RAG-pipelines kan worden geïntegreerd zonder de basismodellen opnieuw te trainen. Het systeem werkt via vier afzonderlijke stadia:

1. Data-normalisatie: Disparate inputstromen (bijv. JSONL-logs, CSV's) worden in kaart gebracht naar een uniform schema dat een UTC-tijdstempel, een compacte tekstuele representatie en optionele domeinsleutels bevat.
2. Embedding: Tekstuele representaties worden gecodeerd in 384-dimensionale vectoren met behulp van een lichtgewicht Sentence-BERT model (all-MiniLM-L6-v2). Vectoren zijn L2-genormaliseerd en opgeslagen als float16.
3. Wekelijkse Onderwerpstracking:
   • Events worden gegroepeerd per ISO-week.
   • Clustering: K-means clustering wordt binnen elke week toegepast om dominante thema's te identificeren. Het aantal clusters ($K$) wordt automatisch bepaald via de elbow-methode.
   • Matching: Clusters uit aangrenzende weken worden gekoppeld via een greedy one-to-one toewijzing op basis van centroid-cosine-gelijkenis.
   • Labeling: Op basis van veranderingen in grootte en centroid-beweging krijgen onderwerpen labels: Emergence (opkomst), Growth (groei), Decay (verval), Drift (drift) of Stable (stabiel).
4. Tijd-bewuste Retrieval:
   • As-of Queries: Het systeem filtert de kennisbank om alleen documenten op te nemen tot een gespecificeerde afkapdatum.
   • Recency Queries: Kandidaten worden opnieuw gerangschikt met behulp van een gefuseerde score die semantische gelijkenis combineert met een temporele decay-prior:
     $$\text{score}(q, d, t) = \alpha \cos(q, d) + (1 - \alpha) \cdot 0.5^{\text{age\_days}(t)/h}$$
     Waarbij $\alpha$ de balans bepaalt tussen semantiek versus recentheid (standaard 0,7) en $h$ de halveringstijd in dagen is (standaard 14). Cruciaal is dat de auteurs opmerken dat voor versheid te werken, de kandidaat-pool breed moet zijn (of de volledige corpus); een smalle top-$K$ cosine-cutoff werpt vaak het nieuwste relevante item weg voordat de recency-prior kan ingrijpen.

Belangrijkste Bijdragen

Het artikel levert twee primaire bijdragen door het probleem van temporele RAG empirisch te ontkoppelen in twee afzonderlijke uitdagingen:

1. Een hanteerbare oplossing voor versheid: De auteurs demonstreren dat een eenvoudige recency prior (halveringstijd-decay) effectief het meest recente relevante bewijs naar boven brengt. Dit wordt bereikt door semantische scores te fuseren met een temporele decay-functie, waardoor nieuwere items de oudere items kunnen overtreffen wanneer dat gepast is.
2. Lokalisatie van de heuristische fout in onderwerpsevolutie: Het artikel onderzoekt de prestaties van eenvoudige heuristische trackers voor onderwerpsevolutie. Het stelt vast dat de slechte prestaties van dergelijke trackers (lage macro-F1) niet worden gedreven door het clusteringalgoritme (bijv. K-means versus HDBSCAN), maar door de labeling-regel. De regel die opeenvolgende weken vergelijkt (per-week-delta) slaagt er niet in om trends over meerdere weken te vangen, terwijl een baseline-relatieve regel de prestaties aanzienlijk verbetert.

Experimentele Resultaten

Het systeem werd geëvalueerd op drie corpora met toenemend realisme:

• Synthetische Log Stream:
  • Versheid: De gefuseerde score behaalde 1.00 Latest@10 (nieuwste relevante item in de top 10), terwijl de cosine-only baseline 0.00 scoorde.
  • Trenddetectie: De baseline labeling-regel behaalde een macro-F1 van 0,08. Het vervangen van de regel door een baseline-relatieve aanpak verhoogde dit naar 0,49, en het gebruik van ground-truth volumes (het verwijderen van clustering-ruis) bereikte 0,96. Het wisselen van K-means voor HDBSCAN had een verwaarloosbare impact (0,10), wat bevestigt dat de regel de bottleneck is.
• CERT Logon Corpus (849k events):
  • Deze dataset diende als een stress-test voor versheid, maar was "degenerat" voor trenddetectie vanwege bijna constante tekstuele representaties.
  • Versheid: Met corpus-getunede parameters ($\alpha=0,3, h=3$) behaalde het systeem 1.00 Latest-Set@10. De standaard synthetische parameters faalden (0,00), wat de parametergevoeligheid benadrukt.
• NVD CVE Beschrijvingen (Diverse echte data):
  • Dit corpus testte het scenario "vers $\neq$ meest relevant". Het nieuwste relevante CVE werd vaak laag gerangschikt door cosine-gelijkenis (bijv. 87e percentiel voor SQL-injectie).
  • Versheid: De gefuseerde score tilde Latest@10 van 0,00 (cosine) en 0,20 (semantisch-dan-nieuwste) naar 0,60 (met getunede $\alpha=0,3$).
  • Relevantie: Top-10 relevantie (nDCG@10) bleef hoog ($\ge 0,90$), hoewel Precision@10 een bescheiden trade-off zag naarmate de recentheid-weging toenam.

Betekenis en Claims

Het artikel claimt een reproduceerbaar, ontkoppeld framework te bieden voor temporele RAG dat een "eerlijke, real-data scope" biedt voor elk onderdeel:

• Versheid is echt maar gedeeltelijk: Een eenvoudige recency prior is effectief voor het naar boven halen van recent bewijs, maar is parametergevoelig en afhankelijk van de corpus-dichtheid. Het is geen "opgelost" probleem; het dichten van de kloof op diverse data vereist learned-to-rank modellen.
• Onderwerpsevolutie is een labelingprobleem: Het falen van eenvoudige heuristische trackers komt primair door de labeling-regel, niet door het clusteringalgoritme. Dit herkadert de onderzoeksrichting naar veranderingsbewuste labeling-regels en dichtheidsgebaseerde clustering (om een vaste $K$ te vermijden) in plaats van simpelweg te zoeken naar krachtigere clusterers.
• Praktische Engineering: De aanpak biedt een pragmatische oplossing voor beoefenaars die hun basismodellen niet opnieuw kunnen trainen. Het neemt een duidelijke positie in binnen het complexiteitsspectrum: een post-processing stap die meer geïntegreerd is dan eenvoudige filtering, maar minder complex is dan volledige pipeline-redesigns (zoals Temporele Knowledge Graphs of gespecialiseerde retrievers).

De auteurs concluderen dat hoewel basisversheid gedeeltelijk kan worden geadresseerd met een lichtgewicht temporele prior, het bereiken van diep temporeel begrip voor AI een significante, openstaande onderzoeksuitdaging blijft.