Résumé technique : Fraîcheur et limites de la détection heuristique de tendances dans le RAG temporel

Énoncé du problème

Les systèmes de génération augmentée par récupération (RAG) classent généralement les preuves uniquement sur la base de la similitude sémantique au sein d'un espace de plongement (embedding), ignorant ainsi la dynamique temporelle. Cette approche atemporelle échoue dans les domaines où la récence, la validité historique ou l'évolution des sujets sont critiques (ex. : cybersécurité, analyse sportive, actualités). Sans composante temporelle, les systèmes RAG risquent de faire remonter des informations obsolètes, de manquer des mises à jour critiques ou de fournir des déclarations erronées concernant un état « à un instant T ». Bien que les plongements vectoriels excellent dans la proximité sémantique, ils ne peuvent pas distinguer une mise à jour inédite d'une information redondante et périmée.

Méthodologie

Les auteurs proposent une couche de mémoire temporelle légère et agnostique au modèle qui s'intègre directement dans les pipelines RAG existants sans nécessiter le réentraînement des modèles de base. Le système opère à travers quatre étapes distinctes :

1. Normalisation des données : Des flux d'entrée disparates (ex. : journaux JSONL, fichiers CSV) sont mappés vers un schéma unifié contenant un horodatage UTC, une représentation textuelle compacte et des clés de domaine optionnelles.
2. Plongement (Embedding) : Les représentations textuelles sont encodées en vecteurs de 384 dimensions à l'aide d'un modèle Sentence-BERT léger (all-MiniLM-L6-v2). Les vecteurs sont normalisés en L2 et stockés en float16.
3. Suivi hebdomadaire des sujets :
   • Les événements sont regroupés par semaine ISO.
   • Clustering : Le partitionnement en K-moyennes (K-means) est appliqué au sein de chaque semaine pour identifier les thèmes dominants. Le nombre de clusters ($K$) est déterminé automatiquement via la méthode du coude (elbow method).
   • Appariement : Les clusters des semaines adjacentes sont liés par un assignation gourmande (greedy) de un-à-un basée sur la similitude cosinus des centroïdes.
   • Étiquetage : En fonction des changements de taille et du mouvement des centroïdes, les sujets reçoivent des étiquettes : Émergence, Croissance, Déclin, Dérive ou Stable.
4. Récupération sensible au temps :
   • Requêtes « As-of » : Le système filtre la base de connaissances pour n'inclure que les documents jusqu'à une date de coupure spécifiée.
   • Requêtes de récence : Les candidats sont reclassés à l'aide d'un score fusionné qui combine la similitude sémantique avec un a priori de décroissance temporelle :
     $$\text{score}(q, d, t) = \alpha \cos(q, d) + (1 - \alpha) \cdot 0.5^{\text{age\_days}(t)/h}$$
     Où $\alpha$ équilibre la sémantique et la récence (par défaut 0,7) et $h$ est la demi-vie en jours (par défaut 14). Crucialement, les auteurs notent que pour que la fraîcheur fonctionne, le pool de candidats doit être large (ou le corpus complet) ; un seuil de similitude cosinus trop étroit (top-$K$) écarte souvent l'élément le plus récent et pertinent avant que l'a priori de récence ne puisse agir.

Principales contributions

L'article apporte deux contributions primaires, en découplant empiriquement le problème du RAG temporel en deux défis distincts :

1. Une solution de fraîcheur traitable : Les auteurs démontrent qu'un simple a priori de récence (décroissance par demi-vie) permet de faire remonter efficacement les preuves récentes les plus pertinentes. Cela est réalisé en fusionnant les scores sémantiques avec une fonction de décroissance temporelle, permettant aux éléments plus récents de surclasser les plus anciens lorsque cela est approprié.
2. Localisation de l'échec heuristique de l'évolution des sujets : L'article étudie les performances des simples traqueurs d'évolution de sujets. Il constate que la faible performance de ces traqueurs (faible macro-F1) n'est pas pilotée par l'algorithme de clustering (ex. : K-means vs HDBSCAN) mais plutôt par la règle d'étiquetage. La règle comparant les semaines consécutives (delta par semaine) échoue à capturer les tendances multi-hebdomadaires, tandis qu'une règle relative à une base de référence (baseline-relative) améliore significativement les performances.

Résultats expérimentaux

Le système a été évalué sur trois corpus de réalisme croissant :

• Flux de logs synthétiques :
  • Fraîcheur : Le score fusionné a atteint un Latest@10 de 1,00 (l'élément le plus récent et pertinent est dans le top 10), tandis que la ligne de base de la similitude cosinus seule affichait 0,00.
  • Détection de tendance : La règle d'étiquetage de base a atteint un macro-F1 de 0,08. Remplacer la règle par une approche relative à une base de référence a porté ce score à 0,49, et l'utilisation de volumes de vérité terrain (supprimant le bruit du clustering) a atteint 0,96. Passer de K-means à HDBSCAN n'a eu qu'un impact négligeable (0,10), confirmant que la règle est le goulot d'étranglement.
• Corpus CERT Logon (849k événements) :
  • Ce jeu de données a servi de test de résistance pour la fraîcheur mais était « dégénéré » pour la détection de tendances en raison de représentations textuelles quasi constantes.
  • Fraîcheur : Avec des paramètres ajustés au corpus ($\alpha=0,3, h=3$), le système a atteint un Latest-Set@10 de 1,00. Les paramètres par défaut du mode synthétique ont échoué (0,00), soulignant la sensibilité aux paramètres.
• Descriptions NVD CVE (Données réelles diverses) :
  • Ce corpus a testé le scénario « le plus frais $\neq$ le plus similaire ». La CVE la plus récente et pertinente était souvent classée bas par similitude cosinus (ex. : 87e percentile pour l'injection SQL).
  • Fraîcheur : Le score fusionné a élevé le Latest@10 de 0,00 (cosinus) et 0,20 (sémantique puis plus récent) à 0,60 (avec un $\alpha=0,3$ ajusté).
  • Pertinence : La pertinence du top-10 (nDCG@10) est restée élevée ($\ge 0,90$), bien que la précision@10 ait subi un léger compromis à mesure que le poids de la récence augmentait.

Signification et affirmations

L'article affirme fournir un cadre reproductible et découplé pour le RAG temporel qui offre un « champ d'application de données réelles honnête » pour chaque composante :

• La fraîcheur est réelle mais partielle : Un simple a priori de récence est efficace pour faire remonter des preuves récentes mais est sensible aux paramètres et dépendant de la densité du corpus. Ce n'est pas un problème « résolu » ; combler l'écart sur des données diverses nécessite des modèles de classement appris (learned-to-rank).
• L'évolution des sujets est un problème d'étiquetage : L'échec des simples traqueurs heuristiques est principalement dû à la règle d'étiquetage, et non à l'algorithme de clustering. Cela recadre la direction de la recherche vers des règles d'étiquetage sensibles au changement et des algorithmes de clustering basés sur la densité (pour éviter un $K$ fixe) plutôt que de simplement chercher des clusteriseurs plus puissants.
• Ingénierie pratique : L'approche offre une solution pragmatique pour les praticiens qui ne peuvent pas réentraîner les modèles de base. Elle occupe une position distincte dans le spectre de complexité : une étape de post-traitement qui est plus intégrée qu'un simple filtrage mais moins complexe que des refontes complètes de pipeline (ex. : Graphes de Connaissances Temporels ou récupérateurs spécialisés).

Les auteurs concluent que si la fraîcheur de base peut être partiellement adressée avec un a priori temporel léger, atteindre une compréhension temporelle profonde pour l'IA reste un défi de recherche important et ouvert.