How often do Answers Change? Estimating Recency Requirements in Question Answering

1. Problématique

Les grands modèles de langage (LLM) souffrent d'une limitation majeure lorsqu'ils traitent des questions sensibles au temps : ils s'appuient souvent sur des connaissances obsolètes issues de leur date d'entraînement, produisant des réponses confiantes mais incorrectes.

Les benchmarks existants (comme TimeQA, FreshQA, RealTimeQA) abordent la validité temporelle de manière binaire (actuel vs obsolète) ou se basent sur des modèles fixes. Ils échouent à capturer deux nuances cruciales :

1. La fréquence de changement : La rapidité avec laquelle une réponse est susceptible d'évoluer (de quelques heures à jamais).
2. La dépendance contextuelle : Le fait que la fréquence de mise à jour puisse varier selon le contexte (ex. : le taux d'inflation change rarement en temps normal, mais très vite en période de crise).

Il manque donc un cadre méthodologique pour estimer la demande de fraîcheur d'une question et distinguer les comportements temporels stables de ceux qui sont contextuels.

2. Méthodologie

A. Taxonomie Recency-Stationarity

Les auteurs proposent une nouvelle taxonomie bidimensionnelle pour caractériser la sensibilité temporelle des questions :

• Recency (Fraîcheur) : Mesure la fréquence attendue de mise à jour d'une réponse. Elle est définie par 12 classes discrètes, allant de « An-Hour » (moins d'une heure) à « Never » (jamais).
• Stationarity (Stationnarité) : Détermine si la fréquence de mise à jour est invariante dans le temps (stationnaire) ou dépendante du contexte (non-stationnaire).
  • Exemple stationnaire : « Qui est le président des États-Unis ? » (changement tous les 4 ans, prévisible).
  • Exemple non-stationnaire : « Qui mène le tableau des médailles olympiques ? » (changement fréquent pendant les JO, nul entre les Jeux).

B. Construction du Dataset RECENCYQA

Pour opérationnaliser cette taxonomie, les auteurs ont créé RECENCYQA, un dataset de 4 031 questions en domaine ouvert. Le processus de construction comprend :

1. Échantillonnage : Combinaison de questions extraites de benchmarks existants (FreshQA, PATQA, SituatedQA) et de nouvelles questions générées par LLaMA 3.3 (70B) basées sur des événements réels.
2. Étiquetage (Labeling) :
   • Recency : LLaMA 3.3 (70B) est interrogé 13 fois par question pour générer une distribution de probabilité sur les 12 classes. La classe majoritaire est retenue.
   • Stationarity : Trois LLMs de pointe (GPT-5.2, Gemini 3 Flash, Claude Sonnet 4.5) classent la question comme stationnaire ou non. Ce vote est croisé avec la distribution de recency pour valider la cohérence (ex: si plusieurs classes de recency sont observées, la question est marquée non-stationnaire).
3. Génération de Contexte Temporel : Pour chaque question, des contextes courts sont générés pour ancrer le comportement temporel. Un processus de vérification rigoureux (13 itérations) assure que le contexte induit bien l'étiquette de recency attendue.

C. Évaluation Expérimentale

Le dataset a été utilisé pour évaluer six LLMs (Qwen 2.5, LLaMA 3, Mistral, Gemma 3, Apertus) de différentes tailles (7B à 72B) via trois stratégies de prompt : Zero-shot, Few-shot et Chain-of-Thought (CoT).
Les tâches d'évaluation comprenaient :

• La classification de la recency (sans contexte).
• L'impact du contexte (avec vs sans contexte).
• La transition dynamique (adaptation d'une réponse RL1 à RL2 lorsque le contexte change).

3. Résultats Clés

• Difficulté de la classification : La tâche de classification fine de la recency est difficile pour tous les modèles. La précision stricte varie entre 24 % et 52 %. Le Few-shot prompting donne les meilleurs résultats (Gemma 3 27B atteint 52,05 %).
• Impact du contexte (Stationnaire vs Non-Stationnaire) :
  • Pour les questions non-stationnaires, l'ajout de contexte améliore significativement les performances (gains > 40 % dans certains cas), car le modèle peut utiliser les indices contextuels pour ajuster la fréquence attendue.
  • Pour les questions stationnaires, l'ajout de contexte dégrade souvent les performances. Les modèles semblent accorder un poids excessif aux indices temporels contextuels, même lorsque la réponse est intrinsèquement stable.
• Incapacité à l'adaptation dynamique : Dans la tâche de transition (RL1 → RL2), les modèles montrent une faible capacité à réviser leur prédiction lorsque le contexte change. Bien que la précision par contexte soit modérée, la précision de transition est très faible (ex: 14,8 % pour Gemma 3 en Few-shot), indiquant un raisonnement temporel rigide.
• Évaluation humaine : Une évaluation par des experts humains confirme la fiabilité des annotations (accord > 76 % pour la recency et 78 % pour la stationnarité).

4. Contributions Principales

1. Taxonomie Recency-Stationarity : Un cadre théorique nouveau qui va au-delà de la simple distinction binaire (frais/obsolète) pour modéliser la fréquence de changement et sa stabilité contextuelle.
2. Dataset RECENCYQA : Le premier dataset annoté avec des distributions de recency, des étiquettes de stationnarité et des contextes temporels vérifiés, permettant une évaluation granulaire.
3. Analyse Empirique : Une démonstration que les LLMs actuels échouent à gérer la dynamique temporelle contextuelle et qu'ils souffrent d'un manque de « sélectivité temporelle » (ils ne savent pas quand ignorer ou utiliser le contexte).

5. Signification et Impact

Ce travail établit une base fondamentale pour le développement de systèmes de réponse aux questions (QA) et de recherche d'information (RAG) conscients de la recency.

• Il permet de diagnostiquer précisément les faiblesses temporelles des LLMs.
• Il ouvre la voie à des mécanismes de récupération de connaissances plus intelligents, capables de déterminer quand il est nécessaire de chercher des informations à jour et quand les connaissances internes du modèle suffisent.
• Il encourage la création de modèles capables de raisonner dynamiquement sur la validité des faits en fonction du contexte, dépassant les approches statiques actuelles.

En résumé, l'article démontre que la compréhension temporelle des LLMs est encore superficielle et propose un outil (RECENCYQA) et un cadre (Taxonomie) essentiels pour combler ce fossé.