🤖 AI

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

Cet article introduit TIDE, un nouveau benchmark vérifié par des experts pour évaluer les grands modèles de langage sur la compréhension de documents à évolution temporelle, révélant que les modèles actuels éprouvent des difficultés significatives avec la résolution de versions et privilégient souvent des connaissances paramétriques confiantes au détriment de textes faisant autorité et spécifiques à une période donnée.

Auteurs originaux : Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver la bonne règle pour un jeu, mais que le livre de règles soit une entité vivante qui change chaque jour. Dans le monde de l'intelligence artificielle, il existe deux manières principales dont la connaissance est habituellement gérée. La première est comparable à une encyclopédie géante : si un fait change, l'ancien est simplement effacé et remplacé par le nouveau. Si vous posez une question sur la capitale d'un pays qui a changé de nom, l'encyclopédie affiche simplement le nouveau nom. La seconde méthode, beaucoup plus complexe, est semblable à une pile de contrats juridiques ou à un jeu vidéo avec des correctifs. Ici, une ancienne règle ne disparaît pas ; elle reste parfaitement exacte pour la période où elle était en vigueur, tandis qu'une nouvelle règle prend le relais plus tard. Si vous demandez : « Quelle était la limite de vitesse en 2015 ? », vous avez besoin de la règle de 2015, et non de celle de 2025. Si l'ordinateur se trompe, ce n'est pas seulement une erreur idiote ; cela pourrait revenir à dire à quelqu'un de payer le mauvais impôt ou de suivre une directive médicale annulée depuis des années. C'est le défi de la « résolution de version » : déterminer exactement quelle version d'une règle était en vigueur à une date précise.

Une équipe de chercheurs a conçu un nouveau test appelé TIDE (Temporal Information Drift in Evolving Documents) pour voir si les ordinateurs dotés des IA les plus intelligentes d'aujourd'hui peuvent gérer cette logique complexe de voyage dans le temps. Ils n'ont pas simplement inventé des questions fictives ; ils ont fouillé dans 644 documents officiels réels du gouvernement du Bangladesh, couvrant les lois douanières, les codes fiscaux et les réglementations de 1969 jusqu'en 2025. Ces documents sont désordonnés, mélangeant l'anglais et le bengali, et contiennent un réseau d'amendements où une règle en annule une autre, laquelle est ensuite annulée par une troisième. Les chercheurs ont créé 3 050 questions basées sur ces documents, demandant à l'IA d'agir comme un avocat voyageur dans le temps. Ils ont testé neuf des modèles d'IA les plus puissants disponibles, en leur proposant trois manières différentes de trouver des réponses : en se fiant uniquement à ce qu'ils ont mémorisé lors de leur entraînement (comme un examen à livre fermé), en lisant les documents exacts qui leur sont fournis, ou en cherchant dans une base de données pour trouver les bonnes pages.

Les résultats ont été un véritable signal d'alarme. Même les meilleurs modèles d'IA, lorsqu'ils recevaient les documents parfaits à lire, n'obtenaient qu'environ 68,5 % de bonnes réponses. Cela signifie qu'ils échouaient encore plus d'une fois sur trois, même quand la réponse était juste sous leurs « yeux ». L'étude a révélé que ces modèles sont étonnamment doués pour trouver le bon texte lorsqu'ils savent exactement où chercher, mais qu'ils sont incapables de réaliser qu'un texte qu'ils lisent est en réalité la mauvaise version pour la date en question. Par exemple, si vous donnez à une IA un document qui stipule « La taxe est de 10 % » mais que la question porte sur une période où la taxe était de 5 %, l'IA ignore souvent le document avec assurance pour s'en tenir à sa mémoire ou au mauvais texte. En fait, lorsque les chercheurs ont tenté de piéger l'IA avec une affirmation confiante mais erronée, les modèles étaient très bons pour signaler qu'un problème existait (détectant les erreurs environ 79 % du temps), mais ils étaient très mauvais pour identifier précisément ce qui était faux (identifiant l'erreur spécifique seulement environ 19 % du temps). Cela signifie qu'ils perçoivent souvent un problème, mais accusent avec assurance le mauvais détail.

L'article suggère que donner simplement plus de texte à lire à l'IA ou de meilleurs outils de recherche ne suffit pas à résoudre ce problème. Les modèles éprouvent le plus de difficultés avec les tâches qui nécessitent de reconstituer une chronologie, comme classer des événements par ordre ou calculer quelle était la règle « trois ans plus tard ». Ils ont tendance à supposer que les règles deviennent uniquement plus strictes ou changent dans une seule direction, omettant le fait que les lois sont souvent abrogées ou reviennent à d'anciennes versions. Bien que les chercheurs aient démontré que posséder les bons documents aide, cela ne garantit pas le succès. L'étude conclut que la « résolution de version » demeure un obstacle majeur et non résolu pour l'IA. Tant que ces modèles ne pourront pas véritablement comprendre le flux du temps dans les documents juridiques, ils pourraient être trop risqués pour des tâches du monde réel comme la déclaration d'impôts ou le dédouanement, où se tromper de date pourrait entraîner de graves problèmes financiers ou juridiques.

Résumé technique : TIDE – Évaluation des modèles de langage de grande taille sur la compréhension de documents à évolution temporelle

1. Définition du problème : Le défi de la résolution de version

Les modèles de langage de grande taille (LLM) actuels peinent avec les documents évolutifs, tels que les lois, les codes fiscaux et la documentation logicielle, où les règles sont amendées, remplacées ou annulées au fil du temps. Contrairement aux connaissances encyclopédiques (ex. Wikipédia), où les anciens faits sont simplement écrasés, les documents évolutifs maintiennent un historique persistant : une version antérieure reste juridiquement correcte pour sa période de validité spécifique, tandis qu'un nouvel amendement stipule explicitement ce qu'il remplace et quand il prend effet.

Le défi central identifié est la résolution de version : la capacité d'identifier la version spécifique d'une règle en vigueur à une date donnée. Les benchmarks de QA temporels existants (ex. TempReason, MenatQA, evolveQA) traitent le temps comme une simple annotation ou testent les connaissances en mode "fermé" sur des valeurs remplacées. Ils ne testent pas la capacité critique de résoudre quel amendement régit une date spécifique, particulièrement lorsque le texte source lui-même contient la logique de remplacement et de réversion. De plus, les benchmarks existants manquent souvent de la complexité des documents réglementaires du monde réel, qui sont fréquemment mixtes sur le plan du code, hétérogènes dans leur mise en page et utilisent des systèmes de calendriers doubles.

2. Méthodologie : Le benchmark TIDE

Pour combler ces lacunes, les auteurs introduisent TIDE (Temporal Information Drift in Evolving Documents), un benchmark vérifié par des experts conçu pour évaluer les LLM sur la résolution de version de textes juridiques authentiques et évolutifs.

2.1 Sourcing et construction des données

Corpus : Le benchmark est construit sur 644 instruments douaniers officiels émis par le gouvernement du Bangladesh entre 1969 et 2025. Cela comprend 3 Actes du Parlement, 20 Ordres Généraux (GO), 609 Ordres Réglementaires Statutaires (SRO) et 12 Règles.
Complexité : Les documents sont profondément mixtes (Bangla–Anglais), contiennent des tableaux tarifaires intégrés, et 97 % d'entre eux indiquent les dates à la fois dans les calendriers Bangla et grégorien.
Pipeline de parsing :
1. Extraction : Un schéma général extrait les clauses, la hiérarchie, les tableaux et les métadonnées sans perte de texte, préservant la structure originale à scripts mixtes.
2. Extraction d'entités-concepts : En utilisant un LLM, le système extrait des paires entité-concept canoniques (ex. "Droits de douane" et ses changements de taux) pour normaliser la nomenclature à travers les documents.
3. Construction de threads : Les entités sont regroupées et liées en fils conceptuels évolutifs (evolving concept threads). Un fil représente un sujet réglementaire sous la forme d'une liste ordonnée dans le temps des instruments et des valeurs qu'ils fixent, capturant explicitement les amendements, les abrogations et les réversions.
4. Génération de QA : Les questions sont générées contre ces fils, garantissant que chaque question est ancrée dans l'histoire de la règle plutôt que dans un instantané unique.

2.2 Types de tâches

TIDE comprend 3 050 paires de QA réparties en huit types de tâches distincts qui isolent différents aspects du raisonnement temporel :

MCQ Temporel : Identifier l'instrument/la date correct parmi des distracteurs lexicalement proches.
Tri d'événements : Reconstruire l'ordre chronologique d'événements mélangés sans dates explicites.
Détection de perturbation : Vérifier si une déclaration est exacte et corriger les champs altérés spécifiques.
Réponse courte de scénario : Extraire des valeurs à partir de scénarios réalistes sans citations directes de clauses.
Réponse courte de scénario temporel : Raisonner sur plusieurs instruments pour trouver la valeur en vigueur à une date spécifique.
QA de temps relatif : Calculer une date cible à partir d'une ancre et d'un décalage (ex. "trois ans plus tard") pour trouver la règle de gouvernance.
Ouvert : Expliquer la logique derrière les changements de politique.
Désalignement de contexte : Déterminer la bonne réponse lorsque le prompt contient un préambule trompeur et obsolète.

2.3 Protocole d'évaluation

Les auteurs évaluent neuf LLM récents (six à poids ouverts, trois propriétaires) sous trois configurations d'accès aux connaissances :

Paramétrique (Boîte fermée) : Le modèle répond uniquement à partir de sa mémoire interne.
Gold-Context (ICL) : Le modèle se voit fournir les documents "gold" exacts utilisés pour générer la question.
Augmenté par récupération (RAG) : Le modèle reçoit les 10 meilleures clauses extraites d'un index de recherche sémantique.

Mécanisme de notation :
Une approche unique de "LLM-as-a-Council" est utilisée, employant trois juges hétérogènes (Claude Opus 4.6, Gemini 3.5 Flash, GPT-5.1). Crucialement, la notation inclut une porte de contrôle de date stricte : une réponse reçoit un score de zéro si la date est incorrecte, même si le sens est correct. Cela sépare le "sens correct" du "temps correct".

3. Résultats clés

L'évaluation de neuf modèles révèle que la résolution de version reste un problème ouvert, la meilleure précision moyenne macro atteignant seulement 68,5 % (GPT-5 sous ICL).

L'accès aux connaissances compte : La performance s'améliore systématiquement de Paramétrique $\to$ RAG $\to$ ICL. Cependant, même avec le contexte "gold", les modèles n'atteignent pas une précision parfaite, indiquant que lire le texte correct est nécessaire mais non suffisant.
Le fossé de la résolution de version : Les modèles sont nettement meilleurs pour trouver les bonnes versions que pour rejeter les mauvaises.
- Désalignement de contexte : C'est la tâche la plus difficile. Le meilleur score obtenu par un modèle dans n'importe quel cadre est de 27,62 % (Kimi sous ICL), tandis que les autres modèles et configurations performent nettement moins bien. Les modèles ont tendance à suivre un postulat confiant mais faux au détriment du texte faisant autorité fourni.
- QA de temps relatif : La précision stricte est faible partout. Le score paramétrique le plus élevé est de 12,37 % (GPT-OSS), tandis que GPT-5 atteint 11,08 % et Claude 3,77 %. Sous ICL, Claude mène avec 68,03 %, mais la tâche reste difficile pour la plupart des modèles.
- Tri d'événements : La performance s'effondre en RAG (passant de ~66 % en ICL à ~31 %), car la récupération sémantique manque souvent des parties de la chronologie nécessaires pour reconstruire l'ordre.
Détection vs Identification : Dans la détection de perturbation, les modèles sont bons pour signaler qu'une déclaration est fausse (haute détection) mais mauvais pour identifier ce qui a été altéré (basse identification) sans ancrage. L'ancrage améliore considérablement l'identification.
Comportement des modèles :
- Paramétrique : Les modèles refusent souvent de répondre ou hallucinent des dates.
- Ancré (Grounded) : Les modèles hallucinent souvent des dates qui contredisent le texte fourni ou échouent à résoudre les conflits entre un contexte trompeur et la source.
- Difficulté de la tâche : Le type de tâche prédit la performance plus que l'identité du modèle. Les tâches de reconnaissance simple (MCQ Temporel) sont faciles, tandis que les tâches nécessitant un raisonnement multi-documents (Tri d'événements, Désalignement de contexte) sont extrêmement difficiles.

4. Contributions

Formalisation des documents évolutifs : L'article formalise le défi de la résolution de version, la distinguant d'une simple mise à jour de faits.
Benchmark TIDE : La publication d'un benchmark de haute qualité, vérifié par des experts, comprenant 3 050 paires de QA sur 644 instruments juridiques réels et mixtes.
Protocole d'évaluation unifié : Un nouveau protocole évaluant les modèles via des réglages paramétriques, de contexte gold et de récupération, avec un mécanisme de notation à porte de date stricte.
Aperçus empiriques : L'étude démontre que les LLM actuels, même avec accès au texte source, échouent à résoudre les versions de manière fiable, faisant souvent confiance à des prémisses fausses mais confiantes plutôt qu'à des preuves faisant autorité.

5. Signification et limites

Signification :
L'article soutient que la résolution de version n'est pas résolue par la simple récupération ou l'accès à un contexte long. Les échecs persistants sur les tâches sensibles au temps soulignent une lacune critique dans les capacités des LLM pour les domaines à enjeux élevés comme le droit, la fiscalité et la conformité. Le benchmark fournit une base pour développer des modèles capables de raisonner de manière fiable sur des documents évolutifs, séparant la capacité à lire un texte de la capacité à résoudre des conflits temporels.

Limites :

Spécificité du domaine : Le benchmark est actuellement limité au droit douanier du Bangladesh et à un système de paire de langues/calendrier spécifique.
Modèles figés : L'évaluation est menée sur des modèles figés via le prompting ; elle ne précise pas si le fine-tuning ou le pré-entraînement continu résoudrait ces problèmes.
Base de référence de récupération : Les résultats RAG utilisent un récupérateur sémantique standard sans re-classement temporel, ce qui signifie que les scores RAG représentent une limite inférieure.
Incertitude paramétrique : Les scores paramétriques reposent sur des hypothèses non vérifiables concernant les dates de coupure des données d'entraînement.
Dérive temporelle : Comme le corpus est fixé à 2025, le benchmark devra être mis à jour périodiquement pour rester actuel.

Les auteurs concluent que si la lecture du texte correct est un prérequis, la capacité à identifier la version en vigueur et à rejeter l'information obsolète demeure un défi majeur et non résolu pour les LLM actuels.