Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

Résumé technique : Diagnostic et atténuation des modes de défaillance temporels dans la réponse aux questions juridiques basées sur les LLM

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus adoptés pour la recherche juridique, mais leurs données d'entraînement statiques et leurs dates de coupure de connaissances fixes créent un désalignement fondamental avec la nature évolutive du droit législatif. Cet article identifie deux modes de défaillance temporels spécifiques dans la réponse aux questions juridiques (QA) :

1. Obsolescence post-coupure : Les modèles appliquent des règles juridiques abrogées à des schémas de faits survenant après des amendements législatifs, en s'appuyant sur des connaissances paramétriques obsolètes.
2. Biais de récence : Les modèles privilégient incorrectement des dispositions juridiques plus récentes, même lorsque le schéma de faits exige explicitement l'application d'une version historique et abrogée de la loi.

Les auteurs notent que, bien que les professionnels du droit s'appuient de plus en plus sur l'IA pour la recherche (avec une utilisation passant de 14 % à 26 % entre 2024 et 2025), ces outils manquent souvent de conscience de leur robustesse temporelle limitée. Contrairement aux connaissances générales, la correction juridique dépend strictement de la version spécifique d'une disposition et de son applicabilité temporelle.

Méthodologie
Pour diagnostiquer et atténuer ces problèmes, les auteurs ont construit un nouveau référentiel et évalué cinq LLM dans quatre configurations d'inférence.

• Construction du jeu de données : Les auteurs ont créé un jeu de données de 312 paires de questions-réponses juridiques sur des lois allemandes, validées par des experts et sensibles au temps. Les données ont été générées de manière synthétique à partir de versions consolidées historiques de six lois allemandes (BGB, StPO, AO, EStG, BauGB, HGB) provenant de buzer.de. Le jeu de données est divisé en trois catégories :
  • Questions sur les amendements post-coupure (115 éléments) : Conçues pour tester l'obsolescence en présentant des dates de faits postérieures à la date de coupure de l'entraînement du modèle, exigeant une connaissance des changements législatifs survenus après la coupure.
  • Questions pré-amendement (113 éléments) : Les dates de faits sont antérieures à un amendement, exigeant que le modèle applique une version plus ancienne de la loi, malgré la disponibilité de versions plus récentes dans son contexte ou son entraînement.
  • Questions pré-amendement multi-dispositions (84 éléments) : Scénarios complexes nécessitant la synthèse de plusieurs dispositions, dont au moins une doit être appliquée dans sa version historique.
• Modèles évalués :
  • Tâches post-coupure : ChatGPT-5.1 et Claude Sonnet 3.7 (les dates de coupure de connaissances précèdent la date d'évaluation).
  • Tâches pré-amendement : ChatGPT-5.2, Claude Opus 4.5 et DeepSeek v3.2 (modèles de l'état de l'art au moment de l'expérience).
• Configurations d'inférence :
  • Vanilla : S'appuie uniquement sur les connaissances paramétriques internes.
  • Recherche Web : Les modèles utilisent des outils de recherche Web natifs ou externes pour récupérer des informations actuelles.
  • RAG-kNN : Génération augmentée par récupération utilisant une recherche des k-plus proches voisins sur des plongements de texte, filtrée par une date « à la date de » extraite pour garantir que seules les versions de paragraphes valides sont récupérées.
  • RAG-ToC : Une stratégie de récupération utilisant la table des matières de la loi pour sélectionner les paragraphes pertinents, suivie du même filtrage temporel et de la même récupération que pour RAG-kNN.
• Évaluation : Un LLM en tant que juge (Gemini 3 Flash Preview), validé par rapport à des évaluations d'experts humains, a noté les réponses selon quatre critères : Correction du résultat, Correction du raisonnement juridique, Correction de la base juridique et Correction de l'application de la version.

Résultats clés

• Obsolescence sévère dans les modèles Vanilla : Dans les tâches post-coupure, les modèles Vanilla ont montré une dégradation sévère. Par exemple, Claude Sonnet 3.1 a obtenu des scores de correction du résultat aussi bas que 24,35 %, la correction du raisonnement juridique chutant à 0 %. Les modèles ont appliqué avec assurance des dispositions abrogées plutôt que de signaler une incertitude.
• Efficacité du RAG temporel : Le RAG-kNN et le RAG-ToC ont considérablement amélioré les performances pour tous les types de questions. Dans les scénarios post-coupure, les méthodes RAG ont atteint des scores de correction du résultat entre 78 % et 94 %, surpassant significativement les références Vanilla et Recherche Web. Les deux variantes RAG n'ont montré aucune différence statistiquement significative dans les performances, suggérant que le filtrage temporel est le facteur critique plutôt que le mécanisme de récupération (plongements vs table des matières).
• Instabilité de la recherche Web : Bien que la recherche Web ait amélioré les performances par rapport au Vanilla dans certains cas, elle a produit des gains instables et a montré un biais de récence marqué. Dans les tâches ancrées historiquement, les modèles activés par le Web ont performé significativement mieux sur les questions récentes que sur les anciennes, récupérant souvent des lois actuelles même lorsque des versions historiques étaient requises.
• Complexité multi-dispositions : Les performances ont généralement légèrement diminué pour les questions multi-dispositions par rapport aux tâches à disposition unique, en particulier dans les paramètres Vanilla et Web. Cependant, les méthodes RAG sont restées robustes, indiquant que, une fois le contexte temporel correct fourni, les LLM actuels peuvent synthétiser efficacement plusieurs dispositions.
• Biais de récence : Des divergences de performances significatives basées sur l'âge de la question ont été observées exclusivement dans la condition de recherche Web, suggérant que le biais de récence dans ce contexte est entraîné par des pipelines de récupération favorisant le contenu « frais » plutôt que par des biais paramétriques inhérents aux modèles.

Signification et revendications
L'article revendique qu'une QA juridique fiable nécessite de traiter la validité temporelle comme une contrainte stricte. Les auteurs soutiennent que :

1. L'entraînement statique est insuffisant : Le décalage entre les paramètres de modèle statiques et le droit législatif dynamique crée un point de défaillance critique pour l'IA juridique, posant des risques de responsabilité importants lorsque les modèles appliquent avec assurance des lois obsolètes.
2. Le RAG avec filtrage temporel est la solution : Récupérer simplement des correspondances sémantiques « pertinentes » est inadéquat. Les systèmes doivent filtrer explicitement les espaces de récupération en fonction de la date « à la date de » du schéma de faits juridiques pour garantir que le modèle raisonne dans le bon régime juridique.
3. La recherche Web n'est pas une panacée : Les outils de recherche Web génériques sont sujets au biais de récence et ne peuvent pas remplacer de manière fiable des bases de données législatives curatées et versionnées pour des tâches juridiques sensibles au temps.

Ce travail comble une lacune dans les référentiels existants (qui manquent souvent de focus sur le droit civil ou échouent à tester l'obsolescence post-coupure) et fournit des preuves empiriques que, si la récupération peut atténuer l'obsolescence des données, les capacités de raisonnement des LLM concernant la synthèse historique complexe et multi-dispositions rencontrent encore des plafonds modestes. Les auteurs concluent que les recherches futures devraient explorer comment ces résultats se généralisent aux juridictions de common law et investiguer davantage les mécanismes du biais de récence.