💬 NLP

Temporal Concept Drift in Legal Judgment Prediction: Neural Baselines Across Three Epochs of Ukrainian Court Decisions

Cette étude révèle que le langage juridique des décisions de justice ukrainiennes subit une dérive conceptuelle temporelle significative à travers les époques géopolitiques, entraînant une dégradation sévère des performances des modèles standards lorsqu'ils sont appliqués dans le temps, tout en démontrant que l'apprentissage continu chronologique et le préentraînement dans le domaine juridique peuvent efficacement atténuer cette dérive et prévenir l'oubli catastrophique.

Auteurs originaux : Volodymyr Ovcharov

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Volodymyr Ovcharov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant à prédire l'issue de procès. Vous lui donnez une pile d'anciens manuels de 2008 à 2013 (une période de paix) et vous lui demandez de passer un examen aujourd'hui, en 2026, après une guerre massive et une refonte complète du système juridique.

Ce document traite de ce qui se produit lorsque vous essayez d'utiliser cet étudiant « aux manuels anciens » pour résoudre des problèmes de « nouveau monde ». Les chercheurs ont constaté que l'étudiant échoue de manière spectaculaire, non pas parce qu'il est stupide, mais parce que le monde qu'il étudie a fondamentalement changé.

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. Le problème du « voyage dans le temps »

Les chercheurs ont testé des modèles d'IA (des programmes informatiques qui comprennent le langage) sur des décisions de justice ukrainiennes provenant de trois périodes distinctes :

Pré-guerre (2008–2013) : Une période calme et stable.
Guerre hybride (2014–2021) : Une période de conflit et de réformes.
Invasion à grande échelle (2022–2026) : Une période de loi martiale et de lois entièrement nouvelles.

Le constat : Si vous entraînez une IA sur des données « pré-guerre » et que vous la testez sur des données « invasion à grande échelle », ses performances s'effondrent. C'est comme enseigner à quelqu'un à conduire sur une route de campagne tranquille, puis lui demander de naviguer dans une ville chaotique et ravagée par la guerre, avec de nouvelles lois de circulation qu'il n'a jamais vues. L'IA perd jusqu'à 27 % de sa précision.

2. La « rue à sens unique » du savoir juridique

La découverte la plus intéressante est que cet échec n'est pas égal dans les deux sens.

Vers l'avant (Ancien vers Nouveau) : Si vous entraînez l'IA sur d'anciennes lois et que vous la testez sur de nouvelles, elle échoue. Elle ne connaît pas les nouvelles règles de « loi martiale » ni les nouveaux crimes créés par la guerre.
Vers l'arrière (Nouveau vers Ancien) : Si vous entraînez l'IA sur des données complexes et chaotiques d'« invasion à grande échelle » et que vous la testez sur des données « pré-guerre » simples, l'IA obtient en fait de meilleurs résultats.

L'analogie : Imaginez le langage juridique comme un arbre en croissance.

Les nouvelles lois sont comme de nouvelles branches et de nouvelles feuilles. Elles poussent par-dessus les anciennes.
Si vous étudiez l'arbre entier (y compris les nouvelles branches), vous pouvez facilement reconnaître le vieux tronc et les branches inférieures.
Mais si vous n'étudiez que le vieux tronc, vous n'avez aucune idée à quoi ressemblent les nouvelles branches.
Les chercheurs appellent cela l'« hypothèse additive » : le droit ajoute de nouvelles choses ; il supprime rarement les anciennes choses entièrement. Par conséquent, un modèle entraîné sur un ensemble de données « plus récent et plus grand » comprend parfaitement l'ensemble de données « plus ancien et plus petit », mais l'inverse est impossible.

3. Le « Spécialiste » contre le « Généraliste »

Les chercheurs ont essayé deux types d'IA :

Généralistes : Des modèles d'IA standards entraînés sur toutes sortes de textes.
Spécialistes : Des modèles d'IA pré-entraînés spécifiquement sur des documents juridiques.

La surprise : Vous pourriez penser que le « Spécialiste » serait meilleur. Mais le « Généraliste » s'est en fait mieux comporté dans l'ensemble.

Le Spécialiste était plus stable (il ne s'effondrait pas aussi brutalement lors du passage des anciennes aux nouvelles données), mais il était globalement moins bon à la tâche de base. C'était comme un spécialiste qui connaît les règles du jeu mais qui est terrible pour y jouer.
Le Généraliste était un meilleur joueur, mais il a davantage souffert lorsque les règles ont changé.

4. L'expérience du « Professeur étranger »

Ils ont tenté de voir si enseigner à l'IA avec des données provenant d'un pays différent (la Suisse) l'aiderait à mieux comprendre le droit ukrainien.

Résultat : Cela a aidé l'IA à devenir légèrement plus intelligente dans l'ensemble (comme lui donner un meilleur dictionnaire), mais cela n'a pas résolu le problème du temps. L'IA a toujours échoué gravement lors du passage des anciennes données ukrainiennes aux nouvelles données ukrainiennes.
À retenir : Le problème n'est pas que l'IA manque de connaissances sur d'autres pays ; le problème est que le langage du droit lui-même évolue dans le temps d'une manière que les données étrangères ne peuvent pas prédire.

5. La solution : « Réentraînement chronologique »

Comment réparer un étudiant qui continue d'échouer parce que le monde a changé ? Vous ne jetez pas les vieux manuels et ne repartez pas de zéro. Vous les mettez à jour.

Les chercheurs ont testé l'apprentissage continu :

La bonne méthode (Chronologique) : Entraînez l'IA sur la période pré-guerre, puis ajoutez les données de la guerre hybride, puis ajoutez les données de l'invasion à grande échelle.
- Résultat : L'IA se souvient parfaitement des anciennes lois et apprend les nouvelles. Elle devient un super-expert qui connaît toute l'histoire.
La mauvaise méthode (Inverse) : Entraînez sur l'invasion à grande échelle, puis essayez de revenir à la guerre hybride, puis à la période pré-guerre.
- Résultat : L'IA « oublie » les nouvelles lois complexes et s'effondre. C'est comme essayer de désapprendre le calcul avancé pour revenir aux mathématiques de base ; le cerveau se confond et perd les connaissances avancées.

Résumé

Ce document prouve que dans le monde juridique, le temps compte plus que le modèle que vous choisissez.

Si vous construisez une IA juridique aujourd'hui en utilisant d'anciennes données, elle deviendra très rapidement peu fiable.
La meilleure stratégie consiste à maintenir l'IA à jour chronologiquement, en lui fournissant de nouvelles données au fur et à mesure qu'elles arrivent, afin qu'elle construise ses connaissances comme un arbre en croissance plutôt que comme une image statique.
Les modèles juridiques « Spécialistes » n'ont pas sauvé la mise ; en fait, les modèles standards, lorsqu'ils sont mis à jour correctement, ont fonctionné le mieux.

Les chercheurs ont publié leurs données (428 000 décisions de justice) afin que d'autres puissent tester ce problème de « voyage dans le temps » dans leurs propres systèmes.

Résumé technique : Dérive conceptuelle temporelle dans la prédiction de jugements juridiques

Énoncé du problème

Les benchmarks actuels de TAL juridique (par exemple, LexGLUE, LEXTREME, SCALE) reposent principalement sur des divisions aléatoires entre données d'entraînement et de test, supposant implicitement que le langage juridique est stationnaire. Cette conception occulte la réalité de la dérive conceptuelle temporelle, où les performances des modèles se dégradent à mesure que la distribution temporelle des données de test s'éloigne de celle des données d'entraînement. Dans le domaine juridique, cette dérive est amplifiée par les changements législatifs, l'évolution des pratiques judiciaires et les chocs exogènes (par exemple, conflits, réformes). Alors que des travaux antérieurs ont établi que les baselines classiques TF-IDF subissent une dégradation significative à travers les époques des décisions judiciaires ukrainiennes, l'étendue de ce phénomène dans les modèles transformateurs neuronaux ainsi que l'efficacité des stratégies de préentraînement spécifique au domaine ou d'apprentissage continu restaient inexplorées.

Méthodologie

Jeu de données et époques temporelles

L'étude utilise 428 000 décisions judiciaires ukrainiennes (juridictions civile et commerciale) extraites du Registre d'État unifié des décisions judiciaires (EDRSR). Les données sont partitionnées en trois époques temporelles distinctes reflétant les perturbations géopolitiques :

Pré-guerre (2008–2013) : Référence en temps de paix (128 k décisions).
Guerre hybride (2014–2021) : Après l'annexion de la Crimée et la réforme judiciaire (150 k décisions).
Invasion à grande échelle (2022–2026) : Loi martiale et nouveaux cadres procéduraux (150 k décisions).

Au sein de chaque époque, les divisions sont chronologiques (80 % entraînement, 10 % validation, 10 % test) pour éviter les fuites temporelles. Les étiquettes sont classées en trois catégories : Approuvé, Rejeté et Partiel.

Modèles et conception expérimentale

Quatre variantes de transformateurs basées sur XLM-RoBERTa ont été affinées pour isoler les effets de l'échelle du modèle et du préentraînement spécifique au domaine :

Usage général : XLM-R Base (278 M) et Large (560 M).
Domaine juridique : Legal-XLM-R Base et Large (préentraînés sur MultiLegalPile).

Le protocole d'évaluation comprend quatre expériences :

Baselines intra-époque : Entraînement et test sur la même époque pour établir une performance diagonale.
Généralisation inter-époque : Une matrice $3 \times 3$ où les modèles entraînés sur une époque sont testés sur les trois. Les métriques incluent la Dégradation avant (Pré-guerre $\to$ Invasion à grande échelle) et la Dégradation arrière (Invasion à grande échelle $\to$ Pré-guerre).
Transfert inter-juridictionnel : Utilisation des données du Swiss Judgment Prediction (SJP) pour tester si un préentraînement sur une juridiction étrangère atténue la dérive temporelle.
Apprentissage continu : Affinement séquentiel dans deux directions :
- Avant (Chronologique) : Pré-guerre $\to$ Hybride $\to$ Invasion à grande échelle.
- Arrière (Anti-chronologique) : Invasion à grande échelle $\to$ Hybride $\to$ Pré-guerre.

Résultats clés

1. Dégradation avant sévère et asymétrique

La dérive temporelle est une source dominante de dégradation des performances, dépassant l'impact du choix du modèle ou du préentraînement spécifique au domaine.

Dégradation avant : Les modèles entraînés sur des données pré-guerre perdent 11,2 à 27,2 points de pourcentage (pp) en macro-F1 lorsqu'ils sont appliqués aux décisions d'invasion à grande échelle. Le plus grand modèle (XLM-R Large) a subi une baisse de 27,2 pp.
Asymétrie : Le transfert arrière est significativement plus robuste. Les modèles entraînés sur l'époque complexe de l'invasion à grande échelle fonctionnent souvent mieux sur les données de test pré-guerre que sur leur propre époque d'entraînement (par exemple, XLM-R Base gagne +9,0 pp en se déplaçant vers l'arrière). Cela soutient l'hypothèse du « langage additif » : les nouveaux cadres juridiques englobent les anciens, mais les anciens modèles manquent de représentations pour les nouveaux concepts (par exemple, les dispositions de la loi martiale).

2. Le paradoxe du préentraînement spécifique au domaine juridique

Contrairement aux attentes, le préentraînement spécifique au domaine juridique (Legal-XLM-R) n'a pas amélioré les performances absolues par rapport au XLM-R général.

Performances absolues : Les modèles Legal-XLM-R ont obtenu des scores 7 à 9 pp inférieurs à ceux des modèles généraux sur les tâches intra-époque.
Robustesse temporelle : Les modèles juridiques ont montré moins de dégradation avant (11–12 pp contre 20–27 pp) et un écart d'asymétrie plus faible. Cependant, cette « robustesse » découle d'un pouvoir discriminatoire de base plus faible ; leurs représentations sont moins spécifiques à l'époque, mais aussi moins efficaces pour la tâche.
Fragilité directionnelle : Contrairement aux modèles généraux, les modèles juridiques se sont dégradés dans les deux directions (avant et arrière), suggérant que leurs représentations sont fragiles face à tout décalage temporel.

3. Dynamiques de l'apprentissage continu

Entraînement chronologique (avant) : Pour les modèles XLM-R généraux, l'affinement séquentiel (Pré-guerre $\to$ Invasion à grande échelle) a éliminé l'oubli catastrophique. Les connaissances pré-guerre ont été conservées ou améliorées (+1,8 à +6,2 pp), tandis que les performances sur l'invasion à grande échelle ont gagné +16,5 à +19,0 pp. Le modèle résultant a surpassé tout modèle d'une seule époque.
Entraînement anti-chronologique : Cette direction a provoqué un oubli catastrophique sévère (−12,2 à −14,3 pp sur les données d'invasion à grande échelle).
Modèles juridiques : Legal-XLM-R n'a pas réussi à conserver les connaissances même dans la direction avant, perdant 5,6 pp sur les données pré-guerre.

4. Limites du transfert inter-juridictionnel

Le préentraînement sur les données du Swiss Judgment Prediction a amélioré les performances absolues sur toutes les époques (+3 à +10 pp) mais n'a pas réduit l'ampleur de la dégradation temporelle. L'écart de dégradation avant est resté pratiquement identique (20,3 pp contre 21,3 pp), confirmant que la dérive temporelle est une propriété intrinsèque de l'évolution du langage juridique et non un artefact spécifique à une juridiction.

5. Modèles neuronaux par rapport aux baselines classiques

Les modèles neuronaux (F1 moyen ~63–65 %) ont nettement sous-performé la baseline TF-IDF (F1 moyen ~79,8 %). Les auteurs attribuent cela aux pénalités de fertilité des tokeniseurs sur le texte ukrainien en cyrillique, où SentencePiece fragmente les termes juridiques en 3 à 5 sous-mots, réduisant le contexte effectif dans la fenêtre de 512 tokens.

Importance et affirmations

L'article établit le premier benchmark de robustesse temporelle neuronale pour le TAL juridique. Ses contributions principales sont :

Quantification de la dérive : Démontrer que la dérive temporelle est un facteur plus critique pour la fiabilité des modèles que l'architecture du modèle ou le préentraînement spécifique au domaine.
Insight mécanistique : Valider l'hypothèse du « langage additif » grâce aux résultats de transfert asymétrique et aux trajectoires d'apprentissage continu.
Stratégie d'atténuation : Identifier l'apprentissage continu chronologique comme une stratégie efficace pour les modèles à usage général afin de maintenir les connaissances historiques tout en s'adaptant aux nouveaux cadres juridiques, tandis que l'entraînement anti-chronologique est préjudiciable.
Normes de référence : Affirmer que les benchmarks de TAL juridique doivent signaler la robustesse temporelle parallèlement aux performances agrégées pour refléter les risques de déploiement dans le monde réel.
Publication de ressources : Fournir un jeu de données publiquement disponible de 428 k décisions avec des annotations temporelles comme contribution à LEXTREME.

Les auteurs concluent que pour les systèmes de TAL juridique déployés, un réentraînement chronologique périodique sur des données récentes est essentiel, et que la dépendance au préentraînement spécifique au domaine juridique peut être contre-productive pour les tâches spécifiques à une juridiction nécessitant un fort pouvoir discriminatoire.