NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

Le droit est souvent imaginé comme une vaste bibliothèque de règles, mais pour un ordinateur, c'est une mer de texte chaotique. En France, le système juridique est construit sur des codes — de vastes collections de lois où chaque mot revêt un poids spécifique. Au sein de ces milliers de pages, les législateurs s'arrêtent fréquemment pour définir leurs propres termes. Ils peuvent écrire : « Par données personnelles, on entend toute information relative à une personne identifiée », ou « Aux fins du présent article, un véhicule inclut une bicyclette ». Il ne s'agit pas seulement d'explications utiles ; c'est le moteur juridique qui détermine le fonctionnement des droits et des obligations. Sans ces définitions précises, le reste de la loi ne peut fonctionner correctement. Cependant, trouver ces définitions est difficile car elles sont éparpillées dans plus de 161 000 articles actifs, enfouies dans différents codes allant de la santé à la fiscalité, sans carte organisée pour guider une recherche.

Ce manque de structure crée un problème significatif pour la technologie. Si un avocat ou un système numérique veut savoir exactement ce que signifie un terme spécifique aux yeux de la loi, il doit souvent parcourir manuellement d'innombrables pages, sans garantie d'avoir trouvé chaque occurrence. Le traitement du langage naturel, le domaine de l'informatique qui apprend aux machines à comprendre le langage humain, a fait de grands progrès dans l'analyse des textes juridiques, mais il a peiné face à cette tâche spécifique. La plupart des outils existants sont conçus pour l'anglais ou pour des définitions générales trouvées dans les dictionnaires, et non pour les définitions strictes et contraignantes de la législation française. Pour combler cette lacune, des chercheurs ont créé une nouvelle ressource appelée NormDef-FR, une collection soigneusement organisée de ces définitions juridiques conçue pour apprendre aux ordinateurs comment les trouver et les comprendre automatiquement.

Les chercheurs, travaillant à l'Université Abdelmalek Essaadi au Maroc, ont abordé le problème en construisant un pont entre l'expertise humaine et l'automatisation par machine. Ils ont commencé par rassembler les lois actuelles et actives à partir de la base de données juridique officielle française. Au lieu d'essayer d'apprendre à un ordinateur à lire toute la bibliothèque d'un coup, ils ont d'abord utilisé des modèles simples basés sur des règles pour repérer les candidats probables. Ils ont recherché des phrases spécifiques que la loi française utilise pour introduire des définitions, telles que « est défini comme » ou « est considéré comme », ou l'utilisation de deux-points pour séparer un terme de sa signification. Ce premier balayage a généré une liste de définitions potentielles, mais elle était loin d'être parfaite. Beaucoup de ces candidats étaient de fausses alertes, capturant des phrases qui ressemblaient à des définitions mais qui étaient en réalité autre chose, comme une liste de documents à soumettre ou une description d'un effet juridique.

Pour transformer cette liste brute en un outil d'entraînement fiable, l'équipe a fait appel à des experts humains. Ils ont examiné manuellement des milliers de ces candidats, décidant lesquels étaient de véritables définitions juridiques utilisables et lesquels devaient être écartés. Ils ont également corrigé les limites du texte, s'assurant que le « terme » défini et la « définition » elle-même étaient découpés de manière exacte. Ce processus était rigoureux. Les chercheurs ont fait étiqueter un échantillon de données par deux experts indépendants pour s'assurer qu'ils s'accordaient sur ce qui constituait une définition. Le résultat fut un haut niveau d'accord, confirmant que les règles d'identification de ces définitions étaient claires et cohérentes. Le produit final, la version 1.0.0 de NormDef-FR, contient 693 définitions vérifiées extraites de 363 articles différents répartis dans 50 codes juridiques distincts. Chaque entrée lie le terme défini à sa signification, inclut des métadonnées sur son origine et précise le type spécifique de définition.

Avec cette collection de référence en main, les chercheurs ont testé la capacité des ordinateurs à apprendre de celle-ci. Ils ont mis en place trois défis différents pour voir là où les machines réussissaient et là où elles trébuchaient. La première tâche était simple : l'extraction — un système pouvait-il repérer la définition et en extraire le terme et la signification ? La seconde tâche était plus large : un système pouvait-il examiner un article entier et décider s'il contenait une définition ou non ? La troisième tâche était la plus difficile : un système pouvait-il prendre une définition candidate générée par un ordinateur et décider si elle était assez bonne pour être conservée, ou s'il s'agissait d'une erreur à jeter ?

Les résultats ont révélé une hiérarchie claire de difficulté. Les machines étaient étonnamment douées pour la seconde tâche. Lorsqu'on leur demandait d'identifier quels articles contenaient des définitions, les modèles affichaient une précision quasi parfaite, surtout lorsqu'ils étaient entraînés sur un ensemble de « vrais négatifs » — des articles qui avaient été vérifiés manuellement pour s'assurer qu'ils ne contenaient aucune définition. Cette découverte était cruciale car elle montrait que la méthode précédente, consistant à supposer que tout article ne figurant pas dans la liste des définitions était un « négatif », était erronée ; beaucoup de ces articles contenaient en réalité des définitions cachées. Une fois que les chercheurs ont nettoyé les exemples négatifs, les ordinateurs pouvaient facilement distinguer un article riche en définitions d'un article ordinaire.

Cependant, la troisième tâche s'est avérée être le véritable goulot d'étranglement. Lorsque les ordinateurs devaient valider des paires terme-définition spécifiques, leurs performances chutaient considérablement. Bien qu'ils puissent facilement repérer la zone générale où se trouve une définition, ils peinaient à déterminer si la paire spécifique qu'ils avaient extraite était juridiquement valide. Ils confondaient souvent une liste d'exigences ou une instruction procédurale avec une définition. Les meilleurs modèles parvenaient à prendre environ 71 % de ces décisions difficiles, ce qui est loin des scores quasi parfaits observés pour la tâche de détection d'articles. Cela suggère que si les ordinateurs peuvent trouver le bon quartier, ils ont encore besoin de l'aide humaine pour vérifier la maison exacte.

L'étude a également mis en évidence une limitation surprenante de l'intelligence artificielle avancée dans ce contexte spécifique. Les chercheurs ont testé un modèle de langage sophistiqué, similaire à ceux utilisés pour la conversation générale, contre une méthode plus simple et traditionnelle basée sur des motifs de mots. Pour la tâche difficile de validation des candidats, le modèle complexe n'a pas surpassé le plus simple. En fait, la méthode la plus simple était plus stable et plus fiable. Cela indique que pour les textes juridiques hautement spécialisés, où les règles sont rigides et les motifs spécifiques, une approche directe reposant sur des marqueurs linguistiques clairs peut être plus efficace qu'un système complexe tentant de « comprendre » le texte de manière générale.

La création de NormDef-FR est plus qu'un simple ensemble de données ; c'est une démonstration de la manière de construire des ressources fiables pour la technologie juridique. Les chercheurs ont montré que supposer simplement l'absence de données ne suffit pas ; il faut vérifier activement ce qui n'est pas là. En vérifiant manuellement les exemples négatifs, ils ont empêché le système d'apprendre de mauvaises leçons. Cette approche garantit que la ressource est robuste et digne de confiance pour les futurs développeurs. L'ensemble de données est désormais disponible au public, accompagné de la documentation et des scripts permettant à d'autres de reproduire le travail. Il sert de fondation pour construire de meilleurs outils de recherche juridique, aidant à automatiser la tâche fastidieuse de la recherche de définitions afin que les juristes et les systèmes puissent se concentrer sur l'interprétation de la loi plutôt que sur la traque de son sens. Bien que le travail ne soit pas terminé — les versions futures devront couvrir plus de types de lois et suivre l'évolution des définitions dans le temps — il constitue un point de départ solide pour apporter de la clarté au monde complexe des codes juridiques français.