🤖 AI

Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions

Cet article introduit un benchmark pour la détection des citations implicites du Code civil français et démontre que le désaccord des experts sur ces cas constitue un signal critique de difficulté intrinsèque, révélant que si les modèles peinent face aux instances contestées, une approche par consensus multi-modèles peut classer efficacement les candidats à haute confiance sans supervision.

Auteurs originaux : Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère dans une immense bibliothèque de décisions de justice françaises. Votre tâche est de trouver les « indices cachés » : ces moments où un juge utilise une règle spécifique du Code civil pour rendre une décision, mais ne mentionne jamais le nom de cette règle.

C'est comme un chef qui prépare un gâteau parfait sans jamais lister la « farine » dans sa recette. Vous savez qu'il a utilisé de la farine parce que le gâteau a le goût de la farine, mais le texte ne le dit pas. Dans le monde juridique, on appelle cela des citations implicites.

Le gros problème : l'angle mort

Habituellement, les juristes trouvent les lois en cherchant des mots-clés comme « Article 1192 ». Mais si un juge applique cet article sans écrire le numéro, le moteur de recherche devient aveugle. Cela crée un fossé énorme dans notre compréhension de la manière dont les lois sont réellement utilisées. Les auteurs de cet article ont voulu construire un programme informatique (un modèle) capable d'agir comme un super-détective et de trouver ces règles cachées.

L'expérience : un test auprès de trois experts

Pour enseigner la tâche à l'ordinateur, l'équipe a créé un ensemble de test spécial de 1 015 paires de textes. Ils ont demandé à trois experts juridiques d'examiner chaque paire et de décider : « Le juge utilise-t-il cette loi, ou parle-t-il simplement de faits ? »

C'est là que les choses deviennent intéressantes. Les experts ne sont pas toujours d'accord. Dans environ un tiers des cas (339 d'entre eux), les experts se sont disputés. L'un pouvait dire : « Oui, c'est la loi ! », tandis qu'un autre disait : « Non, ce sont juste des faits. »

La découverte principale : là où les humains trébuchent, les ordinateurs trébuchent aussi

La plus grande découverte de l'article est un peu un retournement de situation. Habituellement, quand les experts sont en désaccord, nous pensons qu'il s'agit simplement de « bruit » ou de confusion. Mais les auteurs ont découvert que ce désaccord est en fait un signal d'alarme.

Lorsque les experts n'arrivaient pas à se mettre d'accord sur l'utilisation d'une loi, les modèles informatiques échouaient presque à chaque fois.

Le meilleur groupe d'ordinateurs (un « ensemble » de modèles) a obtenu un score de 0,70 au total, ce qui est honorable.
Cependant, regardez les erreurs : deux tiers des fausses alertes de l'ordinateur (disant « Oui, c'est la loi ! » alors que ce n'en était pas une) se sont produites précisément sur ces cas difficiles où les experts humains se disputaient.

L'article suggère que ces erreurs ne sont pas de simples erreurs aléatoires. Ce sont des difficultés intrinsèques. La frontière entre « appliquer une loi » et « énoncer un fait » est floue, même pour les humains. Quand les humains sont incertains, les ordinateurs sont encore plus susceptibles d'être de façon très convaincante dans l'erreur.

Ce que l'article écarte (la liste des « non »)

Ce n'est pas seulement du « bruit » : L'article soutient l'idée que le désaccord des experts n'est pas simplement des données désordonnées qui devraient être ignorées. Au contraire, c'est le signe qu'un cas est réellement difficile.
Ce n'est pas un problème résolu : Les auteurs ne prétendent pas avoir construit un outil parfait capable de remplacer les avocats. Ils affirment explicitement qu'une classification parfaite (obtenir un simple Oui/Non correct à chaque fois) n'est pas actuellement possible pour ces cas délicats.
Ce n'est pas seulement une question de « cerveau » de l'ordinateur : L'échec ne vient pas du fait que l'ordinateur est « bête ». Même lorsque l'ordinateur était très confiant (donnant un score élevé), il était toujours dans l'erreur sur ces cas contestés. L'article montre que la confiance n'est pas synonyme de précision lorsque les humains sont en désaccord.

La lueur d'espoir : une nouvelle façon de jouer

Alors, si l'ordinateur ne peut pas donner un Oui/Non parfait, est-il inutile ? Les auteurs disent non. Ils suggèrent un autre jeu : le Classement (Ranking).

Au lieu de demander à l'ordinateur : « Est-ce la loi ? » (ce qui pourrait être faux), demandez-lui : « Quels sont les 200 cas les plus susceptibles d'être la loi ? »

En laissant plusieurs modèles voter et en classant les résultats, ils ont créé une « liste restreinte ».
Lorsqu'ils ont examiné les 200 meilleurs candidats, 76 % étaient réellement corrects.
Cela signifie qu'un avocat peut utiliser l'outil pour scanner des milliers de documents et obtenir une liste gérable des « indices cachés » les plus prometteurs à examiner manuellement.

Quelle est notre certitude ?

Les auteurs utilisent un langage très prudent.

Ils ont mesuré le désaccord et les taux d'erreur précisément à l'aide de leur ensemble de 1 015 cas.
Ils ont prouvé que les erreurs se concentrent sur les cas contestés à travers dix modèles différents.
Ils suggèrent (mais ne prouvent pas) que ce schéma existe en raison de la « texture ouverte » du droit — un concept où les règles juridiques ont un noyau clair mais des contours flous où l'application est incertaine.
Ils ont démontré qu'un outil de classement non supervisé (qui n'a pas besoin d'étiquettes humaines pour fonctionner) peut atteindre cette précision de 76 % sur les 200 premiers résultats.

Ce qu'il faut retenir

L'article conclut que nous ne devons pas attendre des ordinateurs qu'ils remplacent parfaitement le jugement humain sur ces zones floues du droit. Au lieu de cela, la meilleure utilisation de l'IA est d'agir comme un projecteur haute puissance. Elle ne peut pas rendre le verdict final, mais elle peut éclairer les 200 candidats les plus probables parmi un million, permettant à l'expert humain de faire le travail final et crucial de décider ce qui est réel et ce qui n'est qu'une ombre.

En bref : Là où les experts ne sont pas d'accord, les modèles échouent. Mais si vous utilisez les modèles pour trouver la pile des « peut-être », vous pouvez quand même trouver l'or.

Résumé Technique : Détection des citations juridiques implicites dans les décisions de justice françaises

Énoncé du problème
L'article traite d'une lacune critique dans l'analyse juridique computationnelle : la détection des citations législatives implicites. Si les citations explicites (par exemple, « en application de l'article 1192 ») sont facilement récupérables via une recherche par mots-clés, les tribunaux appliquent fréquemment des règles de droit sans nommer l'article spécifique. Cela crée un « angle mort » tant pour les praticiens du droit cherchant les applications concrètes d'une règle que pour les chercheurs quantitatifs étudiant les tendances jurisprudentielles. La tâche consiste à déterminer, étant donné un passage d'une décision de justice et un article du Code civil candidat, si le passage applique la règle juridique de cet article sans la mentionner explicitement. Cela nécessite de distinguer le raisonnement juridique authentique de la simple similitude sémantique ou de la description factuelle.

Méthodologie
Les auteurs proposent un pipeline complet impliquant la construction d'un jeu de données, l'annotation par des experts et une évaluation multi-modèles :

Construction du jeu de données :
- Source : 182 155 décisions de tribunaux judiciaires (première instance civile) collectées via l'API Judilibre (décembre 2023 – juillet 2025).
- Génération de candidats : Un bi-encodeur (basé sur JuriBERT) a été entraîné sur des citations explicites (avec les numéros d'articles masqués pour éviter l'appariement de motifs) afin de récupérer des articles sémantiquement similaires pour les segments de décisions. Les candidats contenant des mots-clés explicites ont été filtrés.
- Filtrage antagoniste : Pour garantir que le jeu de données contienne des exemples difficiles, les auteurs ont utilisé le modèle o3 d'OpenAI avec un prompt strict pour filtrer les candidats. Seuls les couples où o3 prédisait une application implicite ont été conservés, créant ainsi un ensemble de négatifs « difficiles » où les modèles partageant les schémas de raisonnement de o3 seraient probablement en échec.
- Benchmark final : 1 015 paires passage-article ont été sélectionnées, couvrant 418 articles distincts du Code civil (77 % issus du Livre III : Des obligations).
Protocole d'annotation :
- Trois experts formés au droit ont annoté le jeu de données.
- Gestion du désaccord : Contra�à la pratique standard du NLP qui traite le désaccord comme du bruit, les auteurs l'ont traité comme un signal. A1 et A2 ont étiqueté l'ensemble des 1 015 paires ; A3 a arbitré les 339 cas (33,4 %) où A1 et A2 étaient en désaccord.
- Résultat clé : 92,6 % des cas contestés ont été résolus par « Non » (non-implicite), impliquant souvent la frontière entre la description factuelle et le raisonnement juridique.
Évaluation expérimentale :
- Apprentissage supervisé : Huit encodeurs pré-entraînés (incluant des modèles du domaine juridique comme JuriBERT et SAUL-7B) ont été gelés, avec des classifieurs simples (Régression Logistique, MLP) entraînés par-dessus. Un ensemble de quatre modèles a été construit via le stacking.
- LLM Zero-Shot : Dix LLM ajustés par instruction (allant de 7B à 70B de paramètres) ont été évalués via un prompting zero-shot.
- Classement non supervisé : Une stratégie de classement a été développée en utilisant l'intersection des prédictions de quatre LLM présentant un faible biais positif, combinée à des bases lexicales (TF-IDF, BM25) et un cross-encodeur.

Résultats clés

Performance des modèles : Le meilleur ensemble supervisé a atteint un score F1 de 0,70 et un MCC de 0,53. Les LLM zero-shot ont généralement montré un fort biais positif (prédisant trop souvent « Oui »), ce qui les rend peu fiables en tant que classifieurs binaires mais utiles comme signaux de classement.
La corrélation Désaccord-Échec : La découverte centrale est que les erreurs des modèles se concentrent sur les cas où les experts humains sont en désaccord.
- Les faux positifs de l'ensemble supervisé se trouvaient de manière disproportionnée dans les 33 % de cas contestés.
- Le taux de faux positifs sur les cas contestés était de 14,3 %, contre 8,4 % sur les cas faisant l'objet d'un accord (une augmentation de 1,7x).
- Ce schéma s'est maintenu pour les dix modèles évalués, y compris les cross-encodeurs affinés et les bases NLI.
- Les modèles restaient confiants dans leurs prédictions erronées sur les cas contestés, indiquant un manque de calibration dans les scénarios ambigus.
Utilité non supervisée : En reformulant la tâche comme un problème de recherche de top- $k$ , un ensemble non supervisé a atteint une précision de 76 % à $k=200$ (récupérant 34 % des vrais positifs), surpassant nettement le classement aléatoire et les bases lexicales.

Signification et Revendications
L'article soutient que le désaccord des experts n'est pas un bruit d'annotation mais un signal de la difficulté intrinsèque de la tâche, reflétant probablement la « texture ouverte » des concepts juridiques (Hart, 1961) où la frontière entre fait et droit est véritablement ambiguë.

Limites de la classification : Les auteurs soutiennent qu'une classification binaire parfaite est inatteignable pour ces cas ambigus car même les experts humains ne parviennent pas à un consensus.
Voie pratique : Au lieu de jugements binaires, l'article propose le classement par consensus multi-modèles comme un outil viable pour les professionnels du droit. En présentant une liste restreinte gérable de candidats (par exemple, le top 200), le système permet aux experts de trier les cas où la loi est la plus ambiguë, plutôt que de tenter d'automatiser la décision finale.
Contribution au NLP : Ce travail remet en question la pratique standard du NLP consistant à supprimer le désaccord des annotateurs, démontrant que dans le domaine juridique, le désaccord prédit l'échec des modèles et doit être utilisé pour identifier les limites des méthodes computationnelles actuelles.

L'article conclut que si les méthodes computationnelles peinent face à la « pénumbra » du raisonnement juridique, elles peuvent néanmoins fournir une assistance utile en mettant en lumière les cas limites pour examen humain, à condition que le système soit conçu pour reconnaître et gérer l'incertitude plutôt que pour la masquer.