💬 NLP

LEXam: Benchmarking Legal Reasoning on 340 Law Exams

Ce papier présente LEXam, un nouveau benchmark composé de 7 537 questions tirées de 340 examens de droit en anglais et en allemand, conçu pour évaluer et démontrer les limites actuelles des grands modèles de langage dans le raisonnement juridique structuré et à long terme grâce à une validation rigoureuse par des experts humains.

Auteurs originaux : Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexa

Publié 2026-04-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexander Stremitzer, Christoph Engel, Elliott Ash, Joel Niklaus

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏛️ LEXAM : Le "Grand Oral" des IA en Droit

Imaginez que vous voulez tester l'intelligence d'un élève. Vous pourriez lui poser des questions à choix multiples (Vrai/Faux), un peu comme un quiz télévisé. Mais pour vraiment savoir s'il est un génie, il faut lui demander de rédiger une dissertation complexe, d'expliquer son raisonnement et de résoudre un problème juridique imbriqué.

C'est exactement ce que les auteurs de ce papier ont fait avec les Grands Modèles de Langage (IA) comme ChatGPT ou Gemini. Ils ont créé LEXAM, un nouveau "terrain de jeu" pour tester les IA sur leur capacité à raisonner comme de vrais juristes.

1. Le Problème : Les IA sont de bonnes "pigeons" mais de mauvais "avocats"

Jusqu'à présent, on testait les IA sur des sujets comme les maths ou la physique, où la réponse est soit juste, soit fausse (comme une équation). En droit, c'est beaucoup plus flou.

L'analogie : Une IA peut être excellente pour réciter le code de la route (connaître les règles), mais elle échoue souvent quand il faut l'appliquer à une situation bizarre où trois voitures se croisent sous la pluie. Elle a tendance à "halluciner" (inventer des lois qui n'existent pas) ou à sauter des étapes de logique.

2. La Solution : LEXAM, le "Super-Examen"

Les chercheurs ont collecté 340 examens réels de l'Université de Zurich (en Suisse), couvrant des milliers de questions.

Le contenu : C'est un mélange de 7 500 questions. Certaines sont des QCM (choix multiples), mais la vraie bête noire sont les questions ouvertes (des longs textes où l'IA doit expliquer sa démarche).
La langue : Les questions sont en allemand et en anglais. C'est crucial car le droit change selon la langue et la culture (comme la différence entre le droit suisse et le droit américain).
Le niveau : Ce ne sont pas des questions pour débutants. C'est du niveau Master, avec des scénarios complexes où il faut trouver la bonne loi, l'interpréter et l'appliquer.

3. Comment on note les IA ? (Le Juge Humain vs Le Juge IA)

Comment savoir si une IA a bien répondu à une dissertation juridique ?

Le défi : On ne peut pas juste comparer les mots (comme on le fait pour la traduction). Une IA peut utiliser des mots différents mais avoir le même raisonnement, ou inversement, utiliser les bons mots mais avoir un raisonnement faux.
La solution ingénieuse : Les chercheurs ont créé un "jury d'IA". Ils ont entraîné plusieurs IA (comme GPT-4o, DeepSeek, etc.) à agir comme des professeurs de droit.
- L'analogie : Imaginez un tribunal où trois juges (les IA) notent la copie d'un élève (l'IA testée). Pour éviter que les juges ne soient trop gentils avec leurs "amis" (leurs propres versions), ils utilisent une méthode spéciale : ils prennent la note la plus basse des trois juges. Si un seul juge dit "c'est nul", la note est basse.
- La validation : Ils ont vérifié que ce "jury d'IA" donnait les mêmes notes que des vrais professeurs de droit humains. Résultat : les IA juges sont aussi fiables que les humains, mais beaucoup plus rapides et moins chères !

4. Les Résultats : Les IA sont encore des "élèves moyens"

Les résultats sont sans appel :

Les QCM : Les IA réussissent plutôt bien aux questions à choix multiples, surtout s'il y a peu de choix. Mais dès qu'on augmente le nombre de mauvaises réponses possibles (les "leurres"), elles se trompent de plus en plus. C'est comme si elles devinaient au hasard quand le choix devient trop vaste.
Les questions ouvertes : C'est là que ça coince. Les IA peinent terriblement à faire un raisonnement juridique structuré (étape par étape).
- L'exemple concret : Dans un cas d'arbitrage, une IA a cité la bonne loi mais au mauvais article, ou a oublié que les parties étaient dans le même pays. Elle a donné une réponse qui semblait intelligente mais qui était juridiquement fausse.
Le paradoxe : Les modèles les plus "intelligents" (ceux qui réfléchissent beaucoup avant de répondre) font mieux, mais même eux échouent souvent sur des questions complexes qui demandent de la nuance.

5. Pourquoi c'est important ?

Le droit est un domaine à haut risque. Si une IA donne un mauvais conseil juridique à un avocat ou à un citoyen, cela peut avoir de graves conséquences (perte de procès, prison, etc.).

La leçon : On ne peut pas encore faire confiance aux IA pour prendre des décisions juridiques seules. Elles sont comme des stagiaires très rapides qui lisent beaucoup de livres, mais qui n'ont pas encore l'expérience de terrain pour éviter les pièges.

En résumé

LEXAM est comme un examen de fin d'année très difficile pour les IA. Il nous dit : "Bravo, vous savez réciter le code, mais vous n'êtes pas encore prêts à plaider en cour." C'est un outil précieux pour les chercheurs afin d'améliorer les IA et pour les professeurs pour enseigner à l'IA comment mieux raisonner, sans se fier uniquement à la vitesse de réponse.

C'est une étape cruciale pour s'assurer que, quand l'IA sera utilisée dans la vraie vie, elle ne nous mentira pas sur la loi ! ⚖️🤖

1. Problématique

Le raisonnement juridique à long terme (long-form legal reasoning) reste un défi majeur pour les grands modèles de langage (LLM), malgré les récents progrès dans le scaling au moment de l'inférence (test-time scaling). Les benchmarks juridiques existants souffrent de plusieurs limitations :

Focalisation sur les résultats plutôt que sur le processus : La plupart des évaluations se concentrent uniquement sur la justesse de la réponse finale (approche basée sur le résultat), négligeant les étapes intermédiaires de raisonnement nécessaires pour atteindre une conclusion juridiquement valide.
Manque de complexité et de diversité : Les benchmarks actuels sont souvent limités à des tâches déterministes (comme les mathématiques ou la physique) ou à des juridictions spécifiques (principalement les États-Unis et la Chine), sans couvrir adéquatement la complexité des examens de droit réels.
Biais linguistiques et culturels : Les modèles peinent à généraliser leurs capacités de raisonnement à travers différentes langues (ici, l'anglais et l'allemand) et systèmes juridiques (Common Law vs Droit Civil).
Évaluation non fiable : L'utilisation de LLMs génériques comme juges pour évaluer des réponses juridiques complexes pose des problèmes de fiabilité, de biais et de cohérence avec l'expertise humaine.

2. Méthodologie

A. Construction du Dataset LEXAM

Les auteurs ont créé LEXAM, un benchmark multilingue dérivé de 340 examens de droit réels dispensés à la Faculté de droit de l'Université de Zurich entre 2016 et 2023.

Volume et Structure : Le dataset contient 7 537 questions au total, réparties en :
- 2 841 questions ouvertes (Open-ended) : Requérant des réponses structurées et détaillées. Chaque question est accompagnée d'une réponse de référence et d'un guide explicite sur la méthode de raisonnement attendue (détection des problèmes, rappel des règles, application).
- 4 696 questions à choix multiples (MCQ) : Générées à partir de questions vrai/faux et d'examens existants, avec un nombre d'options variables (de 4 à 32 choix) pour tester la robustesse.
Diversité Juridique : Les questions couvrent 116 cours répartis sur 78 sous-domaines juridiques (droit privé, public, pénal, interdisciplinaire) et incluent des aspects de droit suisse, international et comparé.
Langues : Les données sont en anglais et en allemand. Les questions ne sont pas des traductions parallèles, mais des items indépendants tirés d'examens distincts, préservant ainsi les nuances juridiques spécifiques à chaque langue.

B. Cadre d'Évaluation (LLM-as-a-Judge)

Pour évaluer les réponses ouvertes, les auteurs ont développé un cadre d'évaluation robuste :

Juge Ensembliste (Ensemble LLM-as-a-Judge) : Au lieu d'utiliser un seul modèle, ils ont conçu un ensemble de juges (GPT-4o, Qwen3-32B, DeepSeek-V3) utilisant une stratégie de score minimum (minimum-score ensemble). Cette approche réduit les biais d'autoréférence et les biais familiaux (quand un modèle juge favorablement ses propres sorties ou celles de sa famille).
Validation par Experts Humains : Pour valider la fiabilité de ce système de juges LLM, les auteurs ont mené une Alternative Annotator Test (Alt-test). Trois experts juridiques (titulaires d'un doctorat) ont annoté un échantillon de 50 paires question-réponse.
- Les juges LLM ensemblistes ont surpassé les experts humains avec un taux de victoire ( $\omega$ ) de 1,00, démontrant qu'ils peuvent servir de substitut statistiquement justifié aux annotateurs humains pour ce type de tâche.
Métriques :
- Pour les questions ouvertes : Un score de justesse (0 à 1) basé sur l'alignement avec la réponse de référence, la précision des citations juridiques et la structure du raisonnement.
- Pour les MCQ : Précision (Accuracy) avec des tests de robustesse (perturbation du nombre d'options).

3. Contributions Clés

Nouveau Benchmark LEXAM : Le premier benchmark juridique multilingue (EN/DE) basé sur des examens universitaires réels, offrant à la fois des questions ouvertes complexes et des MCQs à options variables.
Évaluation Processus vs Résultat : La capacité d'évaluer non seulement la réponse finale, mais aussi la chaîne de raisonnement juridique (issue spotting, rule application), grâce aux guides de réponse fournis.
Validation Rigoureuse des Juges LLM : Démonstration empirique qu'un ensemble de LLMs, validé par des experts humains via l'Alt-test, peut évaluer de manière fiable et reproductible le raisonnement juridique, surpassant les juges individuels.
Analyse des Limites des Modèles : Identification systématique des faiblesses des LLMs actuels dans le raisonnement juridique structuré et multilingue.

4. Résultats Principaux

Performance des Modèles

Difficulté Générale : Les modèles de l'état de l'art (SOTA) peinent considérablement sur les questions ouvertes nécessitant un raisonnement juridique structuré. Le modèle le plus performant, GPT-5, obtient un score moyen de 70,20 sur 100, tandis que les petits modèles chutent souvent en dessous de 20-30.
Modèles de Raisonnement : Les modèles explicitement optimisés pour le raisonnement (ex: GPT-5, Gemini-2.5-Pro, Claude-3.7/4.5-Sonnet, DeepSeek-R1) surpassent systématiquement les modèles conventionnels de grande taille.
Impact de la Langue : Tous les groupes de modèles obtiennent de meilleurs résultats en anglais qu'en allemand, avec un écart plus prononcé pour les petits modèles, soulignant un manque de compétence juridique multilingue.
Robustesse des MCQs :
- L'augmentation du nombre d'options (de 4 à 32) entraîne une chute drastique de la précision pour tous les modèles. Par exemple, la précision de Gemini-2.5-Pro passe de 68,6 % (4 choix) à 35,6 % (32 choix).
- Cela suggère que les modèles s'appuient souvent sur des signaux superficiels ou devinent plutôt que de raisonner profondément lorsque la complexité des distracteurs augmente.
- Les questions formulées de manière négative ("Quelle affirmation est fausse ?") provoquent également une baisse significative des performances.

Analyse des Échecs

Les analyses qualitatives révèlent des modes d'échec récurrents :

Hallucinations juridiques : Citations de lois inexistantes ou de jurisprudence fictive.
Raisonnement défectueux : Mauvaise identification de la juridiction applicable ou de la règle pertinente (ex: confusion entre l'article 176 et 193 de la PILA dans l'exemple de la figure 2).
Faiblesse linguistique : Incohérences et mélange de langues chez les modèles plus petits.

5. Signification et Impact

Pour la Recherche NLP : LEXAM comble un vide critique en fournissant une ressource pour évaluer le raisonnement de haut niveau dans un domaine à fort enjeu, au-delà de la simple mémorisation de faits.
Pour l'Éducation et la Pratique : Le benchmark offre un outil pour les éducateurs afin d'évaluer les capacités de l'IA dans l'enseignement du droit et met en garde contre l'utilisation actuelle des LLMs pour des décisions juridiques réelles sans supervision humaine.
Méthodologique : L'approche de validation par "Ensemble LLM-as-a-Judge" couplée à l'Alt-test propose une nouvelle norme pour l'évaluation des tâches complexes où les réponses humaines sont subjectives ou rares.
Avenir : Les auteurs prévoient d'étendre le benchmark à d'autres juridictions (Common Law, Chine, etc.) et de mettre à jour les données pour refléter les évolutions législatives, positionnant LEXAM comme une ressource dynamique pour la communauté.

En résumé, LEXAM démontre que si les LLMs montrent des progrès, ils restent loin de maîtriser le raisonnement juridique nuancé, structuré et multilingue requis par la pratique réelle du droit, et propose un cadre rigoureux pour mesurer ces écarts.