💬 NLP

BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law

L'article présente BenGER, un jeu de données de référence complet pour évaluer les modèles de langage de grande taille sur le raisonnement juridique fondé sur la subsumption en droit allemand, démontrant que les modèles phares fermés dominent les performances tandis que la co-création humain-IA surpasse significativement le travail humain non assisté, le tout validé par un cadre robuste de type LLM-as-a-Judge.

Auteurs originaux : Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment devenir avocat. Mais pas n'importe quel avocat : un spécialiste du système juridique allemand, spécifique, rigide et hautement structuré. Dans ce système, résoudre un problème juridique ne consiste pas à deviner la bonne réponse ; il s'agit de suivre une recette stricte appelée « subsumption ».

Pensez-y comme à la cuisson d'un gâteau où la recette exige que vous listiez chaque ingrédient, expliquiez exactement pourquoi il correspond à la recette, puis prouviez comment il se mélange aux autres ingrédients avant même de pouvoir dire : « Le gâteau est prêt. » Si vous sautez une étape ou si vous dites simplement « C'est un gâteau », vous échouez, même si le gâteau a bon goût.

Ce document, BenGER, est un nouveau test massif conçu pour vérifier si les intelligences artificielles modernes (les grands modèles de langage) peuvent réellement suivre cette recette juridique allemande stricte.

Voici le détail de ce qu'ils ont fait, en utilisant des analogies simples :

1. La Cuisine de Test (L'ensemble de données)

Les chercheurs ont construit une immense « cuisine de test » appelée BenGER. Elle contient trois types de défis :

Les Grands Examens : 596 affaires juridiques longues et complexes (comme des examens finaux pour étudiants en droit) où l'IA doit rédiger une solution complète et structurée.
Les Quiz Rapides : 531 questions courtes sur les principes juridiques.
Le « Benchathon » (Le Laboratoire Humain vs IA) : Un ensemble spécial de 15 nouveaux problèmes où ils n'ont pas seulement demandé à l'IA de les résoudre. Ils ont également demandé à de vrais humains de les résoudre de deux manières :
1. Solo : Des humains travaillant seuls avec des livres et Internet.
2. Co-création : Des humains travaillant avec un assistant IA pour rédiger la solution.

2. Les Juges (Comment ils ont noté les réponses)

Noter des dissertations juridiques est notoirement délicat. Même les experts humains sont souvent en désaccord. Un professeur peut donner une note « A » à un travail, tandis qu'un autre donne un « C » pour le même travail.

Pour gérer cela, les chercheurs n'ont pas demandé à une seule personne de noter l'IA. Ils ont construit un « Juge Robot » (un LLM en tant que Juge) entraîné sur une grille d'évaluation très spécifique (une liste de contrôle de notation).

La Grille : Imaginez une fiche de notation avec 10 catégories, telles que « Avez-vous trouvé la bonne loi ? », « Avez-vous relié les faits à la loi ? » et « Votre écriture est-elle organisée ? »
La Validation : Pour s'assurer que leur Juge Robot n'était pas biaisé ou fou, ils ont comparé ses notes à celles d'un panel de trois experts humains qui ont noté les mêmes réponses à l'aveugle.
Le Résultat : Le Juge Robot s'est révélé étonnamment équitable. Lorsqu'ils ont remplacé un évaluateur humain par le Juge Robot, la note finale du groupe n'a pas beaucoup changé. Le Juge Robot était aussi fiable qu'un expert humain.

3. Les Résultats (Qui a gagné ?)

Ils ont testé 12 systèmes d'IA différents, allant des modèles « Phares » les plus puissants (les superordinateurs du monde de l'IA) aux modèles « Efficacité » plus petits et plus rapides.

Les Champions : Les grands modèles « Phares » à code source fermé (comme ceux d'OpenAI, Anthropic et Google) sont arrivés en tête. Ils ont obtenu les scores les plus élevés, obtenant souvent des « notes de passage » qui rivalisent avec celles des meilleurs étudiants en droit.
Les Outsiders : Les modèles à code source ouvert (téléchargeables gratuitement) ont fait du bon travail, mais ils ont généralement pris du retard par rapport aux grands modèles commerciaux.
La Combinaison Magique : La découverte la plus surprenante concernait la Co-création Humain–IA. Lorsque les humains avaient la possibilité d'utiliser l'IA pour les aider à rédiger leurs réponses, leurs scores ont décollé. Ils ne se sont pas contentés de faire aussi bien que l'IA ; ils ont fait mieux que les humains travaillant seuls, et ils ont même battu l'IA travaillant seule. C'était comme un chef humain utilisant un batteur haute technologie pour cuire un gâteau meilleur que ce que le chef pourrait faire seul ou que la machine pourrait faire seule.

4. Les « Pièges » (Ce que le document nous met en garde)

Les auteurs sont très honnêtes sur les limites :

Boîte Noire : Ils ont testé l'IA telle qu'elle est vendue au public (via une API). Ils ne pouvaient pas voir le « moteur » sous le capot, ils ne savent donc pas exactement pourquoi un modèle est meilleur qu'un autre, seulement qu'il est meilleur.
La Recette est Spécifique : Ce test est strictement réservé au Droit Allemand. La façon dont les avocats allemands pensent (la recette de la « subsumption ») est différente de la façon dont les avocats aux États-Unis ou au Royaume-Uni pensent (qui s'appuient davantage sur les affaires passées). Vous ne pouvez pas prendre ces résultats et dire : « Cette IA sera un excellent avocat à New York ».
Risque de Mémorisation : Certaines des questions du test provenaient de revues publiques. Il est possible que l'IA ait simplement mémorisé les réponses sur Internet plutôt que de réellement « réfléchir » au problème. Cependant, les nouvelles questions du « Benchathon » (que l'IA n'avait jamais vues auparavant) ont montré des résultats similaires, suggérant que l'IA apprend réellement la logique et ne triche pas simplement.

La Conclusion

Ce document dit : « Nous avons construit un test strict et équitable pour le raisonnement juridique allemand. Les meilleurs modèles d'IA sont maintenant très bons pour suivre les règles, mais ils ne sont pas encore parfaits. Cependant, lorsque les humains s'associent à l'IA, ils deviennent des super-avocats, surpassant à la fois les humains et l'IA travaillant seuls. »

Ils ont également prouvé qu'un Juge Robot intelligent peut noter ces dissertations presque aussi fiablement qu'une salle remplie de professeurs humains, ce qui pourrait aider à mettre à l'échelle l'éducation et les tests juridiques à l'avenir.

Résumé technique : BenGER – Évaluation des systèmes de LLM sur le raisonnement juridique par subsumption en droit allemand

Énoncé du problème

L'évaluation des grands modèles de langage (LLM) sur le raisonnement juridique est intrinsèquement difficile en raison du caractère « bruyant » du jugement humain d'expert. Dans l'enseignement et la pratique juridiques allemands, la notation présente une variabilité substantielle même parmi les experts ; des réponses identiques peuvent recevoir des scores nettement différents selon le correcteur. Cela remet en cause la création de références fiables, car une seule étiquette de « vérité terrain » est souvent une simplification excessive d'une distribution d'évaluations d'experts plausibles.

De plus, les références existantes en traitement automatique du langage juridique (NLP) se concentrent principalement sur des tâches de classification, des réponses à des questions de forme courte, ou des juridictions de common law (par exemple, États-Unis, Royaume-Uni) qui reposent sur un raisonnement basé sur la jurisprudence. Elles échouent largement à traiter le raisonnement par subsumption, le paradigme central de la doctrine du droit civil allemand. Ce paradigme exige un processus de génération structuré en quatre étapes (Obersatz–Definition–Subsumtion–Ergebnis) où le système doit ancrer des faits spécifiques sous des normes statutaires. Les références actuelles ne testent pas adéquatement cette capacité de génération étayée ni n'évaluent les systèmes par rapport aux conventions de notation spécifiques basées sur des grilles, utilisées dans les examens d'État allemands.

Méthodologie

Le jeu de données BenGER

Les auteurs introduisent BenGER (Benchmark for German Law), un jeu de données comprenant trois composants distincts totalisant plus de 1 100 tâches :

Corpus ZJS : 581 tâches de cas juridiques en texte libre, de type examen, disponibles publiquement, issues de la Zeitschrift für das Juristische Studium, couvrant le droit civil, pénal et public à divers niveaux éducatifs.
Corpus Benchathon : 15 tâches de type examen de difficulté intermédiaire nouvellement collectées. Crucialement, ce sous-ensemble comprend 220 solutions humaines (65 traditionnelles, sans aide ; 155 co-créées humain–IA) générées dans un environnement contrôlé pour servir de références humaines.
Corpus des principes doctrinaux : 531 éléments de raisonnement de forme courte (paires question–réponse) sondant les principes juridiques fondamentaux et la jurisprudence récente.

Cadre d'évaluation

L'étude évalue 12 systèmes LLM contemporains, classés en modèles phares fermés, axés sur l'efficacité et modèles de référence à poids ouverts. L'évaluation utilise une méthodologie hybride pour répondre à la variabilité de la notation juridique :

LLM en tant que Juge : Un juge LLM spécialisé (principalement GPT-5-mini) est aligné sur les grilles de notation juridiques allemandes. Il évalue les solutions selon 10 dimensions : justesse du résultat, identification des problèmes, fondement juridique, connaissance doctrinale, qualité de la subsumption, profondeur du problème, structure méthodologique, organisation, terminologie et justesse formelle. Les scores sont agrégés en un score brut de 0 à 100 et mappés sur l'échelle allemande de 0 à 18 points.
Validation humaine : Le juge LLM est croisé avec un protocole humain multi-évaluateurs sur le sous-ensemble Benchathon. Chaque solution sélectionnée reçoit trois examens indépendants à l'aveugle et un examen créateur informé par l'auteur.
Analyse statistique : L'étude traite l'évaluation comme une distribution sur des évaluations d'experts plausibles plutôt que comme une étiquette déterministe. Elle utilise des métriques telles que la corrélation de Pearson/Spearman, le $\kappa$ de Cohen, les coefficients de corrélation intraclasse (ICC) et le test alternatif de Calderon pour déterminer si le remplacement d'un juge humain par un juge LLM dégrade l'accord avec l'ensemble humain complet.

Configuration expérimentale

Génération : Tous les systèmes ont été sollicités avec des instructions identiques en langue allemande reflétant l'échafaudage du Gutachtenstil (style d'examen).
Métriques : L'évaluation inclut des métriques de surface automatiques (BLEU, ROUGE, METEOR, BERTScore, etc.) et les scores du juge LLM aligné sur la grille.
Conditions : Les références humaines ont été testées dans des conditions « traditionnelles » (sans aide) et de « co-création » (assistées par IA) pour mesurer l'impact des outils IA sur la performance humaine.

Résultats clés

1. Performance des systèmes (RQ1 & RQ2)

Domination des modèles phares fermés : Les systèmes phares fermés (OpenAI, Anthropic, Google) dominent le classement sur les trois corpus. Sur le sous-ensemble Benchathon, les modèles de premier plan (par exemple, Sonnet-4.6, Opus-4.7, GPT-5.4) obtiennent des scores bruts dans les 80 bas à moyens avec des taux de réussite proches de 100 %.
Écart des poids ouverts : Les systèmes à poids ouverts performants (DeepSeek-V4-Pro, Qwen3-235B) restent en retrait des modèles phares fermés d'environ 9 à 20 points bruts sur Benchathon, bien que cet écart se réduise sur le corpus ZJS.
Niveaux de systèmes : L'écart de performance entre les systèmes phares et les systèmes à poids ouverts est significatif mais se réduit au niveau intermédiaire. Les systèmes fermés axés sur l'efficacité et les modèles à poids ouverts forment une bande intermédiaire chevauchante.

2. Validité de l'évaluation (RQ3)

Métriques lexicales vs sémantiques : Contrairement aux attentes pour les textes longs, les métriques de surface lexicales (METEOR, ROUGE, BLEU) corrèlent plus fortement avec le juge LLM aligné sur la grille que les métriques d'encodage sémantique (BERTScore, Sentence-BERT). Cela est attribué à la nature hautement modélisée de l'écriture juridique allemande, où les réponses de haute qualité partagent une substance importante de n-grammes concernant les citations statutaires et l'échafaudage structurel.
Limites des métriques : S'appuyer uniquement sur des métriques lexicales conduirait à un classement erroné des systèmes à la frontière phare–intermédiaire par rapport au juge aligné sur la grille.

3. Co-création Humain–IA (RQ4)

Amélioration des performances : La co-création humain–IA surpasse nettement le travail humain sans aide. Le score moyen du juge pour les solutions co-créées est de 82,2 (brut), contre 62,3 pour les solutions traditionnelles sans aide — une différence de +19,9 points bruts.
Référencement : La performance moyenne des solutions humaines co-créées se situe dans l'intervalle de confiance à 95 % du niveau des LLM phares fermés, surpassant nettement les humains sans aide et les modèles à poids ouverts plus faibles.

4. Fiabilité de la notation (RQ5)

Validité du juge LLM : La déviation du juge LLM par rapport à la moyenne humaine est comparable à la variabilité inter-évaluateurs parmi les correcteurs humains.
- Corrélation : Le juge s'accorde avec la moyenne des examinateurs humains à l'aveugle avec un $r$ de Pearson de 0,78.
- Test de Calderon : Remplacer un juge humain par le juge LLM dans un pool dégrade l'accord avec la référence humaine complète au plus autant que la suppression totale de cet examinateur humain ( $r=0,96$ pour les deux pools, substitué par juge et leave-one-out humain).
Stabilité : Le juge LLM est plus cohérent avec lui-même lors des réexécutions (écart-type 2,51) que les évaluateurs humains ne le sont entre eux (dispersion de 23,9 points bruts).
Accord dimensionnel : L'accord est le plus élevé sur les dimensions structurées (Justesse du résultat, Identification des problèmes) et le plus faible sur les dimensions basées sur la présentation (Organisation, Terminologie).

Importance et affirmations

L'article revendique trois contributions principales :

Une nouvelle référence : BenGER fournit la première référence complète pour le raisonnement juridique par subsumption en droit allemand, comblant une lacune dans les ressources NLP juridiques existantes qui privilégient la common law ou les tâches de classification.
Évaluation empirique : Il offre une évaluation rigoureuse de 12 systèmes LLM par rapport à des références humaines, révélant que si les modèles phares fermés dominent, la co-création humain–IA produit les performances les plus élevées, surpassant les experts humains sans aide.
Innovation méthodologique : L'étude valide un cadre LLM en tant que Juge aligné sur la grille qui prend en compte la variabilité inhérente de la notation juridique. En démontrant qu'un juge LLM peut remplacer un examinateur humain sans dégrader la fiabilité du pool d'évaluation (selon le test de Calderon), l'article soutient l'utilisation des LLM comme évaluateurs évolutifs aux côtés des humains, plutôt que comme vérité terrain autonome.

Les auteurs soulignent que la référence est destinée à une évaluation à l'échelle de la recherche et n'est pas encore validée pour une utilisation comme instrument d'évaluation notée dans l'enseignement juridique ou pour un déploiement dans la pratique juridique. Le travail met en lumière les exigences structurelles du raisonnement juridique allemand et le potentiel de l'IA d'améliorer, plutôt que de remplacer, l'analyse juridique humaine lorsqu'elle est utilisée dans une capacité de co-création.