Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions
Cet article présente Multi-Legal-Bench, le premier benchmark transjuridictionnel évaluant le raisonnement juridique dans six pays et quatre familles linguistiques, révélant que la performance des tâches varie considérablement selon la juridiction et que l'alignement des ensembles d'étiquettes, plutôt que la proximité linguistique ou l'efficacité des tokenizers, est le principal prédicteur du succès du transfert few-shot translingue.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de tester à quel point un groupe de nouveaux étudiants surdoués (les grands modèles de langage ou LLM) comprennent le droit.
Par le passé, les chercheurs ne testaient ces étudiants que dans un seul pays (généralement les États-Unis ou le Royaume-Uni) et dans une seule langue (l'anglais). C'était comme donner un test de mathématiques à des étudiants à New York et supposer que les résultats indiqueraient exactement comment ils se comporteraient lors d'un test de mathématiques à Tokyo. Mais les lois diffèrent partout, et les langues aussi, si bien que cette hypothèse était erronée.
Ce papier présente Multi-Legal-Bench, un nouveau « bulletin de notes mondial » conçu pour corriger cela. Voici comment cela fonctionne, en utilisant des analogies simples :
1. L'idée du « Même examen, différentes salles de classe »
Les chercheurs ont créé une référence où les questions sont exactement les mêmes, mais les salles de classe sont différentes.
- Les Étudiants : Ils ont testé 11 modèles d'IA différents (certains énormes, d'autres petits).
- Les Salles de classe : Ils ont sélectionné 6 pays : l'Ukraine, la France, les Pays-Bas, la Pologne, la République tchèque et la Lituanie.
- Les Matières : Ils n'ont pas demandé à l'IA de rédiger des essais. Ils lui ont soumis 5 tâches logiques spécifiques basées sur de véritables documents judiciaires :
- Classification du type de tribunal : « S'agit-il d'une affaire pénale ou civile ? » (Comme trier le courrier en « Publicité » vs « Factures »).
- Classification du type de jugement : « S'agit-il d'un verdict définitif ou d'une ordonnance temporaire ? » (Comme distinguer un « Examen final » d'un « Interrogatoire surprise »).
- Prédiction du résultat de l'affaire : « Sur la base des faits, qui gagne ? » (La partie la plus difficile, comme deviner le vainqueur d'une partie d'échecs avant qu'elle ne se termine).
- Extraction des normes juridiques : « Trouvez les lois spécifiques citées dans ce texte. » (Comme trouver tous les mots rouges dans un paragraphe).
- Prédiction de la catégorie de la cause : « De quoi traite cette affaire ? Fiscalité ? Famille ? Contrats ? » (Comlike trier des livres par genre).
2. La réalité de la « Carte éparses »
Les chercheurs n'ont pas forcé chaque pays à disposer de données pour chaque tâche. Ils ont été honnêtes sur le désordre du monde réel.
- L'analogie : Imaginez une carte d'une ville où certaines rues ont des feux de circulation et d'autres non. Ils n'ont pas inventé de faux feux de circulation pour les rues qui n'en avaient pas. Ils ont simplement cartographié exactement où les données existaient. Cela a abouti à une grille « éparses » (certaines cases remplies, d'autres vides), ce qui raconte en fait une histoire plus honnête sur la façon dont les données juridiques sont stockées dans différents pays.
3. Les grandes surprises (Ce qu'ils ont découvert)
A. « Une taille unique ne convient pas à tous »
Il n'existe pas de « Meilleure IA » pour le droit.
- L'analogie : Considérez les modèles d'IA comme différents types de voitures. Une voiture peut être la plus rapide sur un circuit (droit français), mais terrible sur un terrain boueux (droit polonais). Une autre voiture peut être excellente dans la boue mais lente sur le circuit.
- Le résultat : Un modèle classé n°1 en France peut être dernier en Pologne. Vous ne pouvez pas simplement choisir le modèle le plus « intelligent » ; vous devez choisir le bon modèle pour le pays et la tâche spécifiques.
B. Le mythe de la « Famille de langues »
Les chercheurs pensaient que les langues qui sont des « cousines » (comme l'ukrainien et le polonais, tous deux slaves) faciliteraient le transfert de connaissances pour une IA.
- L'analogie : Ils s'attendaient à ce que si l'on enseignait à un étudiant en ukrainien, il comprendrait facilement un test similaire en polonais.
- Le résultat : Ils avaient tort. L'IA a en fait mieux transféré de l'ukrainien vers le français (une cousine lointaine) que vers le polonais.
- Pourquoi ? Ce n'était pas une question de langue, mais d'étiquettes. Si la « clé de correction » (les catégories que l'IA doit choisir) semblait similaire, l'IA réussissait bien, même si les langues étaient totalement différentes. Si les clés de correction étaient désordonnées et différentes, l'IA peinait, même si les langues étaient similaires.
C. L'effet de l'« Indice » (Apprentissage par quelques exemples)
Ils ont testé si donner à l'IA quelques exemples (indices) avant le test l'a aidée.
- Le résultat : Cela dépend de la tâche.
- Pour le tri de documents (Type de jugement), donner des exemples était comme donner un trousseau de réponses à un étudiant : cela a aidé partout.
- Pour prédire qui gagne une affaire, donner des exemples était comme un lancer de pièce. Parfois cela aidait, parfois cela perturbait l'IA.
- Pour le tri simple (Type de tribunal), l'IA était déjà si bonne qu'elle n'avait pas besoin d'indices.
D. Le piège du « Nombre de mots »
Ils ont examiné la « Fertilité des jetons », qui est essentiellement le nombre de petits morceaux (jetons) dont un modèle a besoin pour décomposer un mot.
- L'analogie : Imaginez qu'un étudiant écrive un mot en 2 lettres, et un autre en 10 lettres. Vous pourriez penser que l'étudiant écrivant 10 lettres est inefficace.
- Le résultat : Ils ont découvert que l'« efficacité » d'un modèle à décomposer les mots ne prédit pas à quel point il est intelligent dans les tâches juridiques réelles. Un modèle qui utilise plus de « lettres » pour écrire un mot peut tout de même être aussi précis qu'un modèle qui en utilise moins. La métrique d'« efficacité » est bonne pour estimer combien coûtera le test, mais c'est une mauvaise estimation de la performance réelle du modèle.
4. La conclusion
Ce papier est un avertissement à quiconque tente d'utiliser l'IA pour le droit : Ne supposez pas que ce qui fonctionne dans un pays fonctionne dans un autre.
- Si vous créez une IA juridique pour la France, ne supposez pas qu'elle fonctionnera en Pologne simplement parce qu'ils sont tous deux en Europe.
- Si vous voyez qu'un modèle est « efficace » avec les mots, ne supposez pas qu'il est le meilleur pour résoudre des problèmes juridiques.
- La seule façon de savoir si une IA est bonne pour votre système juridique spécifique est de la tester sur vos données spécifiques, avec vos règles spécifiques.
Les chercheurs ont rendu toutes leurs données, questions et résultats publics, afin que quiconque puisse établir son propre « bulletin de notes » pour voir quelle IA fonctionne le mieux pour son quartier juridique spécifique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.