PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais qu'au lieu de chercher des empreintes digitales, vous cherchez les lois spécifiques qui s'appliquent à une histoire. Dans le monde du droit, particulièrement dans des endroits comme l'Inde, chaque crime ou litige est lié à un ensemble spécifique de règles écrites appelées « statuts ». Considérez ces statuts comme le livre de règles d'un jeu géant et complexe. Si quelqu'un enfreint une règle, vous devez trouver la page exacte du livre de règles qui décrit son erreur. C'est ce qu'on appelle la « Prédiction de Statut ». Pendant des années, les ordinateurs sont devenus de plus en plus doués pour lire ces histoires et deviner la bonne page du livre de règles, un peu comme un bibliothécaire super rapide. Mais il y a un piège : deviner la bonne page ne suffit pas. Dans un véritable tribunal, un juge ou un avocat a besoin de savoir pourquoi cette règle s'applique. Ils ont besoin du raisonnement, du « parce que », et pas seulement du « quoi ». C'est comme un GPS qui vous dit de tourner à gauche mais refuse de vous expliquer qu'il y a un énorme nid-de-poule devant. Cette étude plonge dans cette pièce manquante, en posant la question : pouvons-nous apprendre aux ordinateurs non seulement à deviner la loi, mais aussi à expliquer leur logique d'une manière qui fait sens pour les humains ?

Les chercheurs derrière cette étude, dirigés par une équipe d'universités indiennes, ont réalisé que si les ordinateurs devenaient bons pour deviner, ils étaient terribles pour expliquer pourquoi ils avaient fait ce choix. Pour corriger cela, ils ont construit quelque chose appelé PROSLEX. Considérez PROSLEX comme un camp d'entraînement massif et super organisé pour les cerveaux informatiques. Ils ont pris 1 623 cas juridiques réels de la Cour suprême de l'Inde et ont fait intervenir de véritables experts juridiques (les entraîneurs humains) pour les passer en revue. Ces experts n'ont pas seulement étiqueté les cas ; ils ont mis en évidence les phrases exactes dans l'histoire qui prouvaient quelle loi s'appliquait et ont écrit le raisonnement derrière l'explication. Au total, ils ont créé 7 450 explications détaillées. C'est comme si un grand chef ne se contentait pas de vous montrer un gâteau fini, mais annotait chaque étape de la recette et expliquait pourquoi il faut le cuire à exactement 350 degrés.

Avec ce nouveau « camp d'entraînement » prêt, l'équipe a mis à l'épreuve plusieurs types de cerveaux informatiques différents. Ils ont demandé à ces ordinateurs de lire une histoire juridique et de faire deux choses : deviner la bonne loi et écrire une explication pour leur supposition. Ils ont essayé différentes méthodes d'enseignement, comme montrer à l'ordinateur quelques exemples au préalable (few-shot), lui demander de réfléchir étape par étape (Chain-of-Thought), ou même lui demander d'explorer plusieurs chemins de raisonnement comme un arbre qui se ramifie (Tree-of-Thoughts).

Voici ce qu'ils ont découvert. Premièrement, les ordinateurs qui ont été spécifiquement entraînés sur du texte juridique (comme InLegalBERT) étaient les meilleurs pour simplement deviner la bonne loi, réussissant environ 82 % du temps. Cependant, lorsqu'il s'agissait d'écrire l'explication, les grands modèles d'IA à usage général (comme GPT-4) commençaient à briller. Lorsque ces modèles étaient invités à réfléchir étape par étape, ils devenaient bien meilleurs pour prédire la loi et rédiger une raison qui ressemblait à celle d'un véritable avocat. En fait, GPT-4 était le meilleur performeur, obtenant les scores les plus élevés selon les évaluations des experts pour ses explications.

Mais l'article a également révélé des points délicats. Lorsque les ordinateurs essayaient d'utiliser la méthode « Tree-of-Thoughts » (se ramifier en de nombreuses idées différentes), ils devenaient en fait moins bons pour deviner la bonne loi. Il semble que le fait d'essayer d'explorer trop de chemins à la fois les a confondus. De plus, les chercheurs ont découvert un problème sournois : parfois, un ordinateur devinait la bonne loi mais donnait une raison complètement erronée pour celle-ci. C'est comme un élève qui donne la bonne réponse à un examen de mathématiques mais montre un mauvais raisonnement. L'article a montré que même lorsque l'ordinateur avait le bon « statut », son raisonnement pouvait être erroné, soulignant que nous ne pouvons pas simplement faire confiance à la réponse de l'ordinateur sans vérifier sa logique.

En fin de compte, les auteurs suggèrent que, bien que nous nous rapprochions, nous n'y sommes pas encore. Les meilleurs résultats sont venus de la combinaison de la vitesse de l'ordinateur avec des étapes de raisonnement de type humain, mais le système nécessite toujours l'intervention d'un expert humain pour vérifier le travail. L'article ne prétend pas avoir résolu le mystère de l'IA juridique pour toujours ; il propose plutôt une nouvelle carte de haute qualité (le jeu de données PROSLEX) que d'autres chercheurs pourront utiliser pour construire de meilleurs outils juridiques explicables. C'est une étape significative, prouvant que si nous donnons aux ordinateurs le bon type de données d'entraînement — complètes avec des explications humaines — ils peuvent commencer à comprendre non seulement les règles du jeu, mais aussi l'esprit qui les anime.