Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
Cette étude évalue la capacité d'un LLM de premier plan à effectuer un raisonnement juridiquement significatif sur des arrêts de la Cour européenne des droits de l'homme, constatant que si le modèle produit des analyses structurellement complètes mais substantiellement superficielles et que les évaluateurs automatisés ne parviennent pas à s'aligner sur le jugement humain, le recours au prompting expert améliore la profondeur du raisonnement sans pour autant améliorer la précision de la prédiction.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la haute voltige juridique, la décision d'un juge n'est jamais une simple supposition ; elle est le résultat d'un processus de raisonnement méticuleux et par étapes. Un juge doit examiner les faits d'une affaire, vérifier si la loi a été respectée, décider si le gouvernement avait une bonne raison pour ses actions, et enfin peser si ces actions étaient nécessaires dans une société libre. Ce processus est ce qui confère aux décisions juridiques leur autorité et permet aux gens de comprendre pourquoi une décision a été prise. Aujourd'hui, de puissants programmes informatiques connus sous le nom de modèles de langage de grande taille peuvent lire de vastes quantités de texte et répondre à des questions complexes, ce qui amène beaucoup à se demander si ces machines peuvent également effectuer ce genre de raisonnement juridique profond. La question n'est pas seulement de savoir si un ordinateur peut prédire l'issue d'une affaire judiciaire, mais s'il peut expliquer son raisonnement d'une manière qu'un avocat humain reconnaîtrait comme étant solide et significative.
Une équipe de chercheurs s'est donné pour mission de tester cette idée en utilisant la Cour européenne des droits de l'homme, une véritable cour qui entend des affaires concernant le fait que des pays auraient violé les droits de leurs citoyens. Ils se sont concentrés sur un groupe spécifique d'affaires impliquant la liberté d'expression, où la cour doit décider si la restriction de la parole par un gouvernement était justifiée. Les chercheurs ont pris trente affaires récentes issues des registres officiels de la cour et ont demandé à un modèle informatique de haut niveau d'agir en tant que juge. Ils ont fourni au modèle les faits de chaque affaire et lui ont demandé de produire une évaluation juridique, en expliquant son raisonnement étape par étape avant de prédire le verdict final. Pour voir comment le modèle s'en sortait, ils ont comparé ses explications au raisonnement réel utilisé par les véritables juges humains dans ces affaires. Ils ont également testé le modèle sous différentes conditions : une fois sans instructions spéciales, une fois avec un guide détaillé écrit par un expert juridique, et une fois avec le guide officiel de cette loi spécifique, en demandant au modèle de déterminer lui-même les étapes du raisonnement.
Les résultats ont révélé un écart important entre ce que l'ordinateur peut faire et ce qui est requis pour un véritable raisonnement juridique. Le modèle était étonnamment doué pour suivre la structure de base d'un argument juridique. Dans presque tous les cas, il produisait une réponse qui ressemblait à un jugement juridique, avec des paragraphes distincts pour chaque étape de l'analyse. Il identifiait correctement qu'une restriction de la parole avait eu lieu, vérifiait s'il y avait une loi derrière celle-ci, et considérait si le gouvernement avait un objectif valable. Cependant, lorsque les chercheurs ont regardé de plus près la qualité de la pensée, ils ont trouvé que le raisonnement du modèle était souvent superficiel. Bien que la structure soit présente, la substance faisait défaut. Le modèle proposait fréquemment des conclusions vagues au lieu de décisions fermes, s'appuyait trop lourdement sur des conclusions de tribunaux inférieurs qui avaient été infirmées, et ne parvenait pas à saisir les équilibres subtils et pratiques que réalisent les vrais juges. Par exemple, dans une affaire impliquant le droit d'un prisonnier à recevoir du courrier, la véritable cour avait compris que l'examen de milliers de photocopies pour des risques de sécurité constituait un fardeau déraisonnable pour le personnel pénitentiaire, une nuance que le modèle a totalement manquée.
La découverte la plus surprenante fut peut-être que la qualité du raisonnement du modèle n'avait presque rien à voir avec le fait qu'il devine l'issue correcte. Le modèle prédisait la bonne réponse environ quatre-vingts pour cent du temps, mais cette précision était largement due au fait qu'il se contentait de deviner qu'une violation avait eu lieu, ce qui arrivait justement dans la majorité des cas étudiés. Lorsque le modèle donnait la bonne réponse, son raisonnement était souvent tout aussi superficiel que lorsqu'il se trompait. Cela suggère que le modèle ne « réfléchit » pas réellement aux problèmes juridiques ; il reconnaît des modèles et devine le résultat le plus probable basé sur la majorité des cas passés. Même lorsque les chercheurs ont donné au modèle un guide détaillé et écrit par un expert sur la façon de raisonner, le modèle a produit des explications plus complètes, mais cela n'a pas rendu ses prédictions plus précises.
L'étude a également examiné comment mesurer la qualité de ces arguments juridiques générés par ordinateur. Les chercheurs ont fait en sorte que des étudiants en droit et d'autres modèles informatiques agissent comme juges pour évaluer le raisonnement. Ils ont constaté que, bien que les juges informatiques soient cohérents entre eux, ils n'étaient pas en accord avec les experts humains. Les juges informatiques avaient tendance à être plus indulgents et passaient à côté des failles plus profondes du raisonnement que les humains avaient détectées. Cela indique que l'utilisation d'un autre programme informatique pour évaluer le travail d'un premier programme informatique n'est pas un moyen fiable de garantir la qualité. Les experts humains ont trouvé que le raisonnement du modèle, bien que structurellement complet, manquait de la profondeur et de la certitude d'un véritable jugement juridique. Le modèle allait souvent chercher à ménager la chétive querelle ou échouait à s'engager dans une conclusion claire, alors qu'un vrai juge doit être décisif.
En fin de compte, la recherche suggère que, bien que ces modèles informatiques avancés puissent imiter l'apparence extérieure du raisonnement juridique, ils ne possèdent pas encore la capacité de raisonner de manière juridiquement significative. Ils peuvent produire un texte qui ressemble à une opinion de cour, mais la logique à l'intérieur est souvent superficielle et déconnectée des réalités complexes du droit. L'étude met en garde contre le fait de compter sur ces modèles pour les décisions juridiques, ou de faire confiance à des systèmes automatisés pour évaluer leur propre travail, ce qui est dangereux. L'exactitude d'une prédiction ne doit pas être confondue avec la qualité du raisonnement qui la sous-tend. Jusqu'à ce que ces systèmes puissent démontrer une compréhension réelle des principes juridiques plutôt qu'une simple reconnaissance de formes, ils doivent rester des outils pour assister les avocats humains, et non remplacer le jugement humain qui est essentiel au système de justice.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.