Legal interpretation and AI: from expert systems to argumentation and LLMs

Cet article examine l'évolution de la recherche en intelligence artificielle et droit face à l'interprétation juridique, en passant des systèmes experts axés sur l'ingénierie des connaissances aux modèles d'argumentation dialectique, pour aboutir aujourd'hui à l'utilisation croissante des grands modèles de langage dans la pratique juridique.

L'essentiel

Imaginez que le droit est une immense bibliothèque de règles (les lois), et que l'interprétation juridique, c'est l'art de décider comment appliquer ces règles à des situations réelles, parfois bizarres. Ce texte raconte l'histoire de trois générations d'IA qui ont essayé de devenir les nouveaux bibliothécaires ou juges de cette bibliothèque.

1. La Première Génération : Le Robot-Ingénieur (Les Systèmes Experts)

L'analogie : Le manuel de cuisine ultra-précis.

Dans les années 70 à 90, les chercheurs pensaient : « Si on écrit toutes les règles de la cuisine (les lois) dans un livre parfait, un robot pourra cuisiner n'importe quel plat sans erreur. »

• Comment ça marchait ? Des humains (des ingénieurs) prenaient une loi floue, comme « Interdit les véhicules dans le parc », et ils devaient la transformer en code informatique strict.
• Le problème : Ils devaient trancher avant que le robot ne rencontre un cas réel. Devaient-ils dire au robot : « Un vélo, c'est un véhicule » ? Oui ou non ?
• Le résultat : Si le robot apprenait que « vélo = véhicule », il interdirait à un petit enfant de rouler avec son vélo, même si c'était inoffensif. Le robot était trop rigide. Il ne pouvait pas dire : « Attends, c'est un cas particulier ». L'interprétation était figée dans le code, comme une recette de cuisine qu'on ne peut pas modifier à la volée.

2. La Deuxième Génération : Le Débat d'Avocats (L'Argumentation)

L'analogie : Un tribunal où l'on oppose les arguments.

Les chercheurs ont réalisé que le droit, ce n'est pas juste une règle, c'est un débat. Parfois, une loi peut avoir deux sens.

• Comment ça marche ? Au lieu de forcer le robot à choisir une seule réponse, on lui demande de construire des arguments pour et contre.
  • Argument A (Le gardien du parc) : « Un vélo est un véhicule, donc c'est interdit. » (Argument basé sur le sens commun).
  • Argument B (L'enfant) : « Mais le but de la loi est de protéger les piétons du bruit et des accidents graves. Un vélo d'enfant ne fait pas de bruit ni de mal, donc ce n'est pas interdit. » (Argument basé sur le but de la loi).
• Le résultat : Le système compare les arguments. Il décide quel argument est le plus fort (souvent, le but de la loi l'emporte sur le sens littéral). C'est plus flexible, comme un vrai juge qui pèse le pour et le contre. Mais cela demande encore beaucoup de travail humain pour construire ces règles de débat.

3. La Troisième Génération : Le Génie Polyglotte (Les IA Génératives et LLM)

L'analogie : Un étudiant brillant qui a lu tout internet, mais qui n'a jamais vécu.

Aujourd'hui, avec les grands modèles de langage (comme ChatGPT), l'approche a changé. On ne leur donne plus de règles strictes. On leur donne tous les livres de la bibliothèque et on leur dit : « Devine la suite ! »

• Leur super-pouvoir : Ils sont incroyables pour imiter le langage des juristes. Si vous leur demandez : « Est-ce qu'un vélo est un véhicule dans un parc ? », ils vont vous donner une réponse très convaincante, nuancée, avec des arguments pour et contre, exactement comme un avocat le ferait. Ils connaissent les « canons d'interprétation » (les règles de lecture) par cœur.
• Leur gros défaut (L'hallucination) : Ce n'est pas un vrai juriste. C'est un miroir statistique.
  • Ils ne comprennent pas le monde réel. Ils ne savent pas ce qu'est un vélo, ni ce qu'est un parc, ni ce qu'est un enfant. Ils ne font que prédire quels mots vont suivre les autres mots.
  • Le danger : Ils peuvent inventer des lois qui n'existent pas (halluciner) ou donner une réponse qui semble parfaite mais qui est fausse, simplement parce que c'est ce qui ressemble le plus à une réponse juridique dans leur entraînement.
  • L'image : C'est comme un acteur qui joue parfaitement le rôle d'un juge, mais qui ne connaît pas la loi. S'il joue mal, il peut condamner un innocent en toute bonne foi.

La Conclusion : L'IA est un assistant, pas un patron

Le texte conclut avec une leçon importante pour l'avenir :

• L'IA ne doit jamais être le juge final. On ne peut pas laisser un robot décider seul si un enfant peut entrer dans le parc. L'IA n'a pas de conscience morale, ni de compréhension réelle de la justice.
• L'IA est un excellent « brainstorming ». Elle peut aider un avocat ou un juge en disant : « Voici 5 façons différentes d'interpréter cette loi, voici les arguments pour et contre, et voici les lois similaires. »
• Le rôle humain reste crucial. L'humain doit vérifier, critiquer et prendre la décision finale. L'IA est comme un super-calculateur ou un assistant de recherche ultra-rapide, mais elle ne remplace pas le cerveau humain qui doit juger de la justesse et de l'équité.

En résumé :

• Ancienne IA : Un robot rigide qui suit des règles mal définies.
• IA Argumentative : Un robot qui simule un débat juridique.
• IA Moderne (LLM) : Un robot qui parle comme un juriste mais qui ne comprend pas le sens profond.
• La solution : Utiliser l'IA comme un co-pilote pour aller plus vite, mais garder l'humain aux commandes pour ne pas s'écraser.

Résumé technique

1. Problématique

L'article aborde la manière dont la recherche en Intelligence Artificielle et Droit (AI & Law) a traité le concept de l'interprétation juridique à travers l'évolution des méthodologies technologiques. Le problème central réside dans la difficulté de modéliser le processus d'interprétation, qui est intrinsèquement ambigu, dialectique et contextuel, contrairement à l'application mécanique de règles.

Les auteurs identifient trois défis majeurs :

• La nature de l'interprétation : Elle ne se limite pas à la compréhension littérale (quand le texte est clair), mais intervient souvent pour résoudre des doutes liés à l'ambiguïté syntaxique, à la vaguité sémantique ou à des conséquences indésirables de l'application littérale (ex: la règle « Aucun véhicule dans le parc » s'applique-t-elle aux vélos d'enfants ?).
• La transition technologique : Comment passer d'une approche symbolique rigide (Expert Systems) à une approche dialectique (Argumentation), puis à une approche statistique et générative (LLMs), et quelles sont les limites de chacune en matière de fiabilité juridique ?
• La responsabilité et la validité : Dans quelle mesure les systèmes d'IA peuvent-ils fournir des interprétations juridiquement valables sans risquer des erreurs factuelles (« hallucinations »), des incohérences ou une perte de la nuance normative humaine ?

2. Méthodologie et Évolution des Approches

Les auteurs analysent l'évolution de la recherche en AI & Law à travers trois paradigmes successifs, en utilisant des études de cas théoriques (notamment l'exemple du « parc ») et une revue de la littérature technique.

A. Les Systèmes Experts (Années 1970-1990)

• Approche : Basée sur l'IA symbolique et la représentation formelle des connaissances (logique, règles).
• Traitement de l'interprétation : L'interprétation est externalisée à l'ingénieur de connaissances (Knowledge Engineer) ou à l'utilisateur final. Le système ne gère pas l'ambiguïté intrinsèque ; il exige une base de connaissances non ambiguë.
• Mécanisme : Résolution des ambiguïtés syntaxiques (ex: « et » vs « ou ») par une formalisation logique stricte avant l'exécution. Si une règle est ambiguë, l'ingénieur doit trancher ex ante en ajoutant des règles interprétatives (ex: « Vélo = Véhicule ») dans la base de connaissances.
• Limite : Cette approche transfère le pouvoir d'interprétation de l'agent appliqueur de la loi vers le concepteur du système, rendant le système rigide et insensible aux circonstances spécifiques du cas.

B. L'Approche par l'Argumentation

• Approche : Modélisation de l'interprétation comme un processus dialectique où des arguments contradictoires s'affrontent.
• Traitement de l'interprétation : La base de connaissances n'a pas besoin d'être logiquement cohérente. Le système construit des arguments pour différentes interprétations (ex: sens littéral vs sens téléologique) basés sur des canons d'interprétation (sens ordinaire, intention du législateur, précédent, etc.).
• Mécanisme : Utilisation de graphes d'arguments où les conclusions sont évaluées selon leur force relative. Un argument peut « attaquer » un autre. La solution finale est celle qui survit au processus de défense (argument « IN » vs « OUT »).
• Avantage : Permet de modéliser le raisonnement juridique réel, où des interprétations opposées coexistent et sont tranchées par des critères de poids (ex: l'argument téléologique l'emporte sur l'argument linguistique dans le cas du vélo d'enfant).

C. L'Apprentissage Automatique et les LLM (IA Générative)

• Approche : Utilisation de modèles de langage de grande taille (LLM) pré-entraînés sur d'immenses corpus textuels.
• Traitement de l'interprétation : L'IA ne raisonne pas par déduction logique mais par probabilités statistiques et reconnaissance de motifs linguistiques. Elle peut générer des paraphrases, identifier des ambiguïtés et proposer des arguments.
• Techniques avancées :
  • RAG (Retrieval-Augmented Generation) : Pour pallier le manque de connaissances juridiques spécifiques ou récentes, le LLM est couplé à une base de connaissances externe pour ancrer ses réponses dans des sources réelles.
  • Interprétation Générative : Utilisation des LLMs pour estimer le « sens ordinaire » d'un terme dans un contexte contractuel ou législatif spécifique, en analysant de vastes corpus.
• Limites techniques : Absence de compréhension réelle, risque d'hallucinations (fausses citations), incohérence des réponses (stochasticité), et incapacité à saisir les principes normatifs profonds.

3. Contributions Clés

1. Cartographie historique et conceptuelle : L'article offre une synthèse claire de la transition de l'IA symbolique (rigide) à l'argumentation (dialectique) et enfin aux LLMs (statistiques), montrant comment chaque paradigme aborde différemment la notion de « doute » juridique.
2. Analyse critique des LLMs : Les auteurs soulignent que la compétence des LLMs est linguistique et discursive, et non basée sur la connaissance ou les règles. Ils ne possèdent pas de « compréhension » interne du monde physique ou social.
3. Concept d'« Interprétation Générative » : Ils définissent et analysent l'utilisation des LLMs comme outil pour quantifier l'ambiguïté et aider à l'interprétation contractuelle ou législative, en s'appuyant sur des travaux récents (Hoffman, Arbel, etc.).
4. Critique normative et pratique : L'article met en garde contre l'utilisation des LLMs comme « oracles » juridiques. Il insiste sur le fait que les LLMs ne peuvent pas assumer la responsabilité de l'interprétation finale en raison de leur manque de fiabilité factuelle et de leur incapacité à justifier normativement leurs choix.

4. Résultats et Observations Empiriques

• Performance des LLMs : Bien que les LLMs puissent passer des examens d'avocats et générer des textes juridiques plausibles, ils échouent souvent dans des tâches de raisonnement juridique strict (ex: structure IRAC, détection de clauses abusives) et souffrent d'un taux d'hallucination élevé (17-34% sur certaines requêtes juridiques).
• Incohérence : Contrairement à l'incohérence humaine qui affecte l'équité, l'incohérence des LLMs affecte la prévisibilité du droit, un pilier fondamental de la sécurité juridique.
• Rôle du Prompting : La qualité de l'interprétation générée dépend fortement de la qualité du prompt (instruction) et de l'utilisation de techniques comme le RAG ou le « Chain-of-Thought » (CoT). Cependant, même avec ces techniques, le modèle ne « comprend » pas le droit, il simule des motifs linguistiques.
• Évaluation : L'évaluation des sorties des LLMs en droit repose sur des benchmarks qualitatifs (jugés par des humains) plutôt que quantitatifs, car il n'existe souvent pas de « vérité terrain » unique pour une interprétation juridique.

5. Signification et Implications

• Positionnement de l'IA : Les auteurs concluent que les LLMs ne doivent jamais être considérés comme des autorités juridiques autonomes. Ils doivent être utilisés comme des outils d'assistance (« companions ») pour les juristes, capables de synthétiser des débats doctrinaux ou de suggérer des pistes d'interprétation, mais jamais de les valider.
• Responsabilité humaine : Le juriste humain doit conserver le contrôle final, vérifier les faits, les références et la logique normative. L'acceptation d'une interprétation proposée par une IA doit reposer sur une justification normative validée par l'humain, et non sur la simple sortie du modèle.
• Futur de la recherche : L'article appelle à une intégration hybride : utiliser la puissance de traitement des LLMs pour l'extraction d'informations et la génération de propositions, mais les coupler avec des systèmes logiques et argumentatifs formels pour valider la cohérence et la conformité aux canons d'interprétation.
• Avertissement sur l'IA Agentique : L'utilisation de LLMs dans des systèmes autonomes (Agentic AI) qui prennent des décisions juridiques sans validation humaine est jugée extrêmement risquée et potentiellement illégitime.

En résumé, l'article plaide pour une approche prudente et méthodique de l'IA dans l'interprétation juridique, où la technologie sert à augmenter les capacités du juriste humain sans jamais se substituer à son jugement normatif et sa responsabilité éthique.