Testing Frontier LLMs on Indian Statutory Interpretation: The Indian Construction Canon Benchmarking (ICCB) -Pilot Benchmark

Dans le monde du droit, lire une loi est rarement aussi simple que de lire une définition de dictionnaire. Lorsqu'un juge est confronté à une loi vague ou ambiguë, il ne se contente pas de deviner la réponse ; il suit un ensemble spécifique d'outils mentaux connus sous le nom de « canons de construction ». Ce sont des règles empiriques établies qui guident la manière dont un texte doit être compris. Par exemple, une règle pourrait dire que si une loi est destinée à punir quelqu'un, elle doit être lue de manière très stricte, mot pour mot. Une autre règle pourrait dire que si une loi est conçue pour aider les pauvres, elle doit être lue largement pour inclure le plus de personnes possible. Ces outils sont la différence entre un juge qui se contente de se rappeler un cas passé et un juge qui raisonne réellement face à un nouveau problème. À mesure que les systèmes d'intelligence artificielle commencent à entrer dans les tribunaux et les cabinets juridiques, une question critique se pose : ces machines comprennent-elles vraiment comment utiliser ces outils, ou sont-elles simplement très douées pour deviner la bonne réponse en se basant sur des modèles qu'elles ont déjà vus auparavant ?

Une équipe de chercheurs de la Manipal Academy of Higher Education en Inde s'est donné pour mission de tester cette question en utilisant la dernière génération de modèles d'intelligence artificielle. Ils ont créé un test spécialisé, qu'ils appellent un benchmark, axé entièrement sur la manière dont ces machines interprètent les lois indiennes. Au lieu de demander aux ordinateurs de simplement prédire l'issue d'une affaire, les chercheurs leur ont demandé d'expliquer leur raisonnement. Le test présentait aux modèles quarante scénarios juridiques différents tirés de véritables jugements de cours indiennes. Dans chaque scénario, le modèle devait identifier quelle règle d'interprétation spécifique devait être utilisée, expliquer cette règle correctement, puis l'appliquer aux faits pour parvenir à une conclusion. Les chercheurs ont évalué les modèles sur cinq aspects distincts : s'ils choisissaient la bonne règle, s'ils décrivaient cette règle avec précision selon la tradition juridique indienne, s'ils l'appliquaient correctement aux faits, s'ils parvenaient à la bonne réponse finale et la clarté de leur raisonnement global.

Les résultats ont révélé un écart frappant entre ce que les machines pouvaient faire et la manière dont elles le faisaient. Les modèles d'intelligence artificielle les plus puissants testés étaient étonnamment doués pour trouver la réponse finale. Dans de nombreux cas, ils arrivaient à la même conclusion qu'un juge humain. Cependant, lorsque les chercheurs ont examiné comment ils y parvenaient, le tableau changeait. Les modèles échouaient fréquemment à identifier correctement la règle juridique spécifique qu'ils utilisaient. Ils parvenaient souvent au résultat correct sans savoir quel outil utiliser, ce qui suggère qu'ils associaient la situation à un motif familier plutôt que de suivre un chemin logique. C'est comme si un élève pouvait résoudre correctement un problème de mathématiques complexe mais ne pouvait pas expliquer quelle formule il avait utilisée ou pourquoi elle fonctionnait. L'étude a révélé que lorsque les chercheurs indiquaient explicitement aux modèles quelle règle utiliser, les modèles devenaient bien meilleurs pour nommer cette règle, mais leur capacité à l'expliquer ou à l'appliquer ne s'améliorait pas de manière significative. Cela suggère que les modèles possèdent la connaissance de ces règles juridiques mais peinent à y accéder par eux-mêmes sans une incitation directe.

Les chercheurs ont également observé que les modèles se comportaient différemment selon la manière dont la question était posée. Lorsqu'on les laissait résoudre le problème par eux-mêmes, les modèles hésitaient ou refusaient souvent de répondre, particulièrement le modèle open-source testé. Cependant, lorsque les chercheurs leur donnaient un indice sur le type de règle à utiliser, les modèles étaient plus enclins à s'engager. Malgré cette amélioration de la volonté, le problème de fond demeurait : les modèles étaient toujours plus doués pour deviner le résultat que pour construire l'argument juridique correct. Un modèle, en particulier, atteignait systématiquement le résultat correct plus souvent qu'il n'identifiait correctement le principe juridique, tout en commettant néanmoins des erreurs significatives dans ses conclusions finales. Cette dissociation entre une réponse correcte et un processus de raisonnement correct est une découverte importante. Elle implique que si ces systèmes sont déployés dans des contextes juridiques réels en se basant uniquement sur leur capacité à prédire des résultats, ils pourraient fournir des réponses correctes pour de mauvaises raisons, ce qui pourrait être dangereux dans un système où le raisonnement lui-même est aussi important que le résultat.

L'étude conclut que, bien que ces systèmes d'intelligence artificielle soient des outils puissants, ils n'ont pas encore maîtrisé le type de raisonnement spécifique requis pour l'interprétation juridique. Ils semblent reposer lourdement sur la reconnaissance de formes plutôt que sur l'application étape par étape des règles juridiques utilisées par les juges humains. Les chercheurs soulignent que cela ne signifie pas que la technologie est inutile, mais cela signifie que nous ne pouvons pas faire confiance à ces systèmes pour raisonner comme des juristes simplement parce qu'ils trouvent la bonne réponse. L'étude sert de pilote, un test à petite échelle conçu pour prouver que ce type d'évaluation spécifique est possible et nécessaire. L'équipe prévoit d'étendre ce travail à l'avenir, en testant plus de modèles et une plus grande variété de lois pour voir si ces schémas se vérifient de manière générale. Pour l'instant, les conclusions lancent un avertissement clair : dans le monde complexe du droit, trouver la bonne réponse ne suffit pas ; la machine doit également être capable de montrer son raisonnement.