Verifiable Provenance for AI Judicial Decision Support Using Transparency Logs and Citation Entailment
L'article présente VADP, une architecture auditable pour le support à la décision judiciaire par l'IA qui intègre un contrôle d'accès de type Zero-Trust, l'inférence de langage naturel et des journaux de transparence afin de créer des contrats vérifiables garantissant la garde des preuves et l'explicabilité, tout en démontrant empiriquement des taux de défense élevés contre l'injection de requêtes et la falsification, parallèlement à des gains de performance significatifs mais dépendants de la juridiction, ainsi que des limites reconnues concernant la généralisation transjuridictionnelle et la robustesse cryptographique non vérifiée.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la haute voltige juridique, la décision d'un juge repose sur un fondement de faits, de précédents et de lois. Lorsque l'intelligence artificielle pénètre dans cette arène pour aider à la recherche de jurisprudence ou à la rédaction de résumés, un nouveau problème émerge : comment un humain peut-il être certain que la machine dit la vérité ? Contrairement à une calculatrice qui se contente de traiter des chiffres, l'IA moderne peut parfois inventer des faits ou citer des lois qui n'existent pas, un phénomène connu sous le nom d'« hallucination ». Dans une salle d'audience, de telles erreurs ne sont pas de simples fautes ; elles peuvent saper la justice. Le défi, par conséquent, n'est pas seulement de construire une IA plus intelligente, mais d'en construire une qui laisse une trace de preuves claire et inaltérable pour chaque affirmation qu'elle émet, permettant à un humain de vérifier exactement d'où provient l'information et si elle était autorisée à être utilisée.
Les chercheurs Aditya Mandloi et Anushka Yadav ont proposé un système appelé VADP, conçu pour résoudre ce problème en enveloppant chaque recommandation juridique générée par l'IA dans un « contrat de vérification » numérique. Considérez ce contrat comme une enveloppe scellée qui contient non seulement la réponse de l'IA, mais aussi la preuve de la manière dont cette réponse a été obtenue. Le système fonctionne en vérifiant d'abord si la personne qui pose la question a le droit de voir l'information, un peu comme un agent de sécurité vérifiant un badge. Il récupère ensuite les documents juridiques pertinents à partir d'une base de données sécurisée et utilise une seconde IA spécialisée pour vérifier que les documents récupérés soutiennent réellement les affirmations faites par la première IA. Si les documents ne soutiennent pas les affirmations, le système signale l'erreur immédiatement. Enfin, l'ensemble du processus — de l'identité de l'utilisateur au texte juridique spécifique utilisé — est verrouillé dans un enregistrement numérique qui ne peut être modifié sans laisser une marque visible, semblable à la façon dont un sceau de cire sur une lettre prouve qu'elle n'a pas été ouverte.
Les chercheurs ont testé ce système en utilisant un échantillon de référence de 1 500 questions juridiques basées sur de réels cas de la Cour suprême indienne. Les résultats ont montré que le système était très efficace pour trouver les précédents juridiques corrects, classant le document le plus pertinent en tête dans plus de 93 % des cas. Plus important encore, le système a réussi à attraper presque toutes les instances où l'IA tentait d'inventer une citation ou de contredire la source, interceptant environ 94 % des affirmations non fondées et 98 % des contradictions directes. L'« enveloppe » numérique s'est également révélée incroyablement robuste ; lors de tests où les chercheurs ont tenté de falsifier les registres en modifiant un seul bit de donnée ou en changeant un horodatage, le système a détecté le changement 100 % du temps, prouvant que l'enregistrement est resté intact.
Cependant, les chercheurs veillent à distinguer ce que leur système peut prouver de ce qu'il ne peut pas prouver. Bien que le système garantisse que les preuves ont été récupérées correctement et que l'enregistrement n'a pas été falsifié, il ne garantit pas que le raisonnement juridique final de l'IA soit parfait ou que le juge sera d'accord avec le résultat. Le système agit comme un auditeur rigoureux du processus, et non comme un remplacement du jugement humain. En fait, l'étude a révélé que, dans les paramètres actuels, le système nécessiterait encore qu'un juge humain examine environ 68 % des cas pour garantir la sécurité, ne permettant aux 32 % restants de procéder sans intervention. Ce taux élevé de révision humaine est intentionnel, conçu pour maintenir le risque de manquer une erreur critique en dessous de 5 %.
L'étude a également exploré l'efficacité de cette approche dans différents systèmes juridiques, tels que ceux des États-Unis ou de l'Europe. Lorsqu'il a été testé sur ces ensembles de données juridiques étrangères sans réentraînement spécifique, les performances du système ont chuté de manière significative, identifiant correctement le précédent principal dans moins de la moitié des cas. Cela suggère que, si la technologie sous-jacente de vérification des preuves est universelle, les outils spécifiques nécessaires pour trouver les bonnes lois doivent être adaptés au code juridique de chaque pays. Les chercheurs ont également noté que leurs tests actuels ont été effectués sur un seul ordinateur et que, bien que le système ait fonctionné parfaitement là, il n'a pas encore été testé dans un environnement multi-tribunaux en direct où de nombreux utilisateurs accèdent au système simultanément depuis différents endroits.
En fin de compte, ce travail offre une nouvelle façon d'appréhender la confiance envers l'intelligence artificielle. Au lieu de demander à un tribunal de faire confiance à la promesse d'un fournisseur que son logiciel est sûr, le VADP fournit un artefact tangible et vérifiable pour chaque décision. Il déplace la charge de la foi aveugle vers la vérification indépendante, garantissant que si une citation juridique est utilisée, elle a réellement été récupérée à partir d'une source sécurisée, et que si un enregistrement est altéré, le changement est immédiatement évident. Bien que le système ne soit pas encore un produit fini prêt pour chaque salle d'audience, il démontre qu'il est possible de construire des outils d'IA qui soient non seulement puissants, mais aussi transparents et responsables, donnant aux juges et aux avocats les outils dont ils ont besoin pour vérifier la vérité avant de prendre des décisions qui changent des vies.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.