From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

Dans le monde industriel moderne, les entreprises sont confrontées à une montagne croissante de règles conçues pour protéger la planète et la vie privée des individus. Pour prouver qu'elles respectent ces règles, les entreprises doivent créer des documents spécifiques, souvent appelés artefacts de conformité. Considérez ces documents comme des rapports détaillés qui servent de passeport pour un produit ou d'audit de sécurité pour un système informatique. Une règle européenne majeure exige un passeport numérique pour chaque batterie vendue, énumérant exactement quels matériaux se trouvent à l'intérieur et comment les recycler. Une autre règle exige une évaluation des risques pour tout système traitant des données personnelles, afin de garantir que les informations privées des individus sont en sécurité. Créer ces documents manuellement est difficile car les données nécessaires sont dispersées dans de nombreux systèmes informatiques différents et arrivent sous des formats désordonnés et incohérents. Alors que les entreprises luttent contre cette paperasse, elles se sont tournées vers l'intelligence artificielle, plus précisément les modèles de langage étendus, pour rédiger ces rapports à leur place. Ces programmes informatiques sont excellents pour lire du texte et générer du nouveau contenu, mais il reste incertain de savoir s'ils peuvent être dignes de confiance pour suivre des instructions juridiques strictes sans inventer de faits ou omettre des détails critiques.

Une équipe de chercheurs s'est donné pour mission de tester précisément la performance de ces outils d'intelligence artificielle lorsqu'on leur demande de rédiger ces rapports obligatoires. Ils se sont concentrés sur deux types de documents très différents pour voir si la nature des instructions modifiait le résultat. Le premier était un Passeport Numérique de la Batterie, un document doté d'une structure très claire et rigide définie par les régulateurs. Le second était une Évaluation de l'Impact relative à la Protection des Données, un document requis pour les lois sur la vie privée, beaucoup plus ouvert et vague dans ses instructions. Les chercheurs ont soumis cinq modèles d'intelligence artificielle différents à une série de tâches. Dans certains cas, ils ont donné aux modèles une instruction simple et brève pour rédiger le rapport. Dans d'autres cas, ils ont fourni un guide long et détaillé expliquant exactement quelles informations étaient nécessaires et comment les formater. Ils ont répété ces tests plusieurs fois pour voir si les modèles produisaient le même résultat à chaque fois, puis ils ont vérifié si les rapports générés contenaient bien toutes les informations légalement requises.

Les résultats ont révélé une division nette dans la manière dont les modèles traitaient les deux types de documents. Lorsqu'on demandait de créer le Passeport Numérique de la Batterie, les systèmes d'intelligence artificielle étaient remarquablement cohérents. Parce que les règles pour ce document étaient si spécifiques, les modèles produisaient des résultats presque identiques, que les instructions soient courtes ou longues. Ils extrayaient avec succès les données nécessaires sur les matériaux de la batterie et les formataient correctement presque à chaque fois. Cependant, l'histoire changeait complètement lorsque les modèles s'attaquaient à l'Évaluation de l'Impact relative à la Protection des Données. Ici, l'absence de structure rigide signifiait que les modèles peinaient à rester cohérents. Lorsqu'ils recevaient uniquement le texte de la réglementation de base sans guide supplémentaire, les modèles produisaient souvent des rapports qui omettaient des sections clés ou variaient considérablement d'une tentative à l'autre. Les chercheurs ont constaté que pour ces tâches vagues, fournir au modèle plus de contexte et des exemples spécifiques était essentiel pour obtenir un résultat fiable. Sans cette aide supplémentaire, les modèles avaient tendance à omettre des détails importants, tels que la gestion des limites de stockage des données ou l'évaluation des risques pour les individus.

L'une des conclusions les plus frappantes fut la façon dont les modèles réagissaient au niveau de détail des instructions. Pour le passeport de la batterie strict, ajouter plus de détails à l'instruction ne changeait pas significativement la qualité du résultat, mais pouvait mener à davantage d'hallucinations dans la production. Pour l'évaluation de la vie privée, cependant, c'était l'inverse qui était vrai. Les modèles avaient besoin de ce contexte supplémentaire pour bien performer. Lorsque les instructions étaient trop vagues, les modèles échouaient souvent à inclure les sections requises, suggérant que le langage juridique actuel est trop large pour que ces outils puissent l'interpréter de manière fiable par eux-mêmes. L'étude a également souligné que différents modèles d'intelligence artificielle se comportaient différemment ; certains étaient systématiquement fiables à travers toutes les tâches, tandis que d'autres avaient tendance à omettre des informations importantes lorsque les instructions n'étaient pas parfaitement claires.

En fin de compte, la recherche suggère que le succès de l'utilisation de l'intelligence artificielle pour la conformité légale dépend fortement du type de document créé. Pour les tâches hautement structurées comme le passeport de la batterie, la technologie est prête à être utilisée avec une configuration minimale. Mais pour les tâches complexes et ouvertes comme les évaluations de la vie privée, demander simplement à l'ordinateur de suivre la loi ne suffit pas. Les chercheurs ont conclu que pour faire fonctionner efficacement ces outils pour les parties vagues de la réglementation, les entreprises doivent investir du temps dans l'élaboration de prompts (instructions) détaillés et spécifiques qui guident l'intelligence artificielle à travers les étapes nécessaires. Tant que les réglementations elles-mêmes ne deviendront pas plus spécifiques sur ce que ces documents doivent contenir, ou tant que la manière dont nous instruisons ces machines ne s'améliore, l'utilisation de l'intelligence artificielle pour la conformité restera un mélange de haute fiabilité pour certaines tâches et de risque important pour d'autres.