CTRAG: An In-Context Retrieval-based Framework for Automated Compliance Checking using LLMs
Cet article présente CTRAG, un nouveau cadre de génération augmentée par la récupération qui exploite le découpage adaptatif, la récupération dynamique et l'apprentissage en contexte pour automatiser et améliorer considérablement la précision de la vérification de la conformité réglementaire en recoupant les questions de contrôle avec la documentation de l'entreprise, comme le valide un déploiement réel réussi au sein d'un cabinet de services professionnels de type « Big Four ».
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective essayant de résoudre un mystère, mais au lieu d'une scène de crime, votre « crime » est une entreprise qui ne respecte pas les règles. Dans le monde des affaires, il existe des milliers de règles — comme un immense livre de règles invisible pour la gestion de l'argent, la protection des secrets ou la sécurité des données. Vérifier si une entreprise respecte ces règles s'appelle la « conformité ». Traditionnellement, ce travail incombe à des auditeurs humains qui doivent lire des montagnes de documents désordonnés, à la recherche de petits indices prouvant que l'entreprise joue selon les règles. C'est lent, ennuyeux, et les humains se fatiguent, ce qui signifie qu'ils peuvent parfois manquer des indices ou s'embrouiller.
Entrez dans le monde de l'Intelligence Artificielle, plus précisément un type de cerveau informatique intelligent appelé Modèle de Langage Étendu (LLM). Voyez un LLM comme un lecteur super rapide qui a lu presque tout dans le monde et peut parler comme un humain. Cependant, il y a un piège : ces cerveaux intelligents inventent parfois des choses (appelées « hallucinations ») ou oublient des faits spécifiques parce qu'ils se reposent sur ce qu'ils ont mémorisé plutôt que sur ce qui est devant eux. Pour corriger cela, les scientifiques utilisent une astuce appelée « Génération Augmentée par Récupération » (RAG). Imaginez donner au détective une lampe de poche et une pile de dossiers spécifiques à consulter avant qu'il ne rédige son rapport. L'IA cherche d'abord les faits dans les documents, puis utilise son cerveau pour rédiger la réponse. Ce document explore comment rendre cette recherche à la lampe de poche et le rapport final aussi parfaits que possible pour vérifier si les entreprises respectent les règles.
La nouvelle boîte à outils du détective : CTRAG
Les chercheurs derrière ce document, travaillant avec un grand cabinet de services professionnels, ont construit un nouveau système appelé CTRAG. Voyez le CTRAG comme un détective de la conformité de haute technologie conçu pour automatiser le travail ennuyeux et chronophage de vérification de la conformité d'une entreprise. Au lieu qu'un humain passe des heures à feuilleter des PDF, le CTRAG prend les règles (qui sont écrites sous forme de questions) et fouille dans les documents de l'entreprise pour trouver les réponses.
L'objectif principal du document était de déterminer la meilleure façon d'enseigner à ce détective IA comment chercher. Ils ont testé différentes stratégies pour voir laquelle aidait l'IA à trouver les bons indices sans être distraite par un bruit non pertinent.
Le puzzle du « Découpage » : Comment couper la tarte
L'un des plus grands défis était de savoir comment découper les documents de l'entreprise. Imaginez que vous avez un roman de 500 pages et que vous devez trouver une phrase spécifique. Si vous coupez le livre en petits morceaux de 200 caractères (comme si vous découpiez une page en timbres-poste), vous risquez de perdre le contexte de l'histoire. Si vous le coupez en gros morceaux de 3000 caractères (comme si vous coupiez le livre entier en deux), vous pourriez obtenir tellement de texte supplémentaire que l'indice spécifique se perdrait au milieu d'une mer de mots.
L'équipe a testé différents « tailles de morceaux » (la taille des morceaux de texte) :
- Petits morceaux (200 car.) : Ils étaient trop petits et fragmentés. L'IA était confuse car elle ne pouvait pas voir l'ensemble de l'image.
- Gros morceaux (3000 car.) : Ils étaient trop désordonnés. L'IA était submergée par trop d'informations, comme essayer de trouver une aiguille dans une botte de foin où la botte de foin est en feu.
- Le point idéal : Ils ont découvert que de petits morceaux (environ 800 caractères) fonctionnaient le mieux. C'était comme couper le livre en paragraphes gérables. Cette taille était juste assez bonne pour garder le contexte clair sans noyer l'IA dans le bruit.
Ils ont également essayé une méthode sophistiquée appelée « méta-découpage » (Meta-chunking), qui tente de découper le texte en fonction de ruptures logiques de l'histoire plutôt qu'en coupant simplement à un nombre spécifique de caractères. Bien que cela semblât intelligent, cela s'est avéré trop lent et trop coûteux en calcul pour cette tâche spécifique, ils sont donc restés sur les découpes simples à taille fixe.
Le réglage de la « Lampe de poche » : Combien de fichiers vérifier ?
Lorsque l'IA pose une question, elle doit décider combien d'extraits de documents elle doit extraire pour y répondre. C'est ce qu'on appelle la valeur K (ou top-K).
- Si l'IA n'examine qu'1 extrait, elle pourrait manquer la réponse si elle se cache dans le deuxième fichier.
- Si elle examine 5 extraits, elle pourrait être confondue par des détails supplémentaires et non pertinents.
- Les chercheurs ont découvert qu'examiner 4 extraits (K=4) était l'équilibre parfait. Cela donnait à l'IA suffisamment de preuves pour prendre une décision sans être distraite.
Enseigner à l'IA à penser comme un humain
La plus grande percée est venue d'une technique appelée Apprentissage en Contexte (ICL - In-Context Learning). Imaginez que vous enseignez à un nouveau stagiaire comment résoudre une affaire. Vous ne dites pas seulement « trouve la règle » ; vous lui montrez des exemples : « Voici un cas où une entreprise a utilisé un fournisseur de cloud, et voici pourquoi cela compte comme 'Réussi' même si l'entreprise n'a pas fait le travail elle-même. »
L'IA avait du mal avec la « conformité indirecte » — des situations où une entreprise respecte une règle parce que son fournisseur (comme un fournisseur de cloud) la respecte. Sans aide, l'IA dirait « Échec » car l'entreprise n'a pas effectué le travail directement. Mais en fournissant à l'IA quelques exemples soigneusement choisis (comme une fiche de référence de cas passés), l'IA a appris à imiter le jugement humain. Elle a réalisé : « Ah, si le fournisseur est conforme, cela compte aussi pour nous ! »
Les Résultats : Plus rapide, plus intelligent et plus précis
Lorsqu'ils ont mis le CTRAG à l'épreuve dans un scénario réel avec un grand cabinet de services professionnels (Big Four), les résultats ont été impressionnants :
- Précision : Le système a atteint un score F1 de 78 % et un rappel de 85 %. En termes de détective, cela signifie qu'il a trouvé 85 % des cas de violation de règles réels et n'en a pas manqué beaucoup.
- Efficacité : Le système a réduit le travail manuel des examinateurs humains d'environ 60 %.
- La correction du « Pas de preuve » : Un problème délicat était lorsqu' l'IA ne trouvait aucune information dans les documents. Au lieu de deviner, le système a été programmé pour traiter le « Pas de preuve » comme « Non conforme ». La logique est simple : si vous ne pouvez pas prouver que vous avez suivi la règle dans vos documents, vous ne l'avez probablement pas suivie. En reclassant ces cas de « Pas de preuve » comme des échecs, le système a détecté de nombreux contrevenants potentiels qu'il aurait autrement manqués. Cette étape critique a permis au système d'atteindre ce taux de rappel élevé de 85 % sans avoir besoin de réentraîner l'IA.
Ce qu'ils ont écarté
Le document a été très clair sur ce qui n'a pas fonctionné :
- Les petits morceaux (200 car.) étaient une mauvaise idée ; ils brisaient trop le contexte.
- Les gros morceaux (3000 car.) et le méta-découpage étaient trop bruyants ou trop lents pour être pratiques pour cette tâche spécifique.
- Le prompt direct (poser simplement la question à l'IA sans exemples) n'était pas suffisant pour les cas complexes impliquant des tiers.
L'essentiel
Les auteurs suggèrent que le CTRAG est un outil puissant pour rationaliser les contrôles de conformité, mais ils prennent soin de ne pas dire qu'il s'agit d'un « problème résolu ». Ils notent que leurs tests étaient basés sur 240 règles et 45 documents d'une seule organisation. Bien que les résultats soient prometteurs et suggèrent que cette approche pourrait s'étendre à d'autres entreprises et tâches (comme la vérification de contrats), des tests supplémentaires dans différents secteurs sont nécessaires pour s'assurer qu'elle fonctionne partout.
En bref, le CTRAG montre qu'en donnant à l'IA la bonne taille de « morceaux » d'information, le bon nombre de faisceaux de « lampe de poche » et quelques exemples de « fiches de référence », nous pouvons construire un système qui aide les humains à vérifier les règles plus rapidement et avec moins d'erreurs. Ce n'est pas de la magie, mais c'est une façon très intelligente d'utiliser la technologie pour maintenir l'honnêteté du monde de l'entreprise.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.