Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions
Cette étude introduit et valide un cadre d'apprentissage automatique à quatre couches qui réduit considérablement le risque de détection d'audit et le temps de traitement par rapport aux méthodes traditionnelles en exploitant des modèles non supervisés et supervisés sur 3,3 millions de transactions réelles provenant d'une entreprise énergétique mongole, tout en mettant au jour un nouvel « effet de masquage par agrégation » dans les anomalies de la loi de Benford.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective essayant de trouver quelques voleurs sournois cachés dans une immense bibliothèque contenant plus de 3,3 millions de livres (transactions). Dans le passé, les auditeurs jouaient à un jeu de « repérer le voleur » en utilisant une méthode appelée Échantillonnage par Unité Monétaire (EUM). Considérez cela comme si le détective ne vérifiait que les plus gros et les plus lourds livres sur les étagères, car il suppose que les plus gros livres sont les plus susceptibles de cacher les mauvaises choses. Ils inspectaient environ 20 % des livres.
Le problème ? Cette ancienne méthode laissait une énorme faille. L'étude montre qu'en ne vérifiant que les livres « lourds », l'ancienne méthode manquait les coupables 38 % à 52 % du temps. C'était comme laisser la moitié de la bibliothèque sans recherche, en espérant que les voleurs ne se cachent pas dans les livres plus légers et plus petits.
Le nouveau super-scanner
Les chercheurs ont construit un nouveau « super-scanner » à quatre couches utilisant l'apprentissage automatique pour vérifier chaque livre de la bibliothèque, et pas seulement les plus lourds. Ils n'avaient pas de liste de voleurs connus pour entraîner l'IA (ce qui est généralement un problème pour l'IA), alors ils ont appris au scanner à détecter l'« étrangeté » par lui-même à l'aide d'une équipe de trois outils de détection travaillant ensemble :
- Isolation Forest : Un outil qui trouve les éléments qui détonnent comme un lait dans un œil dans une foule.
- Z-score : Une règle qui mesure à quel point un nombre s'écarte de la moyenne.
- Ratio Débit-Crédit : Une balance qui vérifie si l'argent entrant correspond à l'argent sortant.
Si ces outils s'accordaient pour dire qu'un compte semblait suspect, le système le signalait. Ensuite, un « enseignant » (des modèles supervisés comme Random Forest) apprenait de ces signalements pour devenir encore meilleur à repérer les problèmes.
Les résultats : Un bond de géant
Lorsqu'ils ont testé ce nouveau scanner contre l'ancienne méthode de « vérification des 20 % » sur 3 329 189 transactions d'une entreprise énergétique mongole, les résultats ont été spectaculaires :
- Vitesse : L'ancienne méthode demandait aux humains entre 310 et 357 heures pour faire le travail. Le nouveau scanner l'a fait en seulement 4,5 heures. C'est une réduction de temps de 98,7 % !
- Précision : L'ancienne méthode avait un « Risque de détection » (la chance de manquer un voleur) de 38,05 % à 52,7 %. Le modèle Random Forest a fait chuter ce risque à seulement 2,01 %.
- Le ratio de « ratés » : Dans un test statistique appelé test de McNemar, pour chaque compte que l'ancienne méthode a attrapé mais que la nouvelle a manqué, le nouveau modèle a attrapé 107 comptes que l'ancienne méthode a complètement ignorés.
Le modèle était si performant que lorsqu'ils l'ont testé sur une toute nouvelle année de données (FY2025) qu'il n'avait jamais vue auparavant, il a tout de même obtenu un score de précision (F1) de 0,955. Il a également bien fonctionné lorsqu'ils l'ont testé sur d'autres secteurs, bien qu'il ait été plus performant sur les données sur lesquelles il a été entraîné.
Le « tour de magie » de l'agrégation
L'une des découvertes les plus cool de l'article est ce que les auteurs appellent l'« Effet de masquage par agrégation ».
Imaginez que vous avez un sac de billes. Si vous regardez chaque bille individuellement, vous pourriez voir que les chiffres peints sur elles suivent un schéma étrange et suspect (une violation de la loi de Benford, qui prédit comment les nombres apparaissent naturellement). Mais, si vous écrasez toutes ces billes ensemble pour former une énorme boule de pâte à modeler lisse (en les agrégeant en totaux de comptes), ce schéma étrange disparaît ! Les chiffres semblent parfaitement normaux.
L'étude a révélé que lorsqu'ils regardaient les 3,3 millions de transactions individuelles, les chiffres étaient suspectement bizarres (p < 0,05). Mais lorsqu'ils ont regardé les 9 909 résumés de comptes (la « boule de pâte à modeler »), l'étrangeté a disparu, et les chiffres semblaient parfaitement corrects (MAD < 0,006).
Cela signifie que les logiciels d'audit standards, qui ne vérifient généralement que la « boule de pâte à modeler » (les totaux de comptes), manquent la fraude qui se cache dans les billes individuelles. L'article suggère que les auditeurs doivent vérifier les deux niveaux pour tout attraper.
Pourquoi les auditeurs l'aiment vraiment
Habituellement, l'IA est une boîte noire qui dit : « J'ai trouvé un problème, faites-moi confiance ». Mais ce système comprend une couche spéciale qui traduit ses découvertes dans le langage que les auditeurs utilisent déjà (les normes internationales d'audit, ou ISA). Au lieu de dire « La caractéristique X est élevée », il dit : « Ce compte a été signalé parce que le solde a bondi de 847 % d'une année sur l'autre, ce qui enfreint les règles de l'ISA 520 ».
Lorsque de vrais auditeurs du Bureau national d'audit ont examiné ces explications, 94 % ont déclaré qu'elles étaient prêtes à être utilisées dans leurs rapports officiels sans aucune modification.
Ce que ce n'est pas
L'article précise avec prudence que ce n'est pas encore une baguette magique pour toutes les situations.
- Il a été testé sur une seule entreprise énergétique en Mongolie. Bien qu'il ait bien fonctionné sur d'autres secteurs lors des tests, les auteurs affirment que nous devons le voir fonctionner sur beaucoup plus de types d'organisations avant de pouvoir dire qu'il s'agit d'une solution universelle.
- Il n'analyse que des données structurées (comme des feuilles de calcul). Il ne peut pas encore lire des notes manuscrites désordonnées, des contrats PDF ou des récits.
- La « vérité terrain » (savoir avec certitude qui étaient les voleurs) provenait des rapports d'audit officiels des exercices FY2023 et FY2024. Le modèle a été validé par rapport à ceux-ci, mais les auteurs notent que des tests supplémentaires dans différents pays et avec différents styles comptables sont nécessaires.
L'essentiel
Les chercheurs ont créé un outil gratuit et open-source appelé Audit AI v10.0 qui peut scanner des millions de transactions en quelques minutes, trouvant des risques de fraude que l'ancienne méthode de « vérification des gros livres » manque 19 fois plus souvent. Cela prouve qu'en vérifiant tout au lieu de simplement prendre un échantillon, et en examinant les détails minuscules avant qu'ils ne soient lissés en grands résumés, nous pouvons attraper les coupables beaucoup plus rapidement et avec une bien plus grande confiance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.