💻 computer science

Machine learning reduces audit detection risk in 3.3 million public sector general ledger transactions

Cette étude démontre qu'un nouveau cadre d'apprentissage automatique à quatre couches, validé par rapport à 3,3 millions de transactions réelles du secteur public et de rapports d'audit officiels, surpasse de manière significative l'échantillonnage par unité monétaire traditionnel en réduisant le risque de détection d'audit de plus de 38 % à 2,01 % tout en réduisant le temps de traitement de 98,7 %.

Auteurs originaux : Tsetsegjargal Ulambayar, Oyunbileg Pagjii, Oyuntsetseg Luvsandash, Gantulga Garamdorj, Chimedtsogzol Sangajav

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tsetsegjargal Ulambayar, Oyunbileg Pagjii, Oyuntsetseg Luvsandash, Gantulga Garamdorj, Chimedtsogzol Sangajav

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de trouver une seule pièce de monnaie contrefaite cachée dans un sac massif de 3,3 millions de pièces réelles. Dans le monde de l'audit financier, c'est le défi quotidien : trouver des erreurs ou des fraudes dans d'énormes piles d'enregistrements financiers. Traditionnellement, les auditeurs ont utilisé une méthode appelée « Échantillonnage par Unité Monétaire » (EUM). Pensez à cela comme un chercheur de trésors qui ne creuse que dans les tas de terre les plus gros et les plus évidents, car il suppose que l'or doit s'y trouver. Il ignore les petits et calmes poches de sable, supposant qu'elles sont sûres. Mais et si la pièce contrefaite se cachait dans l'une de ces petites poches ignorées ? C'est là le risque : manquer les mauvaises choses parce que vous n'avez regardé que les grosses choses.

Pour résoudre cela, les scientifiques se tournent vers l'« Apprentissage Automatique » (Machine Learning), ce qui revient à donner au détective un assistant robotique super intelligent et infatigable. Cet assistant peut lire chaque enregistrement du sac, pas seulement les plus gros. Il recherche des modèles que l'œil humain pourrait manquer, comme un rythme étrange dans les chiffres ou une transaction qui semble « déplacée ». L'objectif est de réduire le « risque de détection », qui est simplement la probance que le détective rate le crime. Si le robot peut repérer la pièce contrefaite dans la petite poche, l'audit devient beaucoup plus sûr et plus rapide. Cet article pose une grande question : ce robot assistant peut-il réellement trouver les erreurs dans les véritables registres d'argent public mieux que l'ancienne méthode du « creusement des gros tas », et peut-il expliquer pourquoi il les a trouvées d'une manière que les auditeurs humains peuvent comprendre ?

Le Super-Scanner : Comment l'IA a trouvé l'aiguille dans la botte de foin

Dans cette étude, une équipe de chercheurs de Mongolie a construit un « super-scanner » à quatre couches pour vérifier les registres financiers d'une entreprise publique de l'énergie. Ils ne l'ont pas seulement testé sur des chiffres fictifs ; ils l'ont alimenté avec un ensemble de données massives et réelles contenant 3 329 189 transactions monétaires individuelles sur trois ans (2023, 2024 et 2025). C'était une montagne de données totalisant 16,34 billions de MNT (cela fait beaucoup de Tugriks !).

L'ancienne méthode vs La nouvelle méthode
Les chercheurs ont comparé leur nouveau système d'apprentissage automatique à l'ancienne norme, qui est semblable à la méthode du « creusement des gros tas » mentionnée plus haut. Avec l'ancienne méthode, les auditeurs choisissaient un échantillon aléatoire de 20 % de comptes à vérifier. L'étude a montré que cette ancienne méthode laissait un fossé énorme : elle présentait un « risque de détection » (la chance de manquer une erreur) compris entre 38,05 % et 52,7 %. En langage clair, cela signifie que dans près de la moitié des cas, l'ancienne méthode aurait pu ignorer totalement la fraude ou les erreurs.

Le nouveau système d'apprentissage automatique, cependant, a agi comme un filet qui attrape tout. Il a traité l'intégralité des 3,3 millions de transactions en seulement 4,5 heures. Pour mettre cela en perspective, l'ancienne méthode aurait pris aux auditeurs humains entre 310 et 357 heures pour accomplir le même travail. C'est une réduction de temps de 98,7 % !

Comment le robot a appris (sans professeur)
Habituellement, enseigner à un robot comment repérer la fraude nécessite de lui montrer d'abord des milliers d'exemples d'enregistrements « bons » et « mauvais ». Mais dans la vie réelle, les auditeurs ne savent quels enregistrements sont mauvais qu' après avoir terminé l'audit. C'est un cercle vicieux.

Les auteurs ont résolu cela avec une astuce ingénieuse appelée système d'« auto-étiquetage ». Imaginez un groupe de trois détectives différents (Forêt d'isolement, Score Z et analyse du ratio de rotation) examinant les données indépendamment. Si au moins deux d'entre eux conviennent qu'un enregistrement semble suspect, le système le marque comme « anomalie ». Cela crée un ensemble de données d'entraînement à partir de rien, permettant au robot principal (un modèle de Forêt Aléatoire) d'apprendre à repérer les coupables sans avoir besoin d'un corrigé pré-écrit.

Les résultats : Une amélioration de 19 fois
Lorsqu'ils ont testé ce système, les résultats ont été stupéfiants. Le modèle de Forêt Aléatoire a atteint un score F1 de 0,966 et un AUC de 0,999, tout en réduisant le « risque de détection » à seulement 2,01 %. C'est une amélioration de 19 fois par rapport à l'ancienne méthode. Pour prouver qu'il ne s'agissait pas de chance, ils ont effectué un test statistique (test de McNemar) qui a montré que pour chaque erreur captée par l'ancienne méthode, le nouveau modèle d'apprentissage automatique en a capté 107 que l'ancienne méthode avait manquées. Les mathématiques étaient si claires que la probabilité que cela se produise par accident était inférieure à 0,001.

La surprise de l'« effet de masquage par agrégation »
L'une des découvertes les plus fascinantes de l'article est ce que les auteurs appellent l'« effet de masquage par agrégation ». Ils ont testé une règle classique appelée Loi de Benford, qui prédit comment les nombres devraient commencer (comme le nombre de 1, de 2 ou de 3 qui devraient apparaître au début des nombres dans la vie réelle).

Lorsqu'ils ont examiné les 3,3 millions de transactions individuelles, les chiffres étaient bizarres et brisaient la Loi de Benford (un signe de manipulation potentielle). Mais, lorsqu'ils ont regroupé ces mêmes transactions en résumés de comptes (comme l'addition de toutes les transactions pour un compte bancaire donné), la bizarrerie disparaissait ! Les chiffres semblaient parfaitement normaux.

C'est comme si vous regardiez une foule de personnes individuellement : vous pourriez voir certaines portant des chapeaux rouges et d'autres des chapeaux bleus. Mais si vous prenez une photo de toute la foule de loin, les couleurs se mélangent pour former un gris monotone. L'étude a révélé que si les auditeurs ne regardent que la « photo grise » (le résumé du compte), ils manquent les « chapeaux rouges » (la fraude au niveau de la transaction). Cela suggère que pour réellement attraper la fraude, les auditeurs doivent examiner les transactions individuelles, et non seulement les grands résumés.

Le robot peut-il s'expliquer ?
Une grande inquiétude concernant l'IA est qu'elle soit une « boîte noire » : elle donne une réponse mais ne dit pas pourquoi. Les chercheurs ont corrigé cela en ajoutant une couche qui traduit le calcul mathématique du robot en « langage d'auditeur ». Au lieu de dire « La caractéristique X a un poids élevé », le système dit : « Ce compte a été signalé car le solde a bondi de 847 % en un an, ce qui enfreint les règles de la norme ISA 520 ».

Lorsque de véritables auditeurs du Bureau National de l'Audit ont examiné ces explications, 94 % ont déclaré qu'elles étaient parfaites et pouvaient être utilisées dans des rapports officiels sans modification. Cela prouve que le robot ne fait pas que deviner ; il raisonne d'une manière que les professionnels humains comprennent.

Cela fonctionne-t-il sur d'autres données ?
L'équipe a également testé si leur robot pouvait gérer des données provenant d'autres secteurs (comme différents départements gouvernementaux) sans être réentraîné. Bien qu'il ait obtenu de meilleurs résultats sur l'entreprise énergétique sur laquelle il a été entraîné, il a tout de même performé de manière nettement supérieure à l'ancienne méthode de l'« échantillon de 20 % » dans d'autres secteurs, captant la plupart des erreurs même sans entraînement spécifique sur ces nouveaux groupes.

L'essentiel
Cet article montre que l'apprentissage automatique n'est pas seulement une idée futuriste ; c'est un outil pratique capable de scanner 3,3 millions de transactions en 4,5 heures, de trouver des erreurs avec une séparation quasi parfaite (AUC=0,999) et une grande précision (F1=0,966), et d'expliquer ses conclusions en français courant. Il nous avertit également que regarder les grands résumés ne suffit pas — nous devons zoomer sur les détails infimes pour attraper la fraude cachée dans le bruit. Les auteurs ont même publié leur système sous forme de logiciel libre et gratuit (open-source), afin que d'autres auditeurs puissent utiliser ce « super-scanner » pour rendre le monde de l'argent public plus sûr.

Résumé Technique : Apprentissage Automatique pour la Réduction du Risque de Détection lors de l'Audit des Grands Livres du Secteur Public

Problématique
Dans l'audit du secteur public, le risque de détection — la probabilité que les procédures d'audit ne parviennent pas à identifier des anomalies significatives — demeure un défi critique. La pratique conventionnelle repose sur l'échantillonnage par unité monétaire (MUS), qui n'examine généralement que 20 % des comptes sur la base de leur valeur monétaire. Cette approche laisse les comptes aux soldes plus faibles non examinés, entraînant des risques de détection allant de 38,05 % à 52,7 % dans le contexte étudié. De plus, les applications d'apprentissage automatique (ML) existantes dans l'audit sont fréquemment évaluées sur des ensembles de données synthétiques ou propriétaires sans validation par rapport aux résultats d'audits officiels, et elles manquent souvent de généralisabilité temporelle ou d'efficacité opérationnelle par rapport aux références réalistes. Une barrière importante au déploiement du ML est l'absence de données de vérité terrain pré-étiquetées, car les conclusions de l'auditeur ne sont disponibles qu'après la mission.

Méthodologie
L'étude propose un cadre de ML à quatre couches conçu pour fonctionner sans données d'entraînement pré-étiquetées, validé sur 3 329 189 transactions de grand livre d'une entreprise publique de l'énergie mongole sur trois exercices fiscaux (FY2023–FY2025). Le cadre traite 9 909 lignes de comptes avec un flux de débit cumulé de 16,34 billions de MNT.

Couche 1 : Préparation des données : Les données du grand livre sont ingérées depuis Excel, normalisées et vérifiées pour l'identité du solde débit-crédit (ISA 500). Les caractéristiques sont mises à l'échelle via StandardScaler, ajusté uniquement sur les années d'entraînement (FY2023–FY2024) pour éviter la fuite de données dans la retenue temporelle (FY2025).
Couche 2 : Étiquetage d'ensemble non supervisé : Pour remédier à l'absence de vérité terrain, le système génère des pseudo-étiquettes via un mécanisme de vote d'ensemble. Trois méthodes non supervisées opèrent indépendamment :
- Forêt d'isolement (Isolation Forest) : Utilise 200 estimateurs avec un paramètre de contamination de 0,10.
- Analyse du Z-score : Signale les comptes présentant des z-scores absolus > 2,0 sur la rotation des débits/crédits.
- Écrantage du ratio de rotation (Turn-Ratio) : Signale les comptes situés au-dessus du 95e percentile du ratio débit-crédit.
- Règle : Un compte est étiqueté comme anomal si l'Isolation Forest le signale OU si les méthodes Z-score et Turn-Ratio le signalent tous deux.
Couche 3 : Classification supervisée : Trois classificateurs (Forêt aléatoire, Gradient Boosting, Arbre de décision) sont entraînés sur les données étiquetées par l'ensemble via une validation croisée stratifiée à 5 plis. Les hyperparamètres sont optimisés par recherche par grille (grid search).
Couche 4 : IA explicable (XAI) et alignement ISA : Les valeurs SHAP (SHapley Additive exPlanations) sont mappées à une ontologie ISA spécifique. Cela traduit l'importance des caractéristiques du modèle en langage d'audit professionnel (ex: lier le "changement de solde d'une année sur l'autre" à l'ISA 520), générant une documentation automatisée des papiers de travail.

Contributions Clés

Architecture d'auto-étiquetage : Le cadre élimine la dépendance vis-à-vis d'une vérité terrain pré-étiquetée en utilisant un vote d'ensemble non supervisé pour générer des données d'entraînement, permettant un déploiement dès le premier cycle d'audit.
Validation Officielle : Contrairement aux études antérieures reposant sur des benchmarks, ce cadre est validé par rapport à deux années de rapports officiels du Bureau National d'Audit (NAO), atteignant un alignement de 85 à 90 % avec les anomalies significatives documentées.
Effet de Masquage par Agrégation : L'étude documente un phénomène nouveau où les anomalies de la loi de Benford présentes au niveau de la transaction (3,3 millions d'entrées) sont statistiquement supprimées lorsqu'elles sont agrégées au niveau du compte (9 909 lignes). L'analyse au niveau de la transaction a révélé des écarts significatifs ( $\chi^2 = 15,51, p < 0,05$ ), tandis que l'analyse au niveau du compte a montré une conformité étroite (MAD < 0,006).
Déploiement Open-Source : Le système est publié sous le nom de "Audit AI v10.0", une application web open-source sans coût de licence, déployable dans des environnements basés sur Excel.

Résultats Expérimentaux

Performance vs Référence : Par rapport à une base de référence MUS de 20 %, le modèle Random Forest a atteint un score F1 de 0,966 et un AUC de 0,999.
Réduction du Risque de Détection : Le cadre de ML a réduit le risque de détection de la base de référence de 38,05–52,7 % à 2,01 % (Random Forest), soit une amélioration de 19 fois.
Signification Statistique : Le test de McNemar a confirmé la supériorité de Random Forest sur le MUS avec une valeur $\chi^2$ de 1 666,63 ( $p < 0,001$ ). Le ratio d'avantage directionnel ( $b/c$ ) était de 107,2, indiquant que le modèle ML a détecté 107 anomalies pour chaque anomalie manquée par le MUS que le MUS avait détectée.
Généralisabilité Temporelle : Dans une retenue temporelle stricte (entraînement sur FY2023–2024, test sur FY2025), Random Forest a maintenu un F1 de 0,955 et un risque de détection de 8,64 %.
Transfert Intersectoriel : Le transfert "zero-shot" vers cinq autres organisations du secteur public a produit un F1 moyen de 0,741, quatre secteurs sur cinq surperformant le F1 de la base de référence MUS de 0,369.
Efficacité : Le temps de traitement pour l'ensemble du jeu de données est passé de 310–357 heures (MUS) à 4,5 heures (ML), soit une réduction de 98,7 %.

Signification et Revendications
L'article affirme que ce cadre offre une solution pratique au goulot d'étranglement de la "vérité terrain" dans l'analyse d'audit, permettant aux auditeurs d'analyser 100 % des populations plutôt que de s'appuyer sur l'échantillonnage. En mappant les attributions SHAP directement aux normes ISA, le système répond à la préoccupation de la "boîte noire", avec 94 % des auditeurs du NAO jugeant les explications générées automatiquement appropriées pour les papiers de travail.

L'étude souligne que les tests de Benford standards au niveau du compte sont insuffisants pour les objectifs de détection de fraude selon l'ISA 240, en raison de l'effet de masquage par agrégation, préconisant une analyse à double niveau (transaction et compte). Les auteurs positionnent ce travail comme une étape vers la démocratisation des analyses d'audit avancées pour les entités du secteur public, particulièrement dans les économies en développement, en fournissant un outil validé, sans coût de licence, qui réduit considérablement le risque de détection et le temps opérationnel.

Limites
Les auteurs notent que la validation est basée sur une seule organisation de cas (bien qu'avec des conclusions confirmées sur plusieurs années), que les estimations de temps du MUS reposent sur des témoignages d'auditeurs, et que le cadre actuel est limité aux données financières structurées, excluant les preuves narratives ou non structurées. Des travaux futurs sont suggérés pour une validation longitudinale multi-organisations et l'intégration de modèles de langage (LLM) pour les preuves non structurées.

Le Super-Scanner : Comment l'IA a trouvé l'aiguille dans la botte de foin

Articles similaires