Sequential Audit Sampling with Statistical Guarantees

Cette étude propose un cadre de test séquentiel pour l'échantillonnage d'audit sur une population finie sans remise, permettant de définir des règles d'arrêt et de décision exactes avec un contrôle a priori des erreurs de décision, notamment pour les tests de conformité des contrôles internes.

L'essentiel

Imaginez que vous êtes un inspecteur de qualité dans une immense usine de confitures. Votre mission : vérifier si les pots de confiture sont bons ou s'ils contiennent des insectes (ce qu'on appelle des "déviations" dans le jargon de l'audit).

Le problème ? Il y a des millions de pots. Vérifier chacun d'eux prendrait des années et coûterait une fortune. Vous devez donc en goûter quelques-uns pour vous faire une idée de la qualité de tout le stock.

C'est là que le papier de recherche de Masahiro Kato et Kei Nakagawa intervient. Il propose une nouvelle méthode pour décider quand arrêter de goûter et quand tirer une conclusion, sans risquer de se tromper.

Voici l'explication simple, avec quelques images pour mieux comprendre :

1. Le problème de l'auditeur (Le dilemme du goûteur)

Traditionnellement, les auditeurs (les "gourmets" financiers) suivent une règle simple : ils goûtent un certain nombre de pots (un échantillon).

• Si tout semble parfait, ils arrêtent.
• Si c'est catastrophique, ils arrêtent.
• Mais : s'ils goûtent 10 pots et qu'il y en a 3 de pourris, ils sont perdus. Est-ce que les 3 sont des exceptions ou est-ce que toute la production est pourrie ?
  Dans la vraie vie, ils disent souvent : "Bon, goûtons encore 10 pots pour voir." C'est ce qu'on appelle un échantillonnage séquentiel (on ajoute des échantillons un par un). Le problème, c'est que les règles actuelles sont un peu floues sur combien de pots supplémentaires il faut goûter et quand on est sûr à 100 % de ne pas se tromper.

2. La solution : Une "Ligne de Finish" intelligente

Les auteurs proposent de transformer cette enquête en une course de haies très précise. Imaginez que vous avez deux lignes invisibles sur le sol :

• Une ligne verte (Hypothèse H) : "Tout va bien, la confiture est bonne."
• Une ligne rouge (Hypothèse K) : "Attention, il y a trop d'insectes, c'est dangereux."

À chaque fois que vous goûtez un pot, vous avancez d'un pas.

• Si vous tombez sous la ligne verte, vous criez : "C'est bon ! On arrête !"
• Si vous tombez au-dessus de la ligne rouge, vous criez : "C'est mauvais ! On arrête !"
• Si vous êtes entre les deux lignes, vous continuez à goûter.

La magie de ce papier, c'est qu'ils ont calculé mathématiquement exactement où placer ces lignes pour chaque étape de la course.

• Au début, les lignes sont très écartées (il faut beaucoup de preuves pour arrêter).
• Plus vous avancez, plus les lignes se rapprochent, mais elles sont placées de manière à garantir que vous ne vous tromperez jamais (ou presque jamais) sur la conclusion finale.

3. L'outil secret : Le "Simulateur de Milliers de Mondes"

Comment savent-ils où placer ces lignes parfaitement ? Ils utilisent une technique appelée simulation de Monte Carlo.

Imaginez que vous ne pouvez pas calculer la position exacte des lignes à la main (c'est trop compliqué). Alors, vous créez un simulateur informatique.

• Le simulateur imagine 10 000 usines différentes.
• Dans certaines, il y a très peu d'insectes (le pire cas où la confiture est bonne).
• Dans d'autres, il y en a beaucoup (le pire cas où la confiture est mauvaise).
• Il fait courir des milliers de "gourmets virtuels" dans ces usines pour voir à quel moment ils se trompent.

En regardant ces 10 000 simulations, l'ordinateur ajuste les lignes vertes et rouges pour s'assurer que, même dans les pires scénarios possibles, le nombre d'erreurs reste très faible (par exemple, moins de 5 % de chances de dire "c'est bon" alors que c'est pourri).

4. Les résultats : Pourquoi c'est génial ?

Le papier montre que cette méthode est très efficace grâce à deux métaphores :

• La course rapide vs la course lente :

  • Si la confiture est vraiment excellente (très peu d'insectes), vous tomberez sous la ligne verte très vite. Vous arrêtez de goûter après seulement 30 pots sur 10 000. Gain de temps énorme !
  • Si la confiture est vraiment pourrie, vous tomberez sur la ligne rouge très vite.
  • Le cas difficile : Si la confiture est "juste à la limite" (ni excellente, ni pourrie), vous resterez coincé entre les deux lignes pendant longtemps. Vous devrez goûter beaucoup plus de pots pour trancher. C'est logique : plus la décision est difficile, plus il faut de preuves.

• L'économie de ressources :
  Dans leurs tests avec de vraies données (sur des fraudes ou des risques financiers), ils ont vu que souvent, on n'a besoin de vérifier que 4 % à 13 % du total des documents pour être sûr de la conclusion. Au lieu de tout vérifier, on s'arrête dès qu'on a assez de preuves.

En résumé

Ce papier donne aux auditeurs une boussole mathématique pour savoir exactement quand arrêter de travailler.

• Avant : On ajoutait des échantillons "au feeling" ou selon des règles vagues.
• Maintenant : On utilise une méthode qui garantit statistiquement qu'on ne se trompera pas, tout en économisant du temps et de l'argent en s'arrêtant dès que la réponse est claire.

C'est comme passer d'une enquête policière où l'on interroge tout le quartier au hasard, à une enquête où l'on sait exactement combien de témoins il faut interroger pour être sûr de trouver le coupable, sans gaspiller de temps.

Résumé technique

1. Problématique et Contexte

Contexte :
L'audit des états financiers repose sur une approche fondée sur les risques pour obtenir une « assurance raisonnable ». En pratique, les auditeurs doivent souvent effectuer des échantillonnages supplémentaires ou des procédures connexes lorsque l'échantillon initial ne fournit pas une base suffisante pour une conclusion. Bien que les normes internationales (ISA) et nationales reconnaissent cette extension séquentielle, la conception statistique rigoureuse de ces procédures séquentielles dans le cadre d'une population finie (sans remise) n'a pas été pleinement explorée.

Le Problème :
Les méthodes actuelles manquent souvent de garanties formelles a priori sur les probabilités d'erreur de décision lorsqu'un échantillonnage est étendu de manière itérative. L'objectif est de formaliser l'échantillonnage d'audit avec des éléments ajoutés séquentiellement comme un problème de test d'hypothèses séquentiel, tout en contrôlant strictement les risques d'erreur (accepter une hypothèse fausse) et en minimisant la taille de l'échantillon nécessaire.

2. Méthodologie

L'article propose un cadre mathématique et algorithmique basé sur les hypothèses suivantes :

• Population Finie : L'auditeur examine une population de taille $n$ (items indexés de 1 à $n$).
• Modèle Hypergéométrique : Le tirage se fait sans remise. Le nombre de déviations observées suit une loi hypergéométrique.
• Hypothèses de Test :
  • $H$ (Hypothèse nulle) : Le taux de déviation de la population $p_0$ est inférieur ou égal au taux de déviation tolérable $r$ ($p_0 \le r$).
  • $K$ (Hypothèse alternative) : Le taux de déviation dépasse le seuil tolérable ($p_0 > r$).
  • Une zone d'indifférence $(r - \theta_H, r + \theta_K]$ est introduite où les deux décisions sont acceptables.

Conception de l'Algorithme Séquentiel :
La procédure est définie par une paire $(\tau^{SA}, \delta^{SA})$ : un temps d'arrêt et une règle de décision.

1. Règle d'Arrêt : À chaque étape $t$, l'auditeur examine un nouvel item. Le processus s'arrête dès que la moyenne de l'échantillon $\hat{p}_t$ sort d'une région de continuation définie par des bornes inférieure $\kappa_r(t)$ et supérieure $\bar{\kappa}_r(t)$. Si aucune décision n'est prise avant $t=n$, l'ensemble de la population est inspecté (décision exacte).
2. Règle de Décision :
   • Si $\hat{p}_t < \kappa_r(t)$, accepter $H$ (la population est acceptable).
   • Si $\hat{p}_t > \bar{\kappa}_r(t)$, accepter $K$ (la population est problématique).
3. Contrôle des Erreurs : L'objectif est de garantir que :
   • La probabilité de rejeter $H$ alors qu'elle est vraie (dans la zone d'indifférence ou en dessous) est $\le \alpha$.
   • La probabilité d'accepter $H$ alors que $K$ est vraie est $\le \beta$.

Calibration des Bornes (Approche par Simulation) :
Le défi principal réside dans le calcul des probabilités de franchissement de frontière exactes pour une population finie.

• Points de Conception Défavorables : Les bornes sont calibrées aux taux de déviation « les plus défavorables » : $p^*_H = r - \theta_H$ et $p^*_K = r + \theta_K$.
• Méthode de Monte Carlo : Au lieu de calculer analytiquement les probabilités hypergéométriques complexes pour chaque seuil candidat, les auteurs utilisent une simulation de Monte Carlo ($M$ réplications).
  • On génère des séquences complètes d'inspection aléatoire pour les populations correspondant à $p^*_H$ et $p^*_K$.
  • Les bornes $\kappa_r(t)$ et $\bar{\kappa}_r(t)$ sont déterminées récursivement (de $t=1$ à $n$) pour minimiser la taille de l'échantillon tout en respectant les contraintes cumulées d'erreur $\alpha$ et $\beta$.
  • La borne supérieure est choisie comme le seuil le plus bas possible (pour arrêter tôt en faveur de $K$), et la borne inférieure comme le seuil le plus haut possible (pour arrêter tôt en faveur de $H$).

3. Contributions Clés

1. Formalisation Statistique : Transformation de la pratique courante d'extension d'échantillon en un problème de test d'hypothèses séquentiel rigoureux pour une population finie sans remise.
2. Garanties d'Erreur Ex Ante : Fourniture de contrôles stricts sur les probabilités d'erreur de décision (Type I et Type II) avant même le début de l'audit, contrairement aux approches empiriques ou heuristiques.
3. Algorithme de Calibration Pratique : Développement d'une méthode de calibration basée sur la simulation de Monte Carlo qui est applicable à des tailles de population réalistes, évitant la complexité computationnelle des calculs exacts pour chaque seuil.
4. Extensibilité : Le cadre est généralisable aux tests unilatéraux, aux designs à deux étapes (batch initial + extension) et aux tests tronqués.

4. Résultats

Les auteurs valident leur méthode via deux approches :

A. Données Synthétiques (Exemple Numérique) :

• Pour une population de $n=100$ et un taux tolérable $r=0.2$, les simulations montrent que les probabilités d'erreur sont contrôlées à environ 5% (niveau cible $\alpha=\beta=0.05$) en dehors de la zone d'indifférence.
• Le temps d'arrêt attendu est maximal lorsque le taux de déviation réel est proche du seuil de décision, et minimal lorsque le taux est très éloigné du seuil (soit très bon, soit très mauvais).

B. Étude Empirique (Rejeu sur Données Réelles) :
L'algorithme a été appliqué à trois populations binaires réelles (données d'audit indien et détection de fraude) en rejouant 1 000 ordres d'inspection aléatoires :

1. Audit Risk (Taux de déviation élevé, $p_0 \approx 0.39$) : L'audit séquentiel a arrêté l'inspection très rapidement (moyenne de 34 items sur 776, soit ~4,4% de la population) avec une forte probabilité de conclure correctement à $K$.
2. FraudDetection 2014 (Taux très faible, $p_0 \approx 0.0007$) : L'audit a accepté $H$ dans tous les cas, avec un temps d'arrêt moyen de 428 items sur 5 627 (~7,6%).
3. FraudDetection 2000 (Taux proche de la limite, $p_0 \approx 0.0127$) : Cas le plus difficile. Le temps d'arrêt est beaucoup plus long et dispersé (moyenne de 912 items, ~13,5% de la population), reflétant la difficulté à distinguer la population du seuil de tolérance.

Observation : Les résultats confirment que la taille de la population seule ne détermine pas le temps d'arrêt ; c'est la distance entre le taux de déviation réel et le seuil de tolérance qui est le facteur déterminant.

5. Signification et Implications

• Amélioration de l'Efficacité de l'Audit : La méthode permet de réduire significativement la taille des échantillons nécessaires (souvent < 15% de la population) tout en maintenant des garanties statistiques rigoureuses, contrairement aux approches statiques qui pourraient exiger des échantillons plus grands ou des extensions non planifiées.
• Alignement avec les Normes : Le cadre proposé s'aligne naturellement avec les normes internationales (ISA 530) qui permettent des procédures supplémentaires, mais leur donne une base mathématique solide pour la planification et l'évaluation.
• Transparence et Reproductibilité : L'utilisation de bornes calibrées par simulation offre une transparence sur les risques encourus, permettant aux auditeurs de justifier leurs décisions d'arrêt ou de poursuite de l'audit de manière objective.
• Applicabilité : Bien que conçue pour les tests de contrôles (données binaires), la méthodologie peut être adaptée à d'autres contextes d'audit, offrant une alternative robuste aux méthodes d'échantillonnage traditionnelles basées sur des approximations asymptotiques qui ne tiennent pas compte de la nature finie des populations d'audit.

En conclusion, cet article propose une avancée méthodologique majeure en transformant l'audit séquentiel d'une pratique intuitive en un processus statistique discipliné, capable de fournir des garanties de risque précises tout en optimisant l'utilisation des ressources d'audit.