Sequential Audit Sampling with Statistical Guarantees

Diese Studie entwickelt ein exaktes sequenzielles Stichprobenverfahren für die Abschlussprüfung, das durch Monte-Carlo-Simulation kalibrierte Entscheidungsregeln bereitstellt, um die Fehlerwahrscheinlichkeiten bei der Prüfung von Abweichungsraten in endlichen Populationen statistisch zu kontrollieren und gleichzeitig die erwartete Stichprobengröße zu minimieren.

Das Wesentliche

Der große Audit-Check: Wie man mit weniger Arbeit mehr Sicherheit bekommt

Stell dir vor, du bist ein Qualitätskontrolleur in einer riesigen Fabrik, die 10.000 Schrauben produziert. Deine Aufgabe ist es, herauszufinden, ob die Schrauben gut sind oder ob sie defekt sind.

Das Problem:
Du kannst nicht jede einzelne der 10.000 Schrauben prüfen. Das würde zu lange dauern und zu viel Geld kosten. Also nimmst du eine kleine Probe, prüfst sie und entscheidest dann: „Alles in Ordnung" oder „Da ist was faul".

Das alte Problem:
In der Praxis passiert oft Folgendes: Du prüfst 50 Schrauben. 3 sind defekt. Das ist schon viel, aber nicht ganz sicher genug, um zu sagen: „Die ganze Lieferung ist schlecht". Also prüfst du noch 20 weitere. Dann noch 10. Und plötzlich hast du 100 geprüft, ohne eine klare Antwort zu haben. Das ist ineffizient und die Regeln dafür waren bisher etwas ungenau.

Die neue Lösung (die Studie):
Die Autoren dieser Studie haben eine Art „intelligenten, sich selbst stoppenden Check" entwickelt. Stell dir das wie einen Wachhund vor, der nicht blind bellt, sondern genau weiß, wann er aufhören muss.

1. Die zwei Grenzen (Das Zauberseil)

Stell dir vor, du hast einen unsichtbaren Korridor vor dir.

• Oben: Eine rote Linie (zu viele Fehler).
• Unten: Eine grüne Linie (zu wenige Fehler).
• Mitte: Ein grauer Bereich, wo man noch nicht sicher ist.

Der Wachhund (der Prüfer) schaut sich die Schrauben nacheinander an.

• Wenn er schnell merkt, dass viele Schrauben defekt sind, läuft er sofort zur roten Linie und bellt: „Stopp! Die ganze Lieferung ist schlecht!" (Er muss nicht alle 10.000 prüfen).
• Wenn er merkt, dass fast alle Schrauben perfekt sind, läuft er zur grünen Linie und sagt: „Stopp! Alles super!"
• Wenn er mitten im grauen Bereich bleibt, läuft er weiter und prüft die nächste Schraube.

2. Der Clou: Die „Garantie"

Das Geniale an dieser Methode ist, dass sie mathematisch verspricht, nicht zu oft falsch zu liegen.

• Sie garantiert: „Wenn wir sagen, alles ist okay, dann ist es mit 95%iger Wahrscheinlichkeit auch wirklich okay."
• Und: „Wenn wir sagen, es ist schlecht, dann ist es mit 95%iger Wahrscheinlichkeit auch wirklich schlecht."

Früher war das bei solchen „Schritt-für-Schritt"-Prüfungen schwer zu berechnen. Die Autoren haben einen Trick benutzt: Sie haben einen Computer (eine Art Simulations-Flugzeug) tausende Male durchgespielt, wie der Wachhund bei den schlimmsten denkbaren Szenarien laufen würde. So haben sie die perfekten Linien für den Korridor berechnet, damit der Wachhund nie zu früh oder zu spät bellt.

3. Was passiert in der Praxis?

Die Autoren haben das mit echten Daten getestet (z. B. mit echten Finanzdaten von Firmen).

• Szenario A (Klarer Fall): Die Firma hatte viele Fehler. Der Wachhund bellte sofort nach nur 34 geprüften Schrauben (bei 776 insgesamt). Er musste nicht alle prüfen! Das spart enorm viel Zeit.
• Szenario B (Klarer Fall): Die Firma hatte fast keine Fehler. Der Wachhund ging zur grünen Linie und stoppte nach ca. 400 Schrauben. Auch hier: Viel schneller als die komplette Prüfung.
• Szenario C (Zwischenfall): Die Firma war knapp an der Grenze. Da musste der Wachhund länger laufen (ca. 900 Schrauben), um sicher zu sein. Aber das ist okay, denn hier war die Entscheidung einfach schwieriger.

Die große Metapher: Der Regen-Check

Stell dir vor, du willst wissen, ob es morgen regnet.

• Der alte Weg: Du stehst den ganzen Tag draußen und guckst jede einzelne Wolke an.
• Der neue Weg: Du hast einen Regenschirm in der Hand.
  • Wenn es schon nach 5 Minuten stark zu schütten beginnt, weißt du: „Es regnet!" Du musst nicht den ganzen Tag warten.
  • Wenn es den ganzen Tag trocken bleibt, weißt du: „Kein Regen."
  • Wenn es nur ein paar Tropfen gibt, wartest du etwas länger, bis du sicher bist.

Die Studie sagt im Grunde: „Wir haben eine mathematische Uhr gebaut, die dir genau sagt, wann du aufhören kannst zu warten, ohne dass du dich verschätzt."

Warum ist das wichtig?

Für Wirtschaftsprüfer (die Leute, die Firmenkonten checken) bedeutet das:

1. Schneller: Sie müssen weniger Dinge prüfen, um zu einem sicheren Ergebnis zu kommen.
2. Sicherer: Sie wissen genau, wie groß das Risiko ist, einen Fehler zu übersehen.
3. Fairer: Es gibt klare Regeln, wann man aufhört, statt willkürlich weiterzumachen.

Kurz gesagt: Die Studie verwandelt das „Raten" beim Prüfen in einen präzisen, mathematischen Tanz, bei dem man genau weiß, wann der Tanz beendet ist.

Technische Zusammenfassung

1. Problemstellung und Motivation

Kontext:
Die Prüfung von Jahresabschlüssen basiert auf einem risikobasierten Ansatz, bei dem Prüfer eine „vernünftige Sicherheit" (reasonable assurance) über die Zuverlässigkeit der Finanzberichterstattung erlangen müssen. Da eine vollständige Prüfung aller Transaktionen in großen Organisationen oft zu kostspielig ist, stützen sich Prüfer auf Stichproben.

Das bestehende Problem:
In der Praxis führen Prüfer häufig zusätzliche Stichproben durch, wenn die initiale Stichprobe keine ausreichende Grundlage für eine endgültige Schlussfolgerung liefert. Internationale Standards (wie ISA 530) und nationale Leitfäden erkennen diese sequenziellen Erweiterungen an. Allerdings fehlt es an einer rigorosen statistischen Theorie für diese sequenziellen Prüfverfahren, insbesondere für endliche Populationen ohne Zurücklegen.

• Bestehende Modelle behandeln die Stichprobe oft als einmaliges Ereignis oder nutzen asymptotische Annahmen, die für endliche Populationen ungenau sind.
• Es gibt keine expliziten, ex ante garantierten Fehlerwahrscheinlichkeiten für sequenzielle Entscheidungen in diesem spezifischen Kontext.

Ziel:
Das Paper formuliert die sequenzielle Audit-Stichprobe als sequenzielles Hypothesentest-Problem für eine endliche Population unter dem Modell des Ziehens ohne Zurücklegen (Hypergeometrische Verteilung). Das Ziel ist die Schaffung eines Verfahrens, das:

1. Die Wahrscheinlichkeit falscher Entscheidungen (Fehler 1. und 2. Art) vorab kontrolliert.
2. Die erwartete Stichprobengröße (Stop-Zeit) minimiert, indem es frühzeitig stoppt, wenn die Evidenz eindeutig ist.

---

2. Methodik und mathematische Formulierung

Grundlegende Annahmen:

• Population: Eine endliche Menge von $n$ Prüfelementen.
• Abweichungen: Jedes Element $i$ hat einen Indikator $X_i \in \{0, 1\}$ (1 = Abweichung/Fehler, 0 = korrekt).
• Abweichungsrate: $p_0 = m/n$, wobei $m$ die Anzahl der Abweichungen in der Population ist.
• Tolerierbare Abweichungsrate ($r$): Ein vorab festgelegter Schwellenwert. Ist $p_0 > r$, gilt die Population als problematisch.

Hypothesen:
Das Problem wird als Test zweier Hypothesen formuliert:

• $H: p_0 \le r$ (Die Population ist akzeptabel).
• $K: p_0 > r$ (Die Population ist inakzeptabel).

Um die Unsicherheit in der Nähe des Schwellenwerts zu handhaben, wird ein Indifferenzbereich eingeführt mit Parametern $\theta_H, \theta_K$:

• $H: p_0 \le r - \theta_H$
• $K: p_0 > r + \theta_K$
  Für $p_0$ innerhalb dieses Bereichs ist jede Entscheidung akzeptabel.

Der sequenzielle Prozess:
Der Prüfer zieht Elemente nacheinander ohne Zurücklegen. Nach jedem Schritt $t$ wird der Stichprobenmittelwert $\hat{p}_t$ berechnet.
Das Verfahren besteht aus einer Stoppregel ($\tau$) und einer Entscheidungsregel ($\delta$):

• Stoppregel: Der Prozess stoppt, sobald $\hat{p}_t$ eine untere Grenze $\underline{\kappa}_r(t)$ unterschreitet (Akzeptanz von $H$) oder eine obere Grenze $\overline{\kappa}_r(t)$ überschreitet (Akzeptanz von $K$).
• Entscheidungsregel: Bei Stopp wird die entsprechende Hypothese angenommen. Wird die gesamte Population geprüft ($t=n$), wird die Entscheidung basierend auf dem wahren $p_0$ getroffen (fehlerfrei).

Fehlerkontrolle:
Das Design zielt darauf ab, folgende Fehlerwahrscheinlichkeiten zu begrenzen:

• $\alpha$: Wahrscheinlichkeit, $K$ anzunehmen, wenn $H$ wahr ist (Fehler 1. Art).
• $\beta$: Wahrscheinlichkeit, $H$ anzunehmen, wenn $K$ wahr ist (Fehler 2. Art).
  Die Grenzen müssen so gewählt werden, dass diese Fehlerwahrscheinlichkeiten über alle möglichen Pfade der Stichprobenziehung hinweg eingehalten werden.

Kalibrierung der Grenzen (Boundary Calibration):
Da die exakte Berechnung der Hypergeometrischen Wahrscheinlichkeiten für alle möglichen Pfade rechnerisch aufwendig ist, nutzt das Paper einen hybriden Ansatz:

1. Least-Favorable-Design: Die Grenzen werden basierend auf den „am wenigsten günstigen" Abweichungsraten kalibriert ($p^*_H = r - \theta_H$ und $p^*_K = r + \theta_K$). Diese Punkte maximieren die Fehlerwahrscheinlichkeit außerhalb des Indifferenzbereichs.
2. Rekursive Konstruktion: Die Grenzen $\underline{\kappa}_r(t)$ und $\overline{\kappa}_r(t)$ werden schrittweise für $t=1, 2, \dots$ bestimmt.
3. Monte-Carlo-Simulation: Um die kumulierten Fehlerwahrscheinlichkeiten zu schätzen, werden $M$ synthetische Stichprobenpfade für die least-favorable-Raten generiert. Die Grenzen werden so gewählt, dass die kumulierte Wahrscheinlichkeit, die Grenzen falsch zu überschreiten, $\le \alpha$ bzw. $\le \beta$ bleibt.
   • Die obere Grenze wird so klein wie möglich gewählt (für frühes Stoppen bei $K$).
   • Die untere Grenze wird so groß wie möglich gewählt (für frühes Stoppen bei $H$).

Algorithmus:
Der Algorithmus (Algorithm 1) berechnet zunächst die Grenzen rekursiv mittels Simulation. Anschließend wird die tatsächliche Prüfung durchgeführt: Bei jedem Schritt wird der kumulierte Mittelwert mit den vorkalkulierten Grenzen verglichen.

---

3. Erweiterungen

Das Paper diskutiert vier praktische Erweiterungen des Grundmodells:

1. Einseitiger Test: Wenn nur festgestellt werden muss, ob die Abweichungsrate niedrig genug ist (Nullhypothese: Population ist problematisch).
2. Einseitiger Test mit Mindeststichprobengröße: Einführung einer Mindestanzahl $t_{min}$, bevor eine positive Entscheidung erlaubt ist, kombiniert mit einer Power-Anforderung.
3. Zweistufiges Testen: Anpassung an gängige Praxis, bei der eine initiale Stichprobe gezogen wird und nur bei Unklarheit erweitert wird.
4. Abgebrochene sequenzielle Tests: Begrenzung der Sequenz auf eine feste Zeit $T < n$, falls eine vollständige Prüfung nicht erwünscht ist.

---

4. Ergebnisse

Numerisches Beispiel (Synthetische Daten):

• Setup: $n=100$, $r=0.2$, $\alpha=\beta=0.05$.
• Ergebnis: Die Simulation zeigt, dass die Fehlerwahrscheinlichkeiten außerhalb des Indifferenzbereichs strikt bei ca. 5 % kontrolliert werden.
• Stop-Zeit: Die erwartete Anzahl der zu prüfenden Items ist am höchsten nahe der Entscheidungsgrenze (wo die Evidenz unsicher ist) und deutlich niedriger, wenn die wahre Abweichungsrate weit unter oder über dem Schwellenwert liegt.

Empirische Studie (Reale Datensätze):
Die Methode wurde auf drei reale, öffentliche Datensätze angewendet (UCI Audit Data und FraudDetection-Daten):

1. Audit Risk (Hohe Abweichungsrate): Die Population lag klar im Bereich $K$. Das Verfahren stoppte im Durchschnitt nach nur 34,2 Items (ca. 4,4 % der Population) und traf in 97,8 % der Fälle die korrekte Entscheidung.
2. FraudDetection 2014 (Sehr niedrige Abweichungsrate): Die Population lag klar im Bereich $H$. Das Verfahren stoppte im Durchschnitt nach 428,7 Items (ca. 7,6 % der Population) und traf in 100 % der Fälle die korrekte Entscheidung.
3. FraudDetection 2000 (Nahe der Grenze): Die Abweichungsrate lag knapp über dem Schwellenwert. Hier war die Stop-Zeit deutlich länger (durchschnittlich 912,6 Items, ca. 13,5 % der Population) und die Verteilung der Stop-Zeiten breiter, was die erwartete Schwierigkeit bei Grenzfällen widerspiegelt.

Wichtige Erkenntnisse:

• Die Populationsgröße allein bestimmt nicht die benötigte Stichprobengröße; entscheidend ist die Distanz der tatsächlichen Abweichungsrate zum Schwellenwert.
• Die Methode funktioniert robust auch bei heterogenen, realen Daten.
• Die beobachteten Fehlerraten in den Simulationen entsprachen den designierten Zielen ($\alpha, \beta$).

---

5. Bedeutung und Beitrag

Wissenschaftlicher Beitrag:

• Formalisierung: Das Paper bietet erstmals eine rigorose statistische Formulierung von sequenziellen Audit-Stichproben für endliche Populationen ohne Zurücklegen.
• Ex-ante-Garantien: Im Gegensatz zu vielen praktischen Ansätzen bietet dieses Verfahren mathematisch fundierte Garantien für die Fehlerwahrscheinlichkeiten vor Beginn der Prüfung.
• Praktische Machbarkeit: Durch die Nutzung von Monte-Carlo-Simulationen zur Kalibrierung wird das theoretisch komplexe Problem für reale Populationsgrößen lösbar.

Praktische Relevanz:

• Effizienzsteigerung: Prüfer können oft viel früher als bei traditionellen Feststichproben zu einer fundierten Schlussfolgerung kommen, was Ressourcen spart.
• Risikomanagement: Die explizite Kontrolle von Fehlerraten hilft, das Audit-Risiko besser zu steuern.
• Standardkonformität: Der Ansatz unterstützt die Einhaltung internationaler Standards (ISA), die sequenzielle Erweiterungen erlauben, indem er diese in ein transparentes, statistisches Rahmenwerk einbettet.

Fazit:
Die Autoren schlagen einen Weg vor, Audit-Stichproben von einem oft intuitiven oder statischen Prozess in ein geplantes, sequenzielles Testverfahren mit transparenten statistischen Garantien zu verwandeln. Dies ermöglicht eine effizientere Ressourcennutzung ohne Kompromisse bei der Zuverlässigkeit der Prüfungsergebnisse.