📊 statistics

Precision and Decisiveness as Goals: Reliable Sequential Hypothesis Testing with a Dual Stopping Criterion

Dieses Paper stellt „Decisive Precision is the Goal“ (DPitG) vor, ein neues Framework für die sequentielle Hypothesenprüfung, das gleichzeitig Präzisions- und Entscheidungskriterien erfüllt, um die Falsch-Positiv-Risiken des vorzeitigen Abbruchs sowie die hohen unentschiedenen Raten rein präzisionsbasierter Methoden zu eliminieren und somit einen zuverlässigen, vorregistrierbaren Ansatz zur Erlangung definitiver statistischer Urteile zu bieten.

Ursprüngliche Autoren: Eyal A. Kazin

Veröffentlicht 2026-08-07

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eyal A. Kazin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Detektivjagd: Wann man aufhören sollte zu suchen

Stellen Sie sich vor, Sie sind ein Detektiv, der ein Rätsel lösen will: Ist eine neue Münze fair oder ist sie manipuliert? In der Welt der Wissenschaft spielen Forscher ständig dieses Spiel. Sie sammeln Daten – wie das Werfen einer Münze oder das Testen eines neuen Medikaments –, um zu sehen, ob ihre Vermutung richtig ist. Aber hier liegt der knifflige Teil: Wie oft müssen Sie die Münze werfen, bevor Sie mit Zuversicht sagen können: „Okay, ich kenne die Antwort!“?

Wenn Sie zu früh aufhören, könnten Sie einen Glücksstreifen mit Köpfen erleben und eine faire Münze fälschlicherweise als manipuliert beschuldigen. Das ist so, als würde ein Detektiv eine unschuldige Person verhaften, nur weil er sie einmal rennen sah, ohne die ganze Geschichte zu prüfen. Wenn Sie die Münze hingegen ewig weiter werfen, kommen Sie vielleicht nie mit Ihrem Bericht fertig und verschwenden Zeit und Geld. Wissenschaftler versuchen seit Jahrzehnten, die perfekte „Stopp-Regel“ zu finden. Sie suchen nach einer Methode, die schnell genug ist, um nützlich zu sein, aber vorsichtig genug, um richtig zu liegen. Dieses Papier befasst sich mit einem speziellen Zweig der Statistik namens sequenzielle Hypothesentestung, bei der es darum geht, Entscheidungen zu treffen, während die Daten eintreffen, anstatt zu warten, bis eine vordefinierte Anzahl von Würfen erreicht ist. Es konzentriert sich auf zwei Hauptideen: Präzision (wie eng Ihre Schätzung ist) und Entscheidungsfähigkeit (ob Sie tatsächlich „Ja“ oder „Nein“ zu der Frage sagen können).

Das Problem mit dem „Hineinspähen“ und die „Vielleicht“-Falle

Das Papier beginnt mit der Untersuchung von zwei populären Wegen, wie Wissenschaftler versuchen, dieses Rätsel zu lösen, und stellt fest, dass beide einen fatalen Fehler haben.

Die erste Methode ist wie ein Detektiv, der stoppt, sobald er einen Hinweis sieht, der verdächtig aussieht. Wenn die Daten aussehen, als wäre die Münze manipuliert, stoppt er und erklärt sie für schuldig. Wenn sie fair aussieht, stoppt er und erklärt sie für unschuldig. Das Problem? Wenn Sie zu früh in die Daten hineinspähen, könnten Sie einen zufälligen Ausreißer erwischen. Das Papier zeigt, dass dieser „Stopp-sobald-man-es-weiß“-Ansatz zu einem systematischen Fehler führt: Er beschuldigt faire Münzen etwa 6,3 % der Zeit fälschlicherweise. Es ist, als würde man eine unschuldige Person verurteilen, nur weil sie einmal nervös aussah.

Die zweite Methode, genannt „Precision is the Goal“ (PitG), ist viel vorsichtiger. Sie besagt: „Hören Sie nicht auf, bis Ihre Schätzung super präzise ist, egal wie das Ergebnis aussieht.“ Stellen Sie sich einen Detektiv vor, der sich weigert, eine Verhaftung vorzunehmen, bis er genügend Beweise gesammelt hat, um absolut sicher über die Fakten zu sein. Dies verhindert falsche Anschuldigungen, schafft aber ein neues Problem: Die „Vielleicht“-Falle. Wenn die Münze tatsächlich fair ist, endet diese Methode oft mit einem Ergebnis, das zwar präzise, aber immer noch in der Mitte feststeckend ist, unfähig zu sagen, ob „Schuldig“ oder „Unschuldig“. In den vom Autor durchgeführten Simulationen endete diese Methode in 62 % der Fälle mit einem „Ich weiß es nicht“, wenn die Münze tatsächlich fair war. Das sind viele ungelöste Fälle!

Der neue Held: „Decisive Precision“

Hier kommt die neue Lösung des Papers ins Spiel: Decisive Precision is the Goal (DPitG).

Betrachten Sie DPitG als einen Detektiv, der eine strikte Checkliste hat. Er wird die Untersuchung nicht fortsetzen, bis zwei Bedingungen gleichzeitig erfüllt sind:

Präzision: Die Beweise müssen scharf und klar sein (die Breite des „HDI“ muss kleiner als ein Zielwert sein, wie z. B. 0,08).
Entscheidungsfähigkeit: Die Beweise müssen eindeutig entweder auf „Schuldig“ oder „Unschuldig“ hindeuten (das Ergebnis muss vollständig außerhalb oder vollständig innerhalb einer „Region of Practical Equivalence“, oder ROPE, liegen).

Das Papier führte massive Simulationen durch – 5.000 verschiedene Münzwurf-Experimente –, um zu sehen, wie sich dieser neue Detektiv im Vergleich zu den alten schlägt.

Hier ist das Ergebnis:

Der alte „Hineinspäher“-Detektiv (HDI+ROPE): War schnell, machte aber Fehler. Er beschuldigte faire Münzen 6,3 % der Zeit fälschlicherweise.
Der „Vielleicht“-Detektiv (PitG): War sehr vorsichtig, gab aber zu oft auf. Er endete in 62,1 % der Fälle mit einem „Unentschieden“, wenn die Münze fair war.
Der neue DPitG-Detektiv: Er war das Beste aus beiden Welten. Er reduzierte die Rate der „Unentschieden“ von 62,1 % auf nur 2,2 %. Noch besser: Er hielt die Rate der falschen Anschuldigungen bei 0 %.

Der Preis des Richtigseins

Sie fragen sich vielleicht: „Wenn DPitG so perfekt ist, warum nutzt es dann nicht jeder? Ist es zu langsam?“

Das Papier zeigt, dass DPitG etwas mehr Geduld erfordert. In den Simulationen benötigte die neue Methode im Durchschnitt etwa 4,7 % mehr Münzwürfe als der „Vielleicht“-Detektiv, um eine endgültige Antwort zu erreichen. Dieser kleine Preis erkaufte jedoch eine massive Verbesserung der Zuverlässigkeit. Während der „Vielleicht“-Detektiv meistens mit einem „Ich weiß es nicht“ feststeckte, war DPitG in der Lage, fast jedes Mal eine klare, korrekte Antwort zu geben.

Der Autor stellte auch eine „magische Formel“ (eine geschlossene Planungsformel) zur Verfügung, die Forscher verwenden können, um genau zu berechnen, wie viele Stichproben sie benötigen, bevor sie beginnen, basierend darauf, wie präzise sie sein wollen. Er hat sogar einen Online-Rechner gebaut und seinen Code geteilt, damit jeder ihn ausprobieren kann.

Warum das wichtig ist

Hier geht es nicht nur um Münzen. Das Papier erklärt, dass diese Methode für jede Art von Daten funktioniert, von der Prüfung, ob ein neues Medikament wirkt, bis hin zur Überprüfung, ob eine Änderung an einer Website den Umsatz verbessert. Die wichtigste Erkenntung ist: Wir können sowohl Kuchen essen als auch ihn behalten: Wir können hochqualitative, präzise Beweise fordern und eine klare Antwort erhalten, ohne in die Falle falscher Anschuldigungen oder endloser Unentschlossenheit zu tappen.

Das Papier kommt zu dem Schluss, dass DPitG die Methode der Wahl ist, wann immer ein zuverlässiges Urteil benötigt wird, vorausgesetzt, die Studie verfügt über das Budget, um mindestens die Mindestanzahl an Stichproben zu sammeln, die erforderlich sind, um diese Präzision zu erreichen. Es ist ein Werkzeug für Wissenschaftler, die ehrlich zu ihren Daten sein wollen und sich weigern, einen Sieger zu erklären, bevor die Beweise wirklich bereit sind, zu sprechen.

Technisches Resümee: Präzision und Entscheidungsfähigkeit als Ziele in der sequenziellen Hypothesenprüfung

1. Problemstellung

Die sequenzielle Hypothesenprüfung bietet gegenüber festen Stichproben-Designs eine größere Flexibilität, da sie die Auswertung der Daten ermöglicht, während diese akkumuliert werden. Es besteht jedoch ein kritischer Spannungsgrad zwischen den Stopp-Regeln (wann die Datenerhebung beendet wird) und den Entscheidungskriterien (wie die Daten zu interpretieren sind).

Das Kopplungsproblem: Weit verbreitete Methoden, wie etwa der HDI+ROPE-Algorithmus (Kruschke, 2011, 2013, 2015), koppeln die Stopp-Regel direkt an das Entscheidungskriterium. Der Algorithmus stoppt, sobald das posteriore Höchstdichteintervall (Highest Density Interval, HDI) vollständig außerhalb oder innerhalb einer Region der praktischen Äquivalenz (Region of Practical Equivalence, ROPE) liegt. Während dies eine positive Akzeptanz der Nullhypothese ermöglicht (im Gegensatz zur Nullhypothesen-Signifikanzprüfung/NHST), birgt es das Risiko eines Bestätigungsfehlers (Confirmation Bias) durch „frühes Peeken“ (Early Peeking). Ein weites HDI in einer nicht repräsentativen frühen Stichprobe kann das Entscheidungskriterium vorzeitig erfüllen, was zu einem systematischen Falsch-Positiv-Kostenfaktor führt.
Das Entkopplungsproblem: Um den Bias zu eliminieren, entkoppelt die „Precision is the Goal“ (PitG)-Methode (Kruschke, 2015) die Stopp-Regel von der Entscheidung. Sie bricht erst ab, wenn eine Zielpräzision des posterioren Intervalls (HDI-Breite, $\omega_{goal}$ ) erreicht wurde, unabhängig vom Ausgang der Hypothese. Während dies den Bias durch frühes Peeken eliminiert, führt es zu einem neuen Ausfallmodus: Wenn die Nullhypothese wahr ist (oder praktisch gesehen so ist), liefert PitG häufig unklare Ergebnisse (das HDI überspannt die ROPE), anstatt die Null korrekt zu akzeptieren. Diese hohe Rate an unklaren Ergebnissen schränkt den Nutzen in Feldern ein, die eine rigorose Bestätigung der Null erfordern, wie etwa bei Bioäquivalenzstudien oder Software-Regressionstests.

Das Paper identifiziert eine Lücke: Es wird eine Methode benötigt, die die biasfreien Eigenschaften des präzisionsbasierten Stoppens beibehält und gleichzeitig eine hohe Rate an entscheidungsfähigen Ergebnissen gewährleistet, insbesondere wenn die Null wahr ist.

2. Methodik

Der Autor schlägt einen neuen Algorithmus vor, „Decisive Precision is the Goal“ (DPitG), der das PitG-Framework modifiziert, indem er zwei Bedingungen gleichzeitig erfüllt sehen will, bevor der Abbruch erfolgt:

Präzisionsbedingung: Die Breite des posterioren HDI ( $\omega_{HDI}$ ) muss kleiner als oder gleich einem vorgegebenen Zielwert ( $\omega_{goal}$ ) sein.
Entscheidungsbedingung: Das HDI muss vollständig innerhalb (Akzeptanz) oder vollständig außerhalb (Ablehnung) der ROPE liegen.

Kernkomponenten

Gemeinsame Entscheidungsregel: Alle drei Algorithmen (HDI+ROPE, PitG, DPitG) verwenden dieselbe Entscheidungsregel basierend auf dem Verhältnis der 95%-HDI zu den ROPE-Grenzen:
- Null akzeptieren: HDI $\subset$ ROPE.
- Null ablehnen: HDI $\cap$ ROPE = $\emptyset$ .
- Unklar: HDI überspannt die ROPE.
Unterschiede in den Stopp-Kriterien:
- HDI+ROPE: Stoppt sofort bei einer entscheidungsfähigen Entscheidung (gekoppelt).
- PitG: Stoppt sofort beim Erreichen von $\omega_{goal}$ (entkoppelt), dann erfolgt die Prüfung der Entscheidung.
- DPitG: Setzt die Stichprobenerhebung fort, bis sowohl $\omega_{HDI} \le \omega_{goal}$ als auch eine entscheidungsfähige Entscheidung möglich ist.

Theoretischer Rahmen

Das Paper leitet eine geschlossene Planungsformel für die erwartete Stichprobengröße ( $N_{goal}$ ) her, die erforderlich ist, um ein Präzisionsziel unter einer Normalverteilungsapproximation (Zentraler Grenzwertsatz) zu erreichen:
$N_{goal} \propto \frac{V}{\omega_{goal}^2}$
wobei $V$ die Beobachtungs-Varianz ist. Für einen Bernoulli-Parameter $\theta$ gilt $V \propto \theta(1-\theta)$ . Diese Formel ermöglicht es Forschern, das erforderliche Mindestbudget zur Erreichung einer gewünschten Präzision vorab festzulegen, was als konservente obere Schranke dient, wenn $\theta_{null} = 0.5$ ist.

Experimentelles Design

Die Methoden wurden mittels synthetischer Datensimulationen basierend auf Bernoulli-Versuchen (einfache binäre Gruppen-Daten) evaluiert:

Skala: $M = 5.000$ unabhängige Sequenzen von bis zu $N_{max} = 1.500$ Versuchen.
Parameter: $\theta_{null} = 0.5$ , ROPE = $[0.45, 0.55]$ ( $\Delta_{ROPE} = 0.1$ ), und $\omega_{goal} = 0.08$ .
Szenarien: Getestet über einen Bereich von wahren Parametern ( $\theta_{true}$ ) von 0.5 bis 0.8, einschließlich des „fairen Münzwurf“-Falls, bei dem $\theta_{true} = \theta_{null}$ .

3. Kernergebnisse

Die Simulationen zeigen, dass DPitG den Trade-off zwischen Bias, Entscheidungsfähigkeit und Stichprobenkosten erfolgreich ausbalanciert.

Performance im Fall der „fairen Münze“ ( $\theta_{true} = 0.5$ )

HDI+ROPE: Erreichte eine hohe Entscheidungsrate (98,2 %), verursachte jedoch eine Falsch-Positiv-Rate von 6,3 % (falsche Ablehnung der Nullhypothese).
PitG: Erreichte null Falsch-Positive, litt aber unter einer 62,1 % unklaren Rate, was bedeutete, dass in der Mehrheit der Fälle, in denen die Null wahr war, kein Urteil gefällt werden konnte.
DPitG: Erreichte eine Entscheidungsrate von 97,8 % bei null Falsch-Positiven im Szenario der fairen Münze.
- Kosten: Die medianen Stichprobenkosten für DPitG waren nur 4,7 % höher als bei PitG.
- Effizienz: Während PitG exakt bei $N_{goal}$ stoppt, stoppt DPitG bei einem signifikanten Teil der Experimente (diejenigen, bei denen Präzision und Entscheidungsfähigkeit frühzeitig zusammenfallen) ebenfalls bei $N_{goal}$ , dehnt die Stichprobenerhebung aber nur dann aus, wenn es zur Klärung unentschiedener Zustände notwendig ist.

Sensitivität und allgemeine Trends

Robustheit gegenüber $\omega_{goal}$ : Während die Entscheidungsrate von PitG stark schwankte, wenn das Präzisionsziel $\omega_{goal}$ verschärft oder gelockert wurde (Abfall auf 0 % bei $\omega_{goal} = 0.10$ ), behielt DPitG eine hohe Entscheidungsrate (> 97 %) über den gesamten Bereich bei.
Bias: Der HDI+ROPE-Algorithmus zeigte einen signifikanten Schätzfehler ( $\hat{\theta}$ ), da er bei schiefen, niedrig-präzisen Stichproben stoppen konnte. Sowohl PitG als auch DPitG hielten einen nahezu Null-Bias über alle $\theta_{true}$ -Werte aufrecht. Das Paper merkt jedoch an, dass ein gewisser Bias entsteht, wenn die Symmetrie gebrochen wird (z. B. wenn $\theta_{true} \neq 0.5$ ), und dass innerhalb der ROPE PitG einen etwas höheren Bias zeigt als DPitG für entscheidungsfähige Experimente, während sich dieses Muster bei unentschiedenen Experimenten umkehrt.
Generalisierbarkeit: Die Vorteile von DPitG gegenüber PitG (höhere Entscheidungsfähigkeit bei vernachlässigbaren Zusatzkosten) blieben bestehen, wenn sich $\theta_{true}$ von der Null weg bewegte, und das Framework lässt sich auf kontinuierliche Outcomes und Vergleiche zwischen zwei Gruppen erweitern.

4. Wichtigste Beiträge

Vorgeschlagener Algorithmus (DPitG): Eine neue sequenzielle Stopp-Regel, die ein duales Kriterium (Präzision + Entscheidungsfähigkeit) erzwingt, um die hohe Rate an unklaren Ergebnissen von PitG zu eliminieren und gleichzeitig dessen nahezu biasfreie Eigenschaften zu bewahren.
Geschlossene Planungsformel: Eine Herleitung von $N_{goal} \propto V/\omega_{goal}^2$ , die Forschern eine vorab spezifizierbare, mit Vorregistrierung kompatible Methode zur Berechnung der notwendigen Stichprobengröße für ein gegebenes Präzisionsziel bietet.
Empirische Validierung: Umfassende Simulationsnachweise, die zeigen, dass DPitG im Szenario der fairen Münze die unklare Rate von PitG von ~62 % auf ~2 % reduziert – bei einem medianen Kostenaufschlag von nur ~5 % und ohne die Falsch-Positiv-Kosten der gekoppelten Methoden zu verursachen.
Praktische Werkzeuge: Bereitstellung eines interaktiven Online-Rechners und Open-Source-Code, um die Anwendung dieser Methoden in der Praxis zu erleichtern.

5. Bedeutung und Behauptungen

Das Paper positioniert DPitG als die Methode der Wahl für Szenarien, in denen ein verlässliches Urteil erforderlich ist und die Studie es sich leisten kann, mindestens $N_{goal}$ Beobachtungen zu sammeln.

Lösung des Spannungsverhältnisses: DPitG löst das inhärente Spannungsverhältnis in PitG, indem es Präzision als eine notwendige, aber nicht hinreichende Bedingung für den Abbruch definiert. Es stellt sicher, dass eine Studie, wenn sie stoppt, sowohl präzise als auch entscheidungsfähig ist.
Wissenschaftliche Rigorosität: Die Methode unterstützt die rigorose Bestätigung der Nullhypothese – eine Fähigkeit, die in der NHST oft fehlt und derzeit durch die hohen unklaren Raten in PitG gefährdet ist. Dies ist entscheidend für Felder wie Bioäquivalenz, „Do-no-harm“-Tests und Futility-Stopps (Futilitätsstopps).
Kompatibilität mit Vorregistrierung: Da die Stopp-Regel vollständig vorab spezifiziert ist (basierend auf $N_{goal}$ und $\omega_{goal}$ statt auf datenabhängigen Schwellenwerten), steht sie im Einklang mit Vorregistrierungsstandards und adressiert die Unpräzision in der Planungsphase, die zur Replikationskrise beigetragen hat.
Epistemische Ehrlichkeit: Der Autor argumentiert, dass die Präzisionsanforderung ein Merkmal und kein Makel ist. Sie erzwingt eine realistische Planung und verhindert, dass Analysten ein Urteil auf Basis unzureichender Daten verkünden. Wenn die Daten innerhalb des Budgets keine Schlussfolgerung zulassen, wird DPitG (wie PitG) kein falsches Urteil erzwingen, aber im Gegensatz zu PitG minimiert es die Häufigkeit solcher „unklaren“ Ergebnisse, indem es das Stichprobenbudget nur dann erweitert, wenn es notwendig ist.

Das Paper kommt zu dem Schluss, dass DPitG zwar in einigen Szenarien einen moderaten Anstieg der Stichprobenmenge gegenüber PitG erfordern kann, dieser Preis jedoch im Vergleich zum Gewinn an Entscheidungsfähigkeit und der Vermeidung der systematischen Falsch-Positiv-Fehler gekoppelter Methoden (wie HDI+ROPE) vernachlässigbar ist.