📊 statistics

More Permutations Do Not Always Increase Power: Non-monotonicity in Monte Carlo Permutation Tests

Dieser Artikel zeigt, dass eine Erhöhung der Anzahl der gezogenen Permutationen bei Monte-Carlo-Permutationstests nicht zu einer höheren statistischen Power führt, da die Power des Tests aufgrund der diskreten, sägezahnförmigen Struktur seiner zugrundeliegenden Verteilung nicht-monoton abnehmen kann.

Ursprüngliche Autoren: Suman Cha, Seongchan Lee, Antonin Schrab, Ilmun Kim

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Suman Cha, Seongchan Lee, Antonin Schrab, Ilmun Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Missverständnis: „Mehr ist immer besser"

Stellen Sie sich vor, Sie sind ein Richter, der entscheiden muss, ob eine Münze fair ist. Sie haben eine Regel: Wenn die Münze bei einer Serie von Würfen mehr als 95 % der Zeit Kopf zeigt, erklären Sie sie für „manipuliert".

In der Statistik ist dies ähnlich einem Permutationstest. Forscher schütteln Daten tausende Male durch, um zu sehen, wie oft ein bestimmtes Ergebnis rein zufällig auftritt. Die Standardempfehlung lautete bisher immer: „Je öfter Sie schütteln (stichprobenartig), desto besser wird Ihr Test."

Die Logik schien einfach: Wenn Sie 10 Mal schütteln, erhalten Sie vielleicht eine grobe Schätzung. Wenn Sie 10.000 Mal schütteln, sollte Ihre Schätzung viel näher an der Wahrheit liegen. Daher sollte eine Erhöhung Ihres „Budgets" an Schüttelversuchen Ihren Test immer leistungsfähiger machen (besser darin, die Wahrheit zu erkennen).

Dieses Papier sagt: Diese Intuition ist falsch.

Die Autoren beweisen, dass das Hinzufügen von mehr Schüttelversuchen Ihren Test manchmal schlechter darin macht, die Wahrheit zu erkennen. Es ist, als würde man mehr Zutaten in eine Suppe geben und sie versehentlich schlechter schmecken lassen.

Das „Treppen"-Problem

Um zu verstehen, warum dies passiert, stellen Sie sich eine Treppe mit unebenen Stufen vor.

Das Ziel: Sie wollen eine „schlechte" Münze fangen (die Alternativhypothese).
Die Regel: Sie müssen eine bestimmte Anzahl von „extremen" Ergebnissen sehen, um zu sagen: „Aha! Das ist manipuliert!"
Die Falle: Die Anzahl der extremen Ergebnisse, die Sie fangen müssen, ist eine ganze Zahl (eine ganze Zahl wie 0, 1, 2, 3). Sie können keine „1,5" schlechten Ergebnisse fangen.

Das Papier erklärt, dass, wenn Sie Ihr Schüttel-Budget ( $B$ ) erhöhen, die „Grenze" dafür, was als Gewinn zählt, eine Weile auf derselben ganzen Zahl stehen bleibt und dann plötzlich springt.

Das Plateau (Die Falle): Stellen Sie sich vor, Sie benötigen 3 schlechte Ergebnisse, um zu gewinnen. Sie schütteln 100 Mal. Die Mathematik sagt, Sie benötigen 3. Sie schütteln 101 Mal. Die Mathematik sagt immer noch, Sie benötigen 3.
- Da Sie mehr schütteln, sich die Zielzahl (3) aber nicht geändert hat, wird es tatsächlich schwieriger, dieses Ziel zu erreichen. Sie verteilen Ihre „schlechten Ergebnisse" über einen größeren Pool, was es statistisch weniger wahrscheinlich macht, die spezifische Anzahl von 3 zu erreichen.
- Ergebnis: Ihre Power (Fähigkeit zu gewinnen) sinkt.
Der Sprung (Die Erleichterung): Schließlich schütteln Sie oft genug, dass die Mathematik sagt: „Okay, jetzt benötigen Sie 4 schlechte Ergebnisse, um zu gewinnen."
- Plötzlich bewegt sich das Ziel nach oben. Da sich das Ziel bewegt hat, können Ihre Chancen, es zu treffen, im Vergleich zum vorherigen Schritt tatsächlich verbessert sein.
- Ergebnis: Ihre Power springt nach oben.

Dies erzeugt ein „Sägezahn"-Muster. Wenn Sie mehr Schüttelversuche hinzufügen, steigt und fällt die Leistung Ihres Tests wie eine gezackte Sägeklinge, anstatt sanft einen Hügel hinaufzuklettern.

Der „Sägezahn" im echten Leben

Die Autoren nennen dies eine Sägezahn-Struktur.

Die Zähne: Die scharfen Leistungsabfälle treten auf, wenn Sie mehr Schüttelversuche hinzufügen, sich die „Gewinnzahl" aber nicht ändert.
Die Lücken: Die Spitzen treten kurz davor auf, dass die Gewinnzahl springt.

Sie beweisen mathematisch, dass dies nicht nur einmal passiert; es passiert unendlich oft. Egal wie viele Schüttelversuche Sie durchführen, wenn Sie sie einzeln weiter hinzufügen, werden Sie irgendwann an eine Stelle gelangen, an der das Hinzufügen eines weiteren Schüttelversuchs Ihren Test schwächer macht.

Die Lösung: „Ausrichtung"

Wie lösen wir dieses Problem? Das Papier schlägt eine einfache Regel vor, um die „Zähne" der Säge zu vermeiden und auf den „Spitzen" zu landen.

Stellen Sie es sich wie das Abstimmen eines Radios vor. Wenn Sie leicht außerhalb der Frequenz liegen, ist das Bild statisch. Wenn Sie die exakte Frequenz treffen, ist die Musik klar.

Die Autoren empfehlen, Ihre Anzahl der Schüttelversuche ( $B$ ) so zu wählen, dass sie perfekt zu Ihrem Signifikanzniveau ( $\alpha$ , üblicherweise 0,05 oder 5 %) passt.

Die Regel: Wählen Sie $B$ so, dass $(B + 1) \times \alpha$ eine ganze Zahl ist.

Wenn Sie diese Regel befolgen, sind Sie garantiert auf einem „lokalen Gipfel" der Power positioniert. Sie befinden sich nicht unbedingt auf dem absolut höchstmöglichen Power-Gipfel (dafür wären unendlich viele Schüttelversuche nötig), aber Sie befinden sich am besten möglichen Ort für diese spezifische Menge an Rechenleistung.

Zusammenfassung der wichtigsten Erkenntnisse

Mehr ist nicht immer besser: Das Hinzufügen von mehr zufälligen Schüttelversuchen zu einem Test garantiert kein besseres Ergebnis. Manchmal macht es den Test etwas weniger empfindlich.
Die diskrete Falle: Da statistische Tests auf ganzen Zahlen basieren (man kann keine halbe Ablehnung haben), ist die Beziehung zwischen „wie viel Arbeit Sie leisten" und „wie gut Sie performen" gezackt, nicht glatt.
Die Lösung: Wählen Sie nicht einfach eine runde Zahl wie 1.000 oder 10.000 Schüttelversuche. Rechnen Sie nach, um sicherzustellen, dass Ihre Anzahl der Schüttelversuche perfekt mit Ihrem Fehlerrate übereinstimmt (z. B. bei einer Fehlerrate von 5 % wählen Sie eine Anzahl von Schüttelversuchen, bei der die Mathematik perfekt übereinstimmt).
Alternative: Wenn Sie sich mit dieser Mathematik nicht befassen möchten, können Sie eine „randomisierte" Version des Tests verwenden (ein wenig zusätzliche Zufälligkeit in die Berechnung einfügen), die die gezackten Kanten glättet, oder eine „sequenzielle" Methode verwenden, die frühzeitig stoppt, wenn die Antwort offensichtlich ist.

Kurz gesagt: Das Papier warnt Statistiker davor, dass das blinde Erhöhen der Rechenleistung aufgrund der „gezackten" Natur der Mathematik ganzer Zahlen nach hinten losgehen kann. Um die besten Ergebnisse zu erzielen, müssen Sie ein sorgfältiger Architekt Ihres Experiments sein, nicht nur ein Arbeiter, der rohe Gewalt anwendet.

Technische Zusammenfassung: Nicht-Monotonie bei Monte-Carlo-Permutationstests

Problemstellung
Monte-Carlo-Permutationstests sind ein Standardwerkzeug für modellfreie statistische Inferenz, das auf der zufälligen Stichprobenziehung von $B$ Permutationen aus einer Gruppe $G$ beruht, um einen exakten $p$ -Wert zu approximieren. Eine vorherrschende praktische Intuition besagt, dass eine Erhöhung des Monte-Carlo-Budgets $B$ die Testleistung unweigerlich verbessert, und zwar speziell durch eine Steigerung der statistischen Power, da sich der Monte-Carlo- $p$ -Wert um seinen exakten Gegenwert konzentriert. Dieser Beitrag stellt diese Intuition in Frage und zeigt, dass die Beziehung zwischen der Anzahl der gezogenen Permutationen $B$ und der statistischen Power nicht monoton ist. Konkret kann eine Erhöhung von $B$ unter bestimmten Bedingungen zu einer Abnahme der Wahrscheinlichkeit führen, die Nullhypothese unter der Alternative abzulehnen.

Methodik und Theoretischer Rahmen
Die Autoren analysieren die strukturellen Eigenschaften des Monte-Carlo-Permutationstests, definiert durch die Ablehnungsregel $p_B(X) \leq \alpha$ , wobei:
$p_B(X) = \frac{1 + \sum_{i=1}^B \mathbb{1}\{T(X^{\pi_i}) \geq T(X)\}}{B + 1}$
Die Analyse stützt sich auf die ganzzahlige kritische Zählgröße $k_B = \lfloor (B+1)\alpha \rfloor - 1$ . Das Ablehnungsereignis ist äquivalent dazu, dass die Anzahl der Überschreitungen $R_B(X)$ kleiner oder gleich $k_B$ ist.

Der Kernmechanismus, der die Nicht-Monotonie antreibt, ist die diskrete, schrittweise Natur von $k_B$ als Funktion von $B$ . Die Autoren unterscheiden zwischen zwei Regimen in der Entwicklung von $k_B$ :

Sprünge: Indizes, an denen $k_B$ um 1 zunimmt (auftretend, wenn $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor + 1$ ).
Plateaus: Indizes, an denen $k_B$ konstant bleibt, während $B$ zunimmt (auftretend, wenn $\lfloor (B+1)\alpha \rfloor = \lfloor B\alpha \rfloor$ ).

Der Beitrag führt eine Nicht-Entartungsannahme ein: Die bedingte Überschreitungs Wahrscheinlichkeit $q(X) = P(T(X^\pi) \geq T(X) \mid X)$ ist nicht fast sicher gleich 1. Unter dieser Annahme leiten die Autoren die unbedingte Power $\text{Pow}(B) = E[\phi_B(X)]$ her, wobei $\phi_B(X)$ die bedingte Ablehnungswahrscheinlichkeit ist.

Hauptbeiträge und Ergebnisse

Nachweis der Nicht-Monotonie:
Der Beitrag beweist, dass die Power keine monoton nicht-fallende Funktion von $B$ ist. Konkret wird, wenn $B$ innerhalb eines „Plateaus" (wo $k_B$ konstant ist) erhöht, die Ablehnungsregel mit einem zusätzlichen Bernoulli-Versuch gegen denselben festen Schwellenwert verglichen. Für Datensätze, bei denen $0 < q(X) < 1$ , wird dies eine Ablehnung strikt erschweren, was zu einer Abnahme der Power führt.
Sägezahnstruktur und lokale Maxima:
Die Autoren charakterisieren die Power-Kurve als ein Muster vom „Sägezahn"-Typ. Sie beweisen, dass strikte lokale Maxima der Power an spezifischen Indizes $B$ auftreten, an denen ein „Sprung" in der kritischen Zählgröße unmittelbar von einem „Plateau" gefolgt wird.
- Satz 1: Wenn $k_B - k_{B-1} = 1$ und $k_{B+1} - k_B = 0$ , dann ist $\text{Pow}(B)$ ein striktes lokales Maximum.
- Unendlich viele Maxima: Der Beitrag zeigt, dass solche Sprung-Plateau-Muster unendlich oft auftreten, wenn $B \to \infty$ , was impliziert, dass die Power-Kurve unendlich viele lokale Maxima besitzt.
Ausrichtungsbedingung:
Eine einfache hinreichende Bedingung für ein lokales Maximum ist $(B+1)\alpha \in \mathbb{N}$ . Für gängige Signifikanzniveaus $\alpha \in \{0,1; 0,05; 0,01\}$ , die die Form $1/m$ haben, ist diese Bedingung nicht nur hinreichend, sondern notwendig, um die Menge aller strikten lokalen Maxima zu charakterisieren.
Quantifizierung des Power-Verlusts:
Proposition 1 quantifiziert das Ausmaß der Abwärtsstufen in der Power. Sie zeigt, dass die Abnahme der Power beim Übergang von einem Sprung-Index zu einem Plateau-Index von der Ordnung $O(B^{-1/2})$ ist, und liefert eine verteilungsfreie obere Schranke für diese Abnahme.
Konkrete Veranschaulichung:
Die Autoren liefern ein geschlossenes Beispiel unter Verwendung eines Zwei-Stichproben-Bernoulli-Problems. Sie zeigen, dass, obwohl die Monte-Carlo-Power gegen die exakte Power konvergiert, wenn $B \to \infty$ , der Pfad der Konvergenz oszillatorisch ist. Je nach Parametern ( $n, p_1$ ) kann die Monte-Carlo-Power für beträchtliche Bereiche von $B$ entweder strikt unter oder strikt über der exakten Power liegen, was weiter veranschaulicht, dass mehr Permutationen nicht in jedem Schritt einen „besseren" Test garantieren.

Bedeutung und Praktische Implikationen
Der Beitrag argumentiert, dass Nicht-Monotonie keine pathologische Kuriosität ist, sondern ein fundamentales strukturelles Merkmal von Monte-Carlo-Permutationstests, das aus der Diskretisierung des Ablehnungsschwellenwerts resultiert. Die Autoren klären auf, dass dies nicht bedeutet, dass „mehr Permutationen schlecht" sind; eine Erhöhung von $B$ reduziert weiterhin die Simulationsvariabilität und verfeinert die Menge der erreichbaren $p$ -Werte. Für das spezifische Ziel der Maximierung der Power bei einem festen Niveau $\alpha$ ist eine bloße Erhöhung von $B$ jedoch keine monotone Strategie.

Die primäre praktische Empfehlung ist eine Gestaltungsregel: Praktiker sollten $B$ so wählen, dass $(B+1)\alpha \in \mathbb{N}$ gilt. Diese Ausrichtung platziert den Test an einem lokalen Power-Maximum. Alternativ schlagen die Autoren vor, randomisierte $p$ -Werte zu verwenden, um die Diskretisierung zu glätten, oder sequenzielle Verfahren einzusetzen, die die Anzahl der Permutationen adaptiv bestimmen, anstatt $B$ willkürlich festzulegen. Die Arbeit dient als warnender Hinweis gegen die ungeprüfte Annahme, dass größere Monte-Carlo-Budgets immer überlegene statistische Power liefern.