📊 statistics

Balancing Evidentiary Value and Sample Size of Adaptive Designs with Application to Animal Experiments

Dieser Artikel stellt den Experimental Unit Information Index (EUII) vor, eine neue Metrik, die statistische Fehlerquoten und Stichprobengröße ausgleicht, um den Evidenzwert einzelner experimenteller Einheiten zu quantifizieren, und zeigt deren Nutzen bei der Optimierung adaptiver Tierversuche auf, um Stichprobengrößen zu reduzieren und gleichzeitig zuverlässige Schlussfolgerungen beizubehalten.

Ursprüngliche Autoren: Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wissenschaftler, der Experimente mit Tieren durchführt. Ihr Ziel ist es herauszufinden, ob eine neue Behandlung wirkt. Doch Sie haben auch eine moralische und praktische Pflicht: Sie möchten so wenige Tiere wie möglich einsetzen (das Prinzip der „Reduktion"), während Sie gleichzeitig absolut sicher sein wollen, dass Ihre Ergebnisse echt sind und nicht nur ein glücklicher Zufall.

Normalerweise vollführen Wissenschaftler einen schwierigen Balanceakt. Wenn sie zu wenige Tiere einsetzen, könnten sie einen echten Effekt übersehen. Wenn sie zu viele einsetzen, verschwenden sie Ressourcen. Traditionell vergleichen sie verschiedene Experimentdesigns anhand zweier Zahlen: wie oft sie einen falschen Alarm auslösen (Fehler 1. Art) und wie oft sie erfolgreich einen echten Effekt finden (Teststärke).

Doch dieser Artikel stellt eine neue Herangehensweise an das Problem vor. Er fragt: „Wie viel nützliche Information liefert tatsächlich ein einziges Tier uns?"

Hier ist die Aufschlüsselung ihrer Idee anhand einfacher Analogien:

1. Das Problem mit dem alten Weg

Stellen Sie sich vor, Sie versuchen zu erraten, ob eine Münze fair ist oder verzerrt.

Methode A: Sie werfen die Münze 100 Mal. Sie erhalten eine klare Antwort.
Methode B: Sie werfen die Münze 10 Mal, betrügen aber ein wenig, indem Sie die Ergebnisse vorzeitig einsehen und aufhören, sobald Sie ein Muster erkennen. Sie erhalten schneller eine Antwort, aber Ihr „Betrug" erhöht Ihre Fehlerrate leicht.

Traditionell ist der Vergleich von Methode A und Methode B schwierig, da sie unterschiedliche Regeln für „Betrug" (Fehlerraten) und unterschiedliche Kosten (Anzahl der Würfe) haben. Man kann nicht einfach anhand der Rohzahlen sagen, welche Methode „besser" ist.

2. Das neue Werkzeug: Der „Tier-Informationsscore" (EUII)

Die Autoren entwickelten einen neuen Score namens Experimental Unit Information Index (EUII). Denken Sie daran als einen „Wert pro Tier"-Score.

Um dies zu verstehen, entlehnten sie ein Konzept aus der medizinischen Diagnostik, den Diagnostic Odds Ratio (Diagnostische Chancenverhältnis).

Stellen Sie sich einen medizinischen Test für eine Krankheit vor. Ein „guter" Test ist einer, bei dem ein positives Ergebnis stark darauf hindeutet, dass Sie die Krankheit haben, und ein negatives Ergebnis stark darauf hindeutet, dass Sie gesund sind.
Die Autoren erkannten, dass ein statistisches Experiment genau wie ein medizinischer Test ist. Die „Krankheit" ist die Hypothese, dass die Behandlung wirkt.
Sie berechneten einen Score, der Ihnen sagt: „Wenn ich ein weiteres Tier zu meinem Experiment hinzufüge, wie sehr verbessert dies meine Fähigkeit, die Wahrheit von einer Lüge zu unterscheiden?"

Ist der Score hoch, arbeitet jedes von Ihnen eingesetzte Tier sehr hart daran, Ihnen eine klare Antwort zu liefern. Ist der Score niedrig, verschwenden Sie Tiere mit Daten, die wenig helfen.

3. Der „Frühes Stoppen"-Trick (Adaptive Designs)

Der Artikel konzentriert sich stark auf Adaptive Designs. Das ist wie ein Detektiv, der nicht an einem starren Plan festhält.

Der Plan: „Ich werde 100 Zeugen befragen."
Die adaptive Wendung: „Ich werde Zeugen einzeln befragen. Wenn ich bei Zeuge Nr. 20 eine rauchende Waffe finde, stoppe ich sofort (Wirksamkeits-Stop). Wenn ich bei Zeuge Nr. 30 erkenne, dass die Geschichte keinen Sinn ergibt, stoppe ich sofort, da es eine Zeitverschwendung ist (Futility-Stop)."

Dies spart Tiere (oder Zeugen), da Sie die restlichen nicht befragen müssen, wenn Sie die Antwort bereits kennen. Das frühe Stoppen verändert jedoch die Mathematik. Es macht die Berechnung des „Wert pro Tier" kompliziert, da die Anzahl der eingesetzten Tiere nicht mehr festgelegt ist.

4. Was sie fanden

Die Autoren wandten diesen neuen „Wert pro Tier"-Score auf Tausende realer, vergangener Tierexperimente an (etwa 2.700), um zu sehen, was passiert wäre, wenn sie diese „Frühes Stoppen"-Regeln angewendet hätten.

Der große Gewinn: Sie fanden heraus, dass die Anwendung von „Frühes Stoppen"-Regeln (insbesondere einer spezifischen Art, dem Pocock-Design) eine enorme Anzahl von Tieren sparen könnte. In ihrer Simulation hätten sie über 13.000 Tiere in diesen Studien retten können, indem sie frühzeitig stoppten, wenn die Ergebnisse offensichtlich waren.
Der Kompromiss: Manchmal bedeutet das frühe Stoppen, dass Sie die „Nullhypothese" (die Aussage, dass die Behandlung wirkt) etwas seltener ablehnen als bei einem starren Design. Doch die Autoren argumentieren, dass dies in Ordnung ist, da die Qualität der verbleibenden Information pro Tier höher ist.
Der Gewinner: Unter den verschiedenen „Frühes Stoppen"-Strategien lieferte die Pocock-Methode (die einen konsistenten, etwas lockereren Schwellenwert für das frühe Stoppen verwendet) im Allgemeinen den höchsten „Wert pro Tier"-Score. Sie war am effizientesten darin, aus jedem einzelnen eingesetzten Tier Informationen zu pressen.

5. Die „N-Hacking"-Kontroverse

Der Artikel betrachtete auch eine Methode namens „N-Hacking" (oder „Constrained Sample Augmentation"), die von einem anderen Forscher namens Reinagel vorgeschlagen wurde.

Die Idee: Wenn die Ergebnisse „fast signifikant" aussehen, fügen Sie ein paar weitere Tiere hinzu, um zu sehen, ob sie die Grenze überschreiten. Wenn es hoffnungslos aussieht, stoppen Sie.
Der Haken: Diese Methode erhöht technisch gesehen die Wahrscheinlichkeit eines falschen Alarms (Fehler 1. Art).
Das Urteil: Die Autoren fanden heraus, dass Reinagels Methode trotz dieser höheren Fehlerrate sehr effizient beim Sparen von Tieren war und einen hohen „Wert pro Tier"-Score aufwies. Sie stellten jedoch fest, dass die Pocock-Methode (die Fehler streng kontrolliert) immer noch ein sehr starker Kandidat war und je nach Situation oft genauso gut oder besser abschnitt.

Das Fazit

Dieser Artikel sagt nicht nur „verwenden Sie weniger Tiere". Er liefert ein mathematisches Lineal, um genau zu messen, wie viel Information jedes Tier beiträgt.

Durch die Verwendung dieses Lineals zeigten sie, dass das frühzeitige Stoppen von Experimenten (wenn die Antwort klar ist oder wenn es hoffnungslos ist) ein kluger Weg ist, das Prinzip der „Reduktion" zu befolgen. Es ermöglicht Wissenschaftlern, zuverlässige Antworten zu erhalten, während sie weniger Tiere einsetzen, ohne die Zuverlässigkeit der Wissenschaft opfern zu müssen. Das Pocock-Design erwies sich als Top-Empfehlung, um dieses Gleichgewicht in der Tierforschung zu erreichen.

Technisches Fazit: Abwägung von Evidenzwert und Stichprobengröße adaptiver Designs mit Anwendung auf Tierversuche

Problemstellung
In der Tierforschung befürwortet die Säule „Reduce" (Verminderung) der 3R-Prinzipien (Replace, Reduce, Refine) die Minimierung der Anzahl experimenteller Einheiten bei gleichzeitiger Aufrechterhaltung zuverlässiger statistischer Schlussfolgerungen. Die Standard-Statistik zur Hypothesenprüfung konzentriert sich typischerweise auf die Kontrolle des Fehlers 1. Art ( $\alpha$ ) und die Maximierung der Teststärke, wobei die erwartete Stichprobengröße oft ignoriert oder als feste Randbedingung behandelt wird. Dies stellt eine Herausforderung beim Vergleich verschiedener experimenteller Designs dar, insbesondere adaptiver Designs (z. B. gruppensequenzielle Designs), die ein vorzeitiges Stoppen aufgrund von Wirksamkeit oder Futilität ermöglichen. Solche Designs führen zu zufälligen Stichprobengrößen, was direkte Vergleiche von Teststärke und Fehlerraten erschwert, insbesondere wenn Designs unterschiedliche Fehlerquoten 1. Art oder erwartete Stichprobengrößen aufweisen. Bestehende Leistungsbewertungen berücksichtigen häufig keine Variationen der Stichprobengröße oder erfordern eine willkürliche Gewichtung der Komponenten. Der Artikel adressiert die Notwendigkeit einer einheitlichen Metrik, die Fehlerquote 1. Art, Teststärke und Stichprobengröße ausbalanciert, um den Evidenzwert einer einzelnen experimentellen Einheit zu quantifizieren.

Methodik
Die Autoren schlagen ein neues Maß vor, das als Experimental Unit Information Index (EUII) bezeichnet wird. Die Methodik basiert auf folgenden logischen Schritten:

Diagnostische Likelihood-Verhältnisse: Die Autoren adaptieren Konzepte aus der diagnostischen Testung für die statistische Hypothesenprüfung. Sie definieren positive und negative Likelihood-Verhältnisse ( $LR_+$ und $LR_-$ ) für ein Testergebnis:
- $LR_+ = \text{Teststärke} / \text{Fehlerquote 1. Art}$
- $LR_- = (1 - \text{Teststärke}) / (1 - \text{Fehlerquote 1. Art})$
  Diese Verhältnisse setzen die Odds dafür, dass die Alternativhypothese ( $H_1$ ) wahr ist, in Bezug auf ein signifikantes oder nicht-signifikantes Ergebnis.
Diagnostisches Odds-Verhältnis (DOR): Das DOR wird als Verhältnis dieser Likelihood-Verhältnisse definiert ( $DOR = LR_+ / LR_-$ ). Es quantifiziert die Fähigkeit eines Tests, zwischen $H_1$ und $H_0$ zu unterscheiden, und ist sowohl als Verhältnis der Signifikanz-Odds unter $H_1$ versus $H_0$ (frequentistisch) als auch als Verhältnis der posterior Odds von $H_1$ gegeben ein signifikantes versus ein nicht-signifikantes Ergebnis (bayesianisch) interpretierbar.
Normalisierung für die Stichprobengröße (EUII): Um der Anzahl der experimentellen Einheiten ( $n$ ) Rechnung zu tragen, schlagen die Autoren vor, die $n$ -te Wurzel des DOR zu ziehen:
$EUII = DOR^{1/n} = \frac{(LR_+)^{1/n}}{(LR_-)^{1/n}}$
Dies repräsentiert den geometrischen Durchschnittsbeitrag einer einzelnen experimentellen Einheit zum gesamten Evidenzwert. Ein nützlicher Test weist einen $EUII > 1$ auf.
Erweiterung auf adaptive Designs: Für adaptive Designs, bei denen die Stichprobengröße $N$ zufällig ist, verallgemeinern die Autoren den EUII. Da die Likelihood-Verhältnisse multiplikativ auf die Odds wirken, wird der Index unter Verwendung der erwarteten reziproken Stichprobengrößen für signifikante ( $N_+$ ) und nicht-signifikante ( $N_-$ ) Befunde definiert:
$EUII = (LR_+)^{E(1/N_+)} / (LR_-)^{E(1/N_-)}$
Diese Formulierung berücksichtigt die Variabilität der Stichprobengröße (über den Variationskoeffizienten) und erfordert einen Eingabewert für die A-priori-Wahrscheinlichkeit der Alternativhypothese, $Pr(H_1)$ , um die erwarteten reziproken Stichprobengrößen unter der Null- und Alternativhypothese zu gewichten.

Hauptbeiträge und Ergebnisse

Theoretische Eigenschaften: Der Artikel leitet den asymptotischen Wert des EUII für feste Stichprobengrößen her. Für einen z-Test mit einer Stichprobe gilt $\lim_{n \to \infty} EUII = \exp(\delta^2/2)$ , wobei $\delta$ die standardisierte Effektgröße ist. Für einen Test mit zwei Stichproben beträgt der Grenzwert $\exp(\delta^2/8)$ . Dies zeigt, dass der asymptotische Evidenzwert ausschließlich von der unter der Alternativhypothese angenommenen Effektgröße abhängt.
Motivierender Fallstudie (Bonapersona et al., 2021): Die Autoren re-analysierten 2.738 Tierversuche in den Bereichen Neurowissenschaften und Stoffwechsel. Durch die Simulation von Zwischenanalysen zeigten sie, dass gruppensequenzielle Designs mit Futilitätsstopp eine erhebliche Anzahl von Tieren einsparen können (z. B. sparte das Pocock-Design mit Futilitätsstopp im Datensatz etwa 13.500 Tiere), während gleichzeitig vernünftige Ablehnungsraten aufrechterhalten wurden.
Vergleich von gruppensequenziellen Designs: In Simulationen, die Pocock-, O'Brien-Fleming- und Haybittle-Peto-Designs (mit und ohne Futilitätsstopp) verglichen, zeigte der EUII Folgendes:
- Adaptive Designs liefern im Allgemeinen höhere EUII-Werte als Designs mit fester Stichprobengröße.
- Die Pocock-Methode wies konsistent den höchsten EUII auf, insbesondere in Kombination mit Futilitätsstopp. Dies wird auf ihre konstanten nominalen Signifikanzniveaus zurückgeführt, die ein früheres Stoppen unter der Nullhypothese ermöglichen und dadurch die erwartete Stichprobengröße für nicht-signifikante Befunde reduzieren.
- Der EUII ist empfindlich gegenüber der A-priori-Wahrscheinlichkeit $Pr(H_1)$ , obwohl die relative Rangfolge der Methoden oft stabil bleibt.
Bewertung von „Constrained Sample Augmentation" (N-hacking): Der Artikel bewertete die Methode der „constrained sample augmentation" von Reinagel (2023), bei der Daten hinzugefügt werden, wenn ein „Trend zur Signifikanz" beobachtet wird, sofern ein Futilitätsstopp angewendet wird, falls $p > 0,1$ $p > 0, 1$ .
- Obwohl diese Methode die Fehlerquote 1. Art aufbläht, zeigte die EUII-Analyse, dass sie einen hohen Evidenzwert pro Einheit erreichen kann und oft Standard-gruppensequenzielle Methoden ohne Futilitätsstopp übertrifft.
- Wenn jedoch Standard-gruppensequenzielle Methoden (wie Pocock) ebenfalls mit Futilitätsstopp (basierend auf prädiktiver Teststärke) ausgestattet sind, erreichen oder übertreffen sie oft den EUII des Ansatzes von Reinagel, insbesondere bei größeren Effektgrößen.

Bedeutung und Behauptungen
Der Artikel behauptet, dass der EUII ein „Maß für den Evidenzwert einer experimentellen Einheit" bietet, das den direkten Vergleich statistischer Designs mit unterschiedlichen Fehlerquoten 1. Art, Teststärken und erwarteten Stichprobengrößen ermöglicht.

Praktischer Nutzen: Die Autoren argumentieren, dass der EUII besonders für die Tierforschung nützlich ist, in der das Ziel darin besteht, die Information pro Tier zu maximieren. Er bietet eine einzelne Metrik, um die Zielkonflikte zwischen Fehlerquoten und Stichprobengrößeneffizienz auszugleichen.
Auswahl des Designs: Die Ergebnisse deuten darauf hin, dass für Tierversuche gruppensequenzielle Designs mit konstanten Signifikanzschwellen (wie Pocock) in Kombination mit Futilitätsstopp oft optimal sind, da sie die erwartete Stichprobengröße unter der Nullhypothese minimieren, ohne den Evidenzwert zu beeinträchtigen.
Bescheidener Geltungsbereich: Die Autoren erkennen an, dass der EUII von der Spezifikation der A-priori-Wahrscheinlichkeit $Pr(H_1)$ und der angenommenen Effektgröße abhängt. Sie stellen fest, dass der EUII in der Praxis oft durch Simulation geschätzt werden muss. Der Artikel behauptet nicht, dass der EUII eine Ersatzlösung für Teststärkeberechnungen ist, sondern vielmehr eine ergänzende Metrik für die Designauswahl und -optimierung, insbesondere im Kontext der 3R-Prinzipien.

Der Artikel kommt zu dem Schluss, dass der EUII erfolgreich frequentistische Fehlerraten und bayesianische posterior Odds in eine stichprobengrößenadjustierte Metrik integriert und somit einen robusten Rahmen für die Bewertung und Optimierung adaptiver experimenteller Designs in der präklinischen Forschung bietet.