Active Hypothesis Testing under Computational Budgets with Applications to GWAS and LLM

1. Problemstellung

In groß angelegten Hypothesentests (z. B. in der Genomik oder bei der Analyse von LLM-Ausgaben) ist die Berechnung exakter p-Werte oder e-Werte oft rechenintensiv oder mit hohen experimentellen Kosten verbunden. Dies führt zu einem Dilemma: Forscher haben oft nur ein begrenztes globales Rechenbudget ($n_b$), das deutlich kleiner ist als die Anzahl der zu testenden Hypothesen ($N$).
Das Ziel ist es, für jede der $N$ Hypothesen einen gültigen Teststatistik-Wert (p-Wert oder e-Wert) zu generieren, während die Anzahl der teuren, exakten Berechnungen strikt auf das Budget $n_b$ beschränkt bleibt.

Zur Verfügung stehen zwei Arten von Statistiken für jede Hypothese $i$:

1. Teure, gültige Statistik ($X_i$): Der „Goldstandard" (z. B. ein exakter p-Wert oder e-Wert), dessen Berechnung hohe Kosten verursacht.
2. Günstige Hilfsstatistik ($X_i^a$): Eine leicht zugängliche, aber möglicherweise unzuverlässige oder verzerrte Statistik (z. B. Vorhersagen eines LLM, grobe Biomarker oder Zusammenfassungsstatistiken aus anderen Studien), die als Proxy dient.

2. Methodik

Das Papier schlägt einen allgemeinen Rahmen für aktives Hypothesentesten vor, der ein globales Budget durch eine datenadaptive Zuweisung steuert.

A. Konstruktion aktiver Statistiken (Single-Hypothesis Level)

Für jede Hypothese wird eine Entscheidung getroffen, ob der teure Test berechnet wird. Diese Entscheidung wird durch eine Steuerfunktion (Control Function) $h(\cdot)$ gesteuert, die auf der günstigen Hilfsstatistik basiert.

• Aktiver e-Wert: Wenn eine Bernoulli-Prüfung (mit Erfolgswahrscheinlichkeit $h(X^a)$) erfolgreich ist, wird der exakte e-Wert $E$ berechnet. Andernfalls wird ein transformierter Wert basierend auf $X^a$ verwendet. Die Konstruktion lautet:
  $$E_{active} = \begin{cases} \frac{\beta}{1-h(X^a)} & \text{wenn } U \ge h(X^a) \\ \frac{1-\beta}{h(X^a)} \cdot E & \text{wenn } U < h(X^a) \end{cases}$$
  wobei $\beta \in [0,1]$ ein Hyperparameter ist und $U \sim \text{Uniform}(0,1)$.
• Aktiver p-Wert: Analog wird für p-Werte eine Konstruktion entwickelt. Hier wird zwischen Unabhängigkeit und allgemeiner Abhängigkeit zwischen $X$ und $X^a$ unterschieden.
  • Bei Unabhängigkeit ist die Konstruktion effizienter (kleinere p-Werte).
  • Bei allgemeiner Abhängigkeit wird ein konservativerer Skalierungsfaktor verwendet (basierend auf dem Supremum von $h$), um die Gültigkeit (Super-Uniformity) unter allen Abhängigkeitsstrukturen zu garantieren.

B. Budget-Constraint und globale Zuweisung

Der Kern der Methode liegt in der strikten Einhaltung des Budgets $n_b$.

• Nutzungs-Funktionen (Utility Functions): Für jede Hypothese wird eine Nutzenfunktion $u_i(X_i^a)$ definiert, die angibt, wie vielversprechend die Berechnung des exakten Tests ist (z. B. kleine p-Werte in der Hilfsstatistik erhalten hohe Werte).
• Normalisierte Allokation: Die Wahrscheinlichkeit $h_i$, den teuren Test durchzuführen, wird so berechnet, dass die Summe aller Wahrscheinlichkeiten exakt $n_b$ ergibt:
  $$h_i = n_b \cdot \frac{u_i(X_i^a)}{\sum_{j=1}^N u_j(X_j^a)}$$
  Um sicherzustellen, dass $h_i \le 1$, wird eine adaptive Kompression (z. B. logarithmische Transformation) der Nutzenwerte angewendet.
• Abhängiges Sampling: Um zu garantieren, dass die tatsächliche Anzahl der Berechnungen exakt $n_b$ ist (und nicht nur im Erwartungswert), wird ein spezielles Sampling-Verfahren (basierend auf Proposition 3) verwendet. Es werden korrelierte Bernoulli-Variablen generiert, sodass $\sum C_i = n_b$ immer gilt, während die Randverteilungen $C_i \sim \text{Bernoulli}(h_i)$ erhalten bleiben.

3. Wichtige Beiträge

1. Theoretische Garantien:
   • Beweis der Gültigkeit der aktiven e-Werte und p-Werte unter strikter Budgetbeschränkung.
   • Optimalität: Für e-Werte und p-Werte unter Unabhängigkeit wird gezeigt, dass die Konstruktion optimal ist (sie maximiert die Stärke des Beweises).
   • Zulässigkeit (Admissibility): Es wird bewiesen, dass keine einzelne Steuerfunktion $h$ oder kein Hyperparameter $\beta$ universell alle anderen dominiert. Jede Wahl ist zulässig, was die Flexibilität des Frameworks unterstreicht.
2. Modellfreiheit: Das Framework stellt keine Verteilungsannahmen an die Hilfsstatistiken, was es ideal für den Einsatz mit komplexen Black-Box-Systemen wie Large Language Models (LLMs) macht.
3. Verbindung zu bestehenden Arbeiten: Das Paper zeigt, dass der Ansatz von Xu et al. (2025b) ein Spezialfall des vorgeschlagenen Frameworks ist, aber ohne die Garantie eines strikten Budgets und mit suboptimalen Konstanten.
4. Algorithmus: Ein einheitlicher Algorithmus (Algorithm 1) wird bereitgestellt, der von der Hilfsstatistik über die Budgetzuweisung bis zur Ausgabe gültiger aktiver Statistiken reicht.

4. Ergebnisse

Die Autoren evaluieren das Framework durch Simulationen und zwei reale Anwendungen:

• Simulationen:

  • Das vorgeschlagene Verfahren („Active-Default") kontrolliert die False Discovery Rate (FDR) korrekt.
  • Im Vergleich zu zufälliger Auswahl („Random") und dem Ansatz von Xu (der kein striktes Budget einhält) erreicht „Active-Default" die höchste Effizienz (Anzahl echter Entdeckungen pro teurer Berechnung).
  • Die Effizienz steigt mit der Dichte der wahren Signale, da das Budget gezielt auf vielversprechende Hypothesen gelenkt wird.

• Anwendung 1: GWAS (Genomweite Assoziationsstudie):

  • Ziel: Identifikation von SNPs, die mit Myokardinfarkt (MI) assoziiert sind, unter Nutzung von Zusammenfassungsstatistiken einer Hypertonie-Studie (HTN) als günstigen Proxy.
  • Ergebnis: Das Framework priorisierte erfolgreich SNPs, die auch im Goldstandard-Test signifikant waren (z. B. rs1333047 im 9p21.3-Lokus), und erreichte eine deutlich höhere Effizienz als Baseline-Methoden bei strikter Einhaltung des Budgets.

• Anwendung 2: LLM für klinische Vorhersage:

  • Ziel: Vorhersage der Sterblichkeit bei Myokardinfarkt-Patienten. Ein teures Merkmal (chronische Herzinsuffizienz-Diagnose) wurde durch ein LLM (Gemini 3.1 Pro) imputiert, um eine günstige Hilfsstatistik zu erzeugen.
  • Ergebnis: Auch hier übertraf das Budget-bewusste Framework die Methoden in Bezug auf die Effizienz, während es die FDR-Kontrolle beibehielt. Dies demonstriert die Anwendbarkeit auf moderne KI-gestützte Inferenz.

5. Bedeutung und Fazit

Das Paper liefert einen prinzipiellen und theoretisch fundierten Rahmen für statistische Inferenz unter Ressourcenbeschränkungen.

• Praktische Relevanz: Es ermöglicht Wissenschaftlern, teure Experimente oder Berechnungen gezielt dort einzusetzen, wo der größte Erkenntnisgewinn zu erwarten ist, ohne die statistische Validität zu gefährden.
• Skalierbarkeit: Die Methode ist besonders wertvoll in Bereichen wie der Genomik, wo Millionen von Tests durchgeführt werden müssen, oder bei der Nutzung von LLMs, wo die Generierung von „Goldstandard"-Daten teuer ist.
• Flexibilität: Durch die Trennung von der spezifischen Verteilung der Hilfsstatistiken ist das Framework breit anwendbar und kann mit modernen Inferenzmethoden (wie e-BH oder adaptiven Verfahren) kombiniert werden.

Zusammenfassend stellt dieses Werk einen wichtigen Schritt dar, um statistische Rigorosität mit den praktischen Einschränkungen von Rechenkapazität und Kosten in Einklang zu bringen.