Technischer Überblick: Vereinheitlichte konformalisierte multiple Testung mit voller Dateneffizienz

1. Problemstellung

Die konformalisierte multiple Testung bietet einen modellfreien Rahmen zur Kontrolle der False Discovery Rate (FDR) bei der Identifizierung von Teststichproben mit nicht beobachteten Ziel-Labels (z. B. Ausreißererkennung, Stichprobenselektion). Das Standardverfahren umfasst die Konstruktion eines Nicht-Übereinstimmungsscores, dessen Kalibrierung anhand einer Menge von Null- (negativen) Stichproben zur Erzeugung konformaler p-Werte sowie die Anwendung einer Regel für multiple Testung (z. B. Benjamini-Hochberg).

Bestehende Methoden weisen zwei Hauptbeschränkungen hinsichtlich der Datennutzung auf:

1. Teilweise Datennutzung: Viele Ansätze teilen die verfügbaren Null-Daten ($D_0$) in Trainings- und Kalibrierungsmengen auf und verwerfen dabei wertvolle Informationen. Andere nutzen verfügbare nicht-Null- (positive) gelabelte Daten ($D_1$) oder ungelabelte Testdaten ($D_u$) während der Score-Konstruktion nicht aus.
2. Fragmentierte Rahmenwerke: Unterschiedliche Methoden (z. B. Split-Conformal, Integrative Conformal, Localised Conformal) wurden unter spezifischen Settings und Datennutzungsschemata entwickelt. Es existiert kein vereinheitlichtes theoretisches Rahmenwerk, das diese Methoden umfasst oder ein systematisches Prinzip zur Entwicklung neuer Methoden bereitstellt, die alle verfügbaren Daten ($D_0, D_1, D_u$) voll ausschöpfen und gleichzeitig die FDR streng kontrollieren.

Die zentrale Herausforderung besteht darin, einen vereinheitlichten Ansatz zu entwickeln, der die statistische Power maximiert, indem alle verfügbaren Daten sowohl für die Score-Konstruktion als auch für die Kalibrierung genutzt werden, ohne die Austauschbarkeitsannahmen zu verletzen, die für die FDR-Kontrolle in endlichen Stichproben erforderlich sind.

2. Methodik: Das ECOT-Rahmenwerk

Die Autoren schlagen Enhanced COnformal Testing (ECOT) vor, ein vereinheitlichtes Rahmenwerk basierend auf einer vollständigen Permutationsstrategie. Der Kerngedanke besteht darin, die konformalisierte multiple Testung durch die Brille der Permutationstestung zu betrachten, wobei der p-Wert für eine Teststichprobe $j$ durch den Vergleich ihres Scores mit Scores berechnet wird, die aus allen möglichen Permutationen der Daten gewonnen werden.

2.1 Kernkomponenten

Das ECOT-Verfahren besteht aus drei Schritten:

1. Score-Konstruktion: Für jede Teststichprobe $j \in U$ wird eine individualisierte Score-Funktion $S^{(j)}$ unter Verwendung aller verfügbaren Daten ($D_0, D_1, D_u$) konstruiert. Ein höherer Score deutet auf stärkere Evidenz gegen die Nullhypothese hin.
2. Berechnung des p-Werts: Ein konformaler p-Wert wird mittels vollständiger Permutation berechnet:
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   Hierbei ist $\Omega_j$ die Menge der Permutationen der Kalibrierungsmenge $C \subseteq L_0$ und der Teststichprobe $j$, wobei die Indizes außerhalb dieser Menge fixiert bleiben. $S^{(j)}_\sigma$ bezeichnet die Score-Funktion, die auf dem permutierten Datensatz konstruiert wurde.
3. Testverfahren: Um die Abhängigkeit zwischen p-Werten zu handhaben, die durch Datenwiederverwendung und individualisierte Scores entsteht, setzt ECOT einen Schritt der bedingten Kalibrierung ein (inspiriert von Fithian und Lei, 2022). Dies beinhaltet die Definition modifizierter p-Werte $\tilde{p}^{(j)}_\ell$ unter Verwendung einer permutationsinvarianten Zusammenfassung (z. B. des Medians) der Scores, gefolgt von einem Ablehnungsverfahren, das die FDR-Kontrolle in endlichen Stichproben sicherstellt.

2.2 Rechnerische Vereinfachungen

Die vollständige Permutation ist rechnerisch aufwendig ($O((|C|+1)!)$). Das Rahmenwerk identifiziert zwei Symmetriebedingungen, unter denen sich das Verfahren erheblich vereinfacht:

• Kalibrierungs-symmetrische Scores: Wenn $S^{(j)}$ invariant unter Permutationen der Kalibrierungsmenge und von $j$ ist, reduziert sich der p-Wert auf eine einfache rangbasierte Berechnung über $C \cup \{j\}$, wodurch die Notwendigkeit wiederholter Modell-Neu-Trainings entfällt.
• Gemeinsam-symmetrische Scores: Wenn eine einzige Score-Funktion $S$ für alle Stichproben verwendet wird und bezüglich aller Null- und Teststichproben symmetrisch ist, wird der Schritt der bedingten Kalibrierung unnötig, und das Standard-Benjamini-Hochberg (BH)-Verfahren, angewendet auf die vereinfachten p-Werte, ist ausreichend.

2.3 Verbesserte Ansätze

Unter Ausnutzung des vereinheitlichten Rahmenwerks schlagen die Autoren zwei spezifische verbesserte Methoden vor:

• ECOT-bi (Binäre Klassifikation): Nutzt $D_0, D_1$ und $D_u$ gemeinsam, um einen binären Klassifikator zu trainieren. Der Klassifikator unterscheidet zwischen Nicht-Null-Stichproben ($D_1$) und den gepoolten Null-/ungelabelten Stichproben ($D_0 \cup D_u$). Dies approximiert das optimale Dichteverhältnis, ohne $D_0$ aufzuteilen.
• ECOT-oc (One-Class-Klassifikation): Entwickelt für Szenarien, in denen binäre Klassifikatoren ineffizient sind (z. B. Varianzunterschiede). Es trainiert One-Class-Klassifikatoren auf $D_0 \cup D_u$ (für die Null) und $D_1$ (für die Alternative) und integriert sie zur Bildung des Scores.

2.4 Adaptive Selektion

Das Rahmenwerk ermöglicht eine Adaptive Ansatzselektion (ECOT-as). Anstatt eine einzige Methode festzulegen, bewertet der Algorithmus mehrere Kandidatenansätze (z. B. ECOT-bi, ECOT-oc, FullND) und wählt für jede Stichprobe denjenigen aus, der die höchste Power (Anzahl der Ablehnungen) liefert. Entscheidend ist, dass der Selektionsschritt über die vollständige Permutationsstrategie in die Score-Konstruktion eingebettet wird. Dies behandelt die Selektion als Teil der Score-Generierung, erhält die Austauschbarkeit und vermeidet das Problem des „Double Dipping", das typischerweise die FDR bei Inferenz nach der Selektion aufbläht.

3. Hauptbeiträge

1. Vereinheitlichtes Rahmenwerk: Die Arbeit stellt ECOT vor, ein allgemeines Rahmenwerk, das bestehende Methoden der konformalisierten multiplen Testung (z. B. Split-Conformal, Integrative, Localised) als Spezialfälle unter spezifischen Symmetriestrukturen umfasst.
2. Volle Dateneffizienz: Das Rahmenwerk bietet eine prinzipielle Designstrategie, um alle verfügbaren Daten ($D_0, D_1, D_u$) für die Score-Konstruktion zu nutzen, während die gesamte Nullmenge für die Kalibrierung erhalten bleibt. Dies führt nachweislich zu einer Verbesserung der statistischen Power durch eine höhere Score-Qualität und Maximierung der Kalibrierungsmengengröße.
3. Adaptive Selektion mit FDR-Kontrolle: Die Autoren entwickeln eine datengesteuerte Strategie zur automatischen Auswahl des besten konformalen Testansatzes aus einer Menge von Kandidaten. Durch die Integration der Selektion in die permutationsbasierte Score-Konstruktion erreichen sie eine FDR-Kontrolle in endlichen Stichproben ohne zusätzliche Datenaufteilung.
4. Theoretische Garantien: Die Arbeit beweist, dass unter Standardannahmen zur Daten-Austauschbarkeit das ECOT-Verfahren die FDR auf dem gewünschten Niveau $\alpha$ in endlichen Stichproben kontrolliert, unabhängig von der Komplexität der verwendeten Score-Funktionen.

4. Experimentelle Ergebnisse

Umfangreiche numerische Experimente wurden auf synthetischen Daten und realen Datensätzen zur Ausreißererkennung (Credit Card, Satellite, Shuttle, CovType, Mammography) durchgeführt.

• Power-Verbesserung: In Szenarien, in denen binäre Klassifikation optimal ist, übertrafen ECOT-bi und ECOT-as bestehende Baselines (z. B. AdaDetect, CP-bi, Integ) konsistent, indem sie eine höhere Power bei gleichzeitiger Aufrechterhaltung der FDR-Kontrolle erreichten. Dies wurde auf die vollständige Nutzung von $D_1$ und die Vermeidung von Datenaufteilung zurückgeführt.
• Robustheit gegenüber Szenarien: In Settings, in denen One-Class-Klassifikation überlegen ist (z. B. Varianzverschiebungen), übertraf ECOT-oc integrative Methoden erheblich, indem es $D_u$ in der Score-Konstruktion nutzte.
• Adaptive Selektion: ECOT-as verfolgte erfolgreich die bestperformende Methode über diverse Szenarien hinweg und erreichte in vielen Fällen eine Power, die nahe an der theoretischen Obergrenze (Oracle) lag.
• Leistung auf Real-Daten: Auf realen Datensätzen zeigten die ECOT-Methoden (insbesondere ECOT-bi und ECOT-as) eine überlegene Power im Vergleich zu Baselines, die oft aufgrund begrenzter gelabelter Daten oder unangemessener Score-Konstruktionen unter geringer Power litten.
• Rechenkosten: Obwohl der Ansatz der vollständigen Permutation rechnerisch schwerer wiegt als Split-Methoden, halten die angepasste adaptive Selektion (Algorithmus 3) und Symmetrie-Reduktionen die Laufzeiten innerhalb praktischer Grenzen (ca. 1 Minute für moderate Stichprobengrößen), was deutlich schneller ist als vollständige konformale Implementierungen konkurrierender Rahmenwerke wie OptCS.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ECOT einen bedeutenden Fortschritt darstellt, indem es die fragmentierte Landschaft der konformalisierten multiplen Testung vereinheitlicht. Seine primäre Bedeutung liegt in:

• Systematisches Design: Bereitstellung eines klaren, prinzipiellen Pfads für die Entwicklung neuer konformaler Verfahren, die die Dateneffizienz maximieren.
• Automatische Adaptation: Lösung des Problems der Auswahl der optimalen Teststrategie ohne Kompromisse bei der FDR-Kontrolle, ein häufiger Fehler bei der Inferenz nach der Selektion.
• Praktische Effizienz: Demonstration, dass die vollständige Datennutzung zu greifbaren Gewinnen in der Power über diverse reale und synthetische Szenarien hinweg führt, was die konformale Testung für Anwendungen wie Ausreißererkennung und Stichprobenselektion effektiver macht.

Die Autoren räumen ein, dass das Rahmenwerk auf Daten-Austauschbarkeit angewiesen ist und dass die vollständige Permutation rechnerisch aufwendig sein kann, und schlagen zukünftige Arbeiten vor, um Annahmen zu lockern (z. B. nicht-austauschbare Daten) und permutationsbasierte Inferenz zu beschleunigen.