Technische Zusammenfassung: Wann hilft Beschneiden bei der konformen Vorhersage?

Problemstellung

Die konforme Vorhersage stützt sich auf die Austauschbarkeit von Kalibrierungs- und Testwerten, um Garantien für die Abdeckung in endlichen Stichproben zu liefern. Diese Austauschbarkeit versagt jedoch unter Kalibrierungskontamination, bei der die Kalibrierungsstichprobe aus einer Mischverteilung $P^\star = (1-\epsilon)P + \epsilon Q$ gezogen wird (wobei $P$ das saubere Zielgesetz und $Q$ ein unbekanntes kontaminierendes Gesetz ist), während der Testpunkt weiterhin aus $P$ gezogen wird.

Eine gängige Reaktion in der Praxis besteht darin, Kalibrierungspunkte mit hohen Anomaliewerten vor der Berechnung des konformen Quantils zu beschneiden. Obwohl dies intuitiv erscheint, argumentiert die Arbeit, dass dieses Verfahren die Daten nicht einfach „reinigt". Stattdessen transformiert es das Kalibrierungsgesetz in ein behaltenes Gesetz $R$. Die Gültigkeit des resultierenden Vorhersagesatzes für das saubere Ziel $P$ wird zu einem Transferproblem von $R$ zurück nach $P$. Die zentrale Frage lautet: Unter welchen Bedingungen verbessert das Beschneiden tatsächlich die Abdeckung für das saubere Ziel, und wann versagt es oder verschlechtert die Leistung sogar?

Methodik

Das Rahmenwerk des behaltenen Gesetzes

Die Autoren fassen das Beschneiden mit festem Schwellenwert nicht als Datenreinigung, sondern als Konditionierung neu. Gegeben eine Anomaliebewertung $S$ und einen Schwellenwert $t^\star$, werden Kalibrierungspunkte beibehalten, wenn $S(Z) \le t^\star$ gilt. Der resultierende beibehaltene Kalibrierungssatz ist i.i.d. gemäß dem behaltenen Gesetz:
$$R = P^\star(\cdot \mid S \le t^\star)$$
Dieses Gesetz ist im Allgemeinen weder das ursprüngliche kontaminierte Gesetz $P^\star$ noch das saubere Gesetz $P$.

Theoretische Diagnostik

Die Arbeit leitet eine exakte Identität für endliche Stichproben für die marginale saubere Abdeckung her, die von der Verteilung der beibehaltenen Anzahl und der Beziehung zwischen dem behaltenen Gesetz $R$ und dem sauberen Gesetz $P$ abhängt.

Um dies handhabbar zu machen, führen die Autoren eine skalare Transferlücke $d_{R \to P, +} = \sup_t (F^A_R(t) - F^A_P(t))_+$ ein, wobei $F^A$ die kumulative Verteilungsfunktion (CDF) des Nicht-Konformitäts-Scores $A$ bezeichnet. Die Abdeckungsgarantie ist begrenzt durch:
$$\text{Abdeckung} \ge [1 - \alpha - d_{R \to P, +}]_+$$

Unter Verwendung der Mischungszerlegung von $R$ leiten die Autoren eine komponentenweise obere Schranke für diese Lücke her:
$$d_{R \to P, +} \le (1 - \tilde{\epsilon}^\star) \Delta^A_{\text{trim}, +} + \tilde{\epsilon}^\star D_{Q, +}$$
wobei:

1. $\Delta^A_{\text{trim}, +}$ (Kosten auf der sauberen Seite): Die Verzerrung der Verteilung des sauberen Nicht-Konformitäts-Scores, verursacht durch die Konditionierung auf das Beibehalten. Die Arbeit beweist, dass dies exakt eine einseitige Kovarianz zwischen dem Beibehaltungsindikator und dem Nicht-Konformitäts-Score unter dem sauberen Gesetz $P$ ist.
2. $\tilde{\epsilon}^\star$ (Beibehaltener Mischkoeffizient): Das effektive Kontaminationsniveau im beibehaltenen Satz, gegeben durch $\tilde{\epsilon}^\star = \frac{\epsilon p_d}{(1-\epsilon)p_c + \epsilon p_d}$, wobei $p_c$ und $p_d$ die Beibehaltungswahrscheinlichkeiten für saubere bzw. „schmutzige" Punkte sind.
3. $D_{Q, +}$ (Beibehaltene Diskrepanz der „schmutzigen" Komponente): Die Diskrepanz zwischen der beibehaltenen „schmutzigen" Komponente und dem sauberen Ziel.

Wichtige theoretische Erkenntnisse

• Kovarianz-Identität: Die Kosten des Beschneidens sauberer Daten werden durch die Abhängigkeit zwischen dem Anomalie-Score $S$ und dem Nicht-Konformitäts-Score $A$ unter $P$ getrieben. Wenn $S$ und $A$ unter $P$ unabhängig sind (z. B. Kovariaten-only-Scores bei homoskedastischer Regression), sind die Kosten auf der sauberen Seite null.
• Dichotomie der Trennung auf Koeffizientenebene: Beschneiden reduziert die Kontamination nur dann, wenn der Anomalie-Score saubere und „schmutzige" Punkte trennt ($p_d \ll p_c$). Wenn $p_d \approx p_c$, dann gilt $\tilde{\epsilon}^\star \approx \epsilon$, und Beschneiden kann den Mischkoeffizienten nicht reduzieren. In diesem „keine-Trennung"-Regime kann Beschneiden die Abdeckung strikt verschlechtern, indem es Verzerrungen auf der sauberen Seite einführt, ohne die Kontamination zu reduzieren.
• Schärfe in endlichen Stichproben: Die skalare untere Schranke erweist sich als minimax-optimal innerhalb der Klasse von Problemen, die ausschließlich durch die skalare Diskrepanzbeschränkung definiert sind. Keine uniforme untere Schranke, die nur die skalare Lücke verwendet, kann diesen Wert überschreiten.

Zertifikatvorlagen

Da Populationsgrößen in der Praxis unbekannt sind, stellt die Arbeit Zertifikatvorlagen für numerische Garantien bereit:

1. Komponentenweise Prüfung: Begrenzung der Bestandteile ($p_c, p_d, \Delta^A_{\text{trim}, +}, D_{Q, +}$) unter Verwendung unabhängiger Informationen (z. B. saubere Prüfungsstichproben oder Domänenwissen).
2. Direkte Prüfung: Verwendung einer unabhängigen sauberen Prüfungsstichprobe, um den final ausgewählten Satz durch exakte binomiale Inversion oder Kolmogorov-Smirnov-Schranken zu zertifizieren.
3. Auswahl aus derselben Stichprobe: Für Fälle, in denen der Schwellenwert aus derselben Kalibrierungsstichprobe ausgewählt wird, wird eine empirische CDF-Schranke auf einem endlichen Gitter bereitgestellt, die eine Strafe von $\sqrt{\log K / N}$ mit sich bringt.

Experimentelle Ergebnisse

Die Autoren evaluieren die Theorie an einer heteroskedastischen Regressionsaufgabe mit kovariaten-geometrischer Kontamination.

• Regime mit sichtbarem Score: Wenn der Anomalie-Score (Stein-Score-Norm) die Kovariatenverteilungen sauberer und „schmutziger" Daten effektiv trennt, verbessert Beschneiden die Abdeckung signifikant. Die Verbesserung wird durch eine Reduktion des beibehaltenen Mischkoeffizienten $\tilde{\epsilon}^\star$ (der auf nahezu null sinkt) und eine beherrschbare Kosten auf der sauberen Seite getrieben.
• Regime ohne Trennung: Wenn saubere und „schmutzige" Punkte ähnliche Beibehaltungswahrscheinlichkeiten haben, versagt Beschneiden, $\tilde{\epsilon}^\star$ zu reduzieren. Die Abdeckung bleibt niedrig, was bestätigt, dass Beschneiden ohne Trennung nicht helfen kann.
• Nur-Label-Kontamination: Wenn nur die Antwort $Y$ korrupt ist (und $X$ sauber ist), hat eine auf Kovariaten basierendes Beschneiden keinen Hebel. Die Methode identifiziert korrekt, dass Beschneiden in diesem Setting die Abdeckung nicht verbessern kann.
• Große Stichprobengröße: Eine Erhöhung der Kalibrierungsgröße $m$ reduziert den Spielraum endlicher Stichproben, beseitigt jedoch nicht das auf Populationsebene bestehende Abdeckungsdefizit, das durch die Transferlücke des behaltenen Gesetzes verursacht wird. Die limitierende Abdeckung wird durch die Populationsdiagnostik bestimmt, nicht durch die Stichprobengröße.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine Diagnostik auf Populationsebene bereitzustellen, die erklärt, wann und warum Beschneiden hilft, und geht damit über die heuristische Annahme hinaus, dass „das Entfernen von Ausreißern immer hilft".

1. Neudefinition des Beschneidens: Es wird festgestellt, dass Beschneiden eine Transformation des Kalibrierungsgesetzes ist, keine Wiederherstellung des ursprünglichen Gesetzes. Die Gültigkeit gilt exakt nur für das behaltene Gesetz und erfordert einen Transfer zum sauberen Ziel.
2. Designprinzipien: Es wird formalisiert, dass ein guter Anomalie-Score für das Beschneiden auf der sauberen Population score-neutral sein muss (minimale Kovarianz mit dem Nicht-Konformitäts-Score), während er zwischen sauberen und „schmutzigen" Populationen trennend wirken muss.
3. Grenzen: Es wird gezeigt, dass Beschneiden die Kontamination über den Mischkoeffizienten nicht reduzieren kann, wenn der Score die Beibehaltungswahrscheinlichkeiten nicht trennt. In solchen Fällen kann Beschneiden die Leistung strikt verschlechtern.
4. Operative Sicherheit: Die Arbeit unterscheidet zwischen Populationsdiagnostik (mechanistische Erklärungen unter Verwendung bekannter Simulationsgesetze) und numerischen Zertifikaten (Garantien, die unabhängige Prüfdaten erfordern), um sicherzustellen, dass Praktiker theoretische Schranken nicht ohne ordnungsgemäße Prüfung für datengesteuerte Zertifikate halten.

Die Arbeit kommt zu dem Schluss, dass Beschneiden keine universelle Lösung für Kontamination ist; seine Wirksamkeit wird strikt durch das Zusammenspiel zwischen der Fähigkeit des Anomalie-Scores, Kontamination zu trennen, und seiner Neutralität gegenüber der Verteilung des sauberen Ziels bestimmt.