📊 statistics

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

Dieses Paper präsentiert ein einheitliches Framework für den Umgang mit Label Shift in Conformal Bayes, indem es die Post-hoc-Kalibrierung, welche den konformen Schwellenwert anpasst während die Parameter-Posterior-Verteilung unverändert bleibt, mit der In-Training-Adaption vergleicht, welche die Parameter-Posterior-Verteilung selbst umgewichtet, und zeigt auf, dass beide eine valide Abdeckung erreichen, die letztere jedoch in verzerrten Trainingsregimen eine überlegene Effizienz bietet.

Ursprüngliche Autoren: Seungjin Choi

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seungjin Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wetterprognostiker. Sie haben ein Modell erstellt, das auf jahrelangen Daten aus einer bestimmten Region basiert (nennen wir diese Region „Source City“). Ihr Modell ist hervorragend darin, Regen in Source City vorherzusagen.

Nun werden Sie gebeten, eine Prognose für einen neuen Ort zu erstellen, „Target City“. Es gibt jedoch einen Haken: Target City hat ein anderes Klimaprofil. Es regnet dort viel häufiger als in Source City, aber wenn es doch regnet, sehen die Wetterlagen (Wolken, Wind, Luftfeuchtigkeit) exakt gleich aus. Dies ist das, was die Arbeit als Label Shift bezeichnet. Die Häufigkeit des Ergebnisses (Regen vs. kein Regen) hat sich geändert, aber die Beziehung zwischen den Wettersignalen und dem Regen ist dieselbe geblieben.

Wenn Sie Ihr altes Modell aus Source City einfach ohne Anpassung auf Target City anwenden, werden Ihre Vorhersagen falsch sein. Sie könnten sagen: „Es besteht nur eine Wahrscheinlichkeit von 10 % für Regen“, obwohl es in Wirklichkeit 50 % sind.

Diese Arbeit führt eine Methode namens Conformal Bayes ein, um dies zu beheben. Anstatt eine einzelne Zahl anzugeben (wie „50 % Wahrscheinlichkeit“), liefert es ein Vorhersageintervall (z. B. „Die Regenwahrscheinlichkeit liegt zwischen 40 % und 60 %“). Das Ziel ist es, sicherzustellen, dass dieser Bereich in 90 % der Fälle korrekt ist, selbst mit dem neuen Klima.

Die Autoren schlagen zwei verschiedene Wege vor, das Modell zu korrigieren, die sie Strategie A und Strategie B nennen.

Die zwei Strategien

Strategie A: Der „Post-Hoc“-Tilt (Der schnelle Fix)

Betrachten Sie dies als das bloße Umetikettieren der Seiten Ihres fertigen Wetterberichts, bevor Sie ihn dem Kunden übergeben.

Wie es funktioniert: Sie lassen Ihr ursprüngliches Modell exakt so, wie es ist. Sie rühren die interne Mathematik nicht an. Stattdessen wenden Sie bei der Berechnung des endgültigen Vorhersagebereichs ein „Gewicht“ auf die Daten an. Wenn es in der neuen Stadt häufiger regnet, „tilten“ (verändern) Sie mathematisch das Endergebnis, um diesen zusätzlichen Regen zu berücksichtigen.
Die Analogie: Stellen Sie sich vor, Sie haben eine Karte von Source City. Sie zeichnen die Karte nicht neu. Stattdessen legen Sie ein transparentes Blatt über die Karte mit einem Filter, der besagt: „Denken Sie daran, dass es hier öfter regnet.“ Dann zeichnen Sie Ihren Vorhersagekreis basator auf dieser gefilterten Ansicht.
Vorteile: Es ist sicher und funktioniert auch dann, wenn Sie nicht wissen, wie das ursprüngliche Modell gebaut wurde (eine „Black Box“).
Nachteile: Wenn das ursprüngliche Modell bereits voreingenommen war (z. B. nur an Tagen trainiert wurde, an denen es stark regnete), passt diese Methode zwar die Endzahl an, behebt aber nicht die zugrunde liegende Voreingenommenheit im Denken des Modells.

Strategie B: Der „In-Training“-Tilt (Der tiefgreifende Fix)

Betrachten Sie dies als das Umschreiben des Trainingshandbuchs des Wetterprognostikers, noch bevor dieser überhaupt mit der Erstellung von Vorhersagen beginnt.

Wie es funktioniert: Bevor das Modell seine endgültige Vorhersage trifft, gehen Sie zurück in das „Gehirn“ des Modells (die Parameter) und passen dessen Überzeugungen an. Sie sagen dem Modell: „Hey, die Daten, die du gelernt hast, waren verzerrt. Lass uns dein internes Verständnis davon, wie oft es regnet, anpassen.“
Die Analogie: Anstatt nur einen Filter über die Karte zu legen, zeichnen Sie die Karte tatsächlich neu, um die neue Realität widerzuspiegeln. Sie lehren den Wetterprognostiker, dass der „Durchschnittstag“ in der neuen Stadt anders ist.
Vorteile: Wenn die ursprünglichen Trainingsdaten „angereichert“ wurden (z. B. das Modell nur Daten von stürmischen Tagen sah), entfernt diese Methode aktiv die Voreingenommenheit (De-Biasing) des Modells. Sie behebt die Ursache, was zu engeren, präziseren Vorhersagebereichen führt.
Nachteile: Sie benötigen Zugriff auf den internen Trainingsprozess des Modells. Wenn das Modell eine Black Box ist, können Sie dies nicht tun.

Die Experimente: Wann man welche Strategie verwendet?

Die Autoren führten zwei Computerexperimente durch, um zu sehen, welche Strategie gewinnt.

Experiment 1: Das „faire“ Training

Szenario: Das Modell wurde auf einem perfekt ausgewogenen, fairen Datensatz aus Source City trainiert.
Ergebnis: Beide Strategien funktionierten gleichermaßen gut. Beide erreichten die korrekte Genauigkeit von 90 %. Strategie A war etwas einfacher, aber Strategie B verursachte keinen Nachteil.
Fazit: Wenn Ihre Trainingsdaten gut und unvoreingenommen sind, können Sie den einfachen „Post-Hoc“-Fix (Strategie A) verwenden.

Experiment 2: Das „verzerrte“ Training (Lead Optimization)

Szenario: Dies simuliert ein reales Problem wie die Wirkstoffforschung. Stellen Sie sich vor, Sie trainieren ein Modell, um gute Medikamente zu finden, aber Ihre Trainingsdaten enthalten nur „hochaktive“ Verbindungen (die besten Medikamente). Das Modell ist voreingenommen, weil es glaubt, dass alles ein hochaktives Medikament sei.
Ergebnis:
- Strategie A (der schnelle Fix) funktionierte zwar immer noch, um die richtige Abdeckung zu erreichen, aber die Vorhersagebereiche waren etwas breit.
- Strategie B (der tiefgreifende Fix) glänzte hier. Durch die Korrektur der internen Voreingenommenheit des Modells erzeugte es engere, präzisere Vorhersagebereiche, während es gleichzeitig die 90 % Genauigkeit beibehielt. Es „entfernte effektiv die Voreingenommenheit“ (De-Biasing) des Modells und machte es schlauer in Bezug auf die neue Realität.
Fazit: Wenn Ihre Trainingsdaten verzerrt oder spezialisiert sind (was in Fachgebieten wie der Wirkstoffforschung häufig vorkommt), ist Strategie B überlegen, da sie die interne Logik des Modells bereinigt, nicht nur dessen Endausgabe.

Zusammenfassung in einfacher Sprache

Das Problem: Ihr KI-Modell wurde mit Daten trainiert, die nicht mehr mit der realen Welt übereinstimmen (der „Label Shift“).
Die Lösung: Verwenden Sie Conformal Bayes, um ein Sicherheitsnetz (ein Vorhersageintervall) zu erstellen, das garantiert korrekt ist.
Die Wahl:
- Wenn Ihr Modell mit fairen Daten trainiert wurde, verwenden Sie Strategie A (passen Sie die Endausgabe an). Das ist einfach und effektiv.
- Wenn Ihr Modell mit verzerrten oder spezialisierten Daten (wie nur den „besten“ Beispielen) trainiert wurde, verwenden Sie Strategie B (korrigieren Sie das interne Gehirn des Modells). Dies macht die Vorhersagen präziser und entfernt die Voreingenommenheit.

Die Arbeit kommt zu dem Schluss, dass beide Methoden zwar die Genauigkeit garantieren, Strategie B jedoch der „De-Biasing-Operator“ ist, der das Modell effizienter macht, wenn die Trainingsdaten unvollkommen waren.

Technisches Resümee: Conformal Bayes unter Label Shift

1. Problemstellung

Die Arbeit adressiert die Herausforderung, statistisch valide Vorhersagesets unter Label Shift zu konstruieren – einer Verteilungsvarianz, bei der sich die marginale Label-Verteilung zwischen der Quelldomäne ( $p_s(y)$ ) und der Zieldomäne ( $p_t(y)$ ) ändert, während die bedingte Merkmalsverteilung invariant bleibt ( $p_t(x|y) = p_s(x|y)$ ).

Im Standard-Conformal-Bayes werden Vorhersagesets unter Verwendung der Bayesianischen prädiktiven Posterior-Verteilung $p(y|x, D_{tr})$ und eines Nichtkonformitäts-Scores (typischerweise der negative Log-prädiktive Dichte-Wert, NLPD) konstruiert. Unter Label Shift sind Kalibrierungsdaten aus der Quelldomäne und Testdaten aus der Zieldomäne unter demselben Maß nicht mehr austauschbar. Infolgedessen versagen Vorhersagesets, die auf Quellendaten kalibriert wurden, darin, das nominelle Abdeckungsniveau auf Zieltestpunkten zu erreichen. Dieses Problem ist besonders relevant in Domänen wie der Lead-Optimierung, in denen Trainingsdaten für hochaktive Verbindungen angereichert sind, die Vorhersagen jedoch über eine vollständige chemische Bibliothek mit einer anderen Label-Verteilung erfolgen müssen.

2. Methodik

Die Autoren schlagen ein vereinheitlichtes Framework vor, das zwei komplementäre Strategien analysiert, um die nominelle Zieldomänen-Abdeckung wiederherzustellen. Beide Strategien beruhen auf der gewichteten (Importance-Weighted, IW) konformalen Kalibrierung, um Validität zu gewährleisten, unterscheiden sich jedoch grundlegend in der Art und Weise, wie sie die prädiktive Geometrie anpassen.

Kernannahmen

Label Shift (Bedingte Invarianz): $p_t(x|y) = p_s(x|y)$ , aber $p_t(y) \neq p_s(y)$ .
Dichteverhältnis: Der Shift wird via exponentiellem Tilting modelliert: $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$ , wobei $\beta$ ein bekannter Parameter (oder geschätzt) ist.
Modell: Ein eingefrorener Backbone $\phi(x)$ mit einem Gaußschen linearen Kopf: $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$ .

Strategie A: Post-Hoc Kalibrierung (Prädiktives Tilting)

Mechanismus: Der Parameter-Posterior $\pi_s(\theta|D_{tr})$ bleibt unverändert. Die Korrektur erfolgt auf der prädiktiven Ebene.
Prozess:
1. Der Ziel-Posterior-Prädiktive wird durch Tilting des Quell-Prädiktiven abgeleitet: $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$ .
2. Der Nichtkonformitäts-Score ist die negative Log-Dichte dieses getilten Prädiktiven: $s_A(x, y) = -\log p_A(y|x, D_{tr})$ .
3. Das konformale Schwellenwertverfahren wird mittels eines gewichteten Quantils (Importance-Weighted Quantile) der Kalibrierungsscores berechnet.
Geometrie: Das resultierende Vorhersageset-Zentrum beinhaltet einen Shift proportional zur epistemischen Unsicherheit ( $\phi(x)^\top \Sigma_\theta \phi(x)$ ). Eingaben, die weit von der Trainingsverteilung entfernt liegen, erhalten breitere Intervalle.
Anforderungen: Erfordert keinen Zugriff auf die Trainings-Pipeline; behandelt das Quellmodell als Black Box.

Strategie B: In-Training Anpassung (Posterior Tilting)

Mechanismus: Die Korrektur wird vor der Kalibrierung auf der Parameter-Ebene angewendet.
Prozess:
1. Ein "ziel-getiltes" Posterior wird konstruiert, indem das Quell-Posterior unter Verwendung von Likelihood-Verhältnissen pro Beobachtung angepasst wird: $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$ .
2. Für Gaußsche Köpfe ergibt dies ein geschlossenes Gaußsches Posterior mit einem verschobenen Mittelwert: $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$ , wobei $\bar{\phi}$ der mittlere Feature des Trainingssatzes ist.
3. Der Nichtkonformitäts-Score ist der NLPD der prädiktiven Verteilung, die aus diesem korrigierten Posterior abgeleitet wurde.
4. Das konformale Schwellenwertverfahren nutzt dasselbe gewichtete Quantil wie Strategie A.
Geometrie: Der Shift im Zentrum des Vorhersagesets hängt von der Ähnlichkeit zwischen dem Testpunkt und der Trainingsverteilung ( $\phi(x)^\top \bar{\phi}$ ) ab, anstatt von der epistemischen Unsicherheit.
Anforderungen: Erfordert Zugriff auf die Trainings-Pipeline und die Trainings-Features, um die Mittelwert-Korrektur zu berechnen.

Algorithmische Pipeline

Beide Strategien folgen einer vereinheitlichten Pipeline (Algorithmus 1):

Berechnung der Bayesianischen linearen Regressionsparameter der Quelle.
Berechnung der Score-Funktion (entweder $s_A$ oder $s_B$ ).
Bewertung des Kalibrierungsdatensatzes.
Berechnung des gewichteten Quantilschwellenwerts.
Konstruktion des Vorhersagesets $C(x) = \{y : s(x, y) \leq \hat{q}\}$ .

3. Kernträge

Vereinheitlichtes Framework: Eine Trennung von Validität (gesteuert durch das gewichtete Quantil) und Effizienz (gesteuert durch die Wahl der Score-Geometrie: prädiktives vs. Posterior-Tilting).
Geschlossene Lösungen: Ableitung eines geschlossenen, ziel-getilten Posteriors für Gaußsche Köpfe, was die exakte Berechnung der korrigierten prädiktiven Verteilung ermöglicht.
Vergleichende Analyse: Ein direkter Vergleich, der die Regime identifiziert, in denen jede Strategie bevorzugt wird:
- Unbiased Training (Unverzerrtes Training): Beide Strategien erreichen eine valide Abdeckung, aber Strategie A (Prädiktives Tilting) liefert engere Intervalle. Strategie B führt unnötige Verzerrungen ein, wenn die Quelldaten bereits repräsentativ sind.
- Biased/Enriched Training (Lead-Optimierung): Strategie B fungiert als Debiasing-Operator. Durch die Korrektur des Parameter-Posteriors reduziert sie den Parameter-Bias, den prädiktiven Bias und die Intervallbreite gleichzeitig bei gleichzeitiger Aufrechterhaltung der validen Abdeckung.

4. Experimentelle Ergebnisse

Die Autoren evaluieren die Methoden auf synthetischen Gaußschen linearen Regressionsdaten unter zwei Regimen:

Experiment 1 (Unbiased Regime): Die Trainingsdaten sind eine uniforme Stichprobe aus der Quellverteilung.
- Abdeckung: Alle Methoden, die das IW-Quantil verwenden (CB-IW, Strategie A, Strategie B), halten eine nominelle 90%-Abdeckung unabhängig von der Intensität des Label Shifts ( $\beta$ ) ein. Die ungewichtete Baseline versagt und verliert an Abdeckung, sobald $\beta$ steigt.
- Effizienz: Strategie A produziert die engsten Intervalle. Strategie B ist breiter, da die MAP-Korrektur den Posterior von der Wahrheit weg bewegt, was in einem unverzerrten Setting kontraproduktiv ist.
Experiment 2 (Lead-Optimization Regime): Die Trainingsdaten sind für High-Response-Verbindungen angereichert (verzerrte Quelle).
- Abdeckung: Alle IW-basierten Methoden halten eine valide 90%-Abdeckung ein. Die ungewichtete Baseline zeigt eine Überdeckung (91–95%) aufgrund inflatierter Kalibrierungsscores durch das verzerrte Modell.
- Debiasing: Strategie B reduziert den Parameter-Bias um etwa 40% und den prädiktiven Bias um 34% im Vergleich zum verzerrten Quell-Posterior.
- Effizienz: Strategie B produziert strikt engere Intervalle als Strategie A (bis zu 16% Reduktion der Breite bei $\beta=0.6$ ), während sie dieselbe Abdeckung beibehält. Dies demonstriert, dass die Korrektur des Parameter-Posteriors effizienter ist als die Korrektur der prädiktiven Dichte, wenn die Quelldaten verzerrt sind.

5. Bedeutung und Ansprüche

Die Arbeit beansprucht, eine fundierte, vereinheitlichte Sichtweise auf die Handhabung von Label Shift in Conformal Bayes zu bieten. Ihre primäre Bedeutung liegt in der Unterscheidung zwischen Kalibrierung für Validität und Adaption für Effizienz:

Validität wird garantiert allein durch die gewichtete Quantil-Regel, unabhängig davon, ob der Score post-hoc oder in-training korrigiert wird.
Effizienz ist kontextabhängig. In unverzerrten Settings ist das post-hoc prädiktive Tilting überlegen, da es vermeidet, den Parameter-Posterior zu verändern. In Szenarien mit angereicherten/verzerrten Trainingsdaten (häufig in der Lead-Optimierung) fungiert die In-Training-Posterior-Adaption als notwendiger Debiasing-Schritt, der sowohl die Genauigkeit des zugrunde liegenden Modells als auch die Effizienz der Vorhersagesets verbessert.

Die Autoren merken an, dass das Framework derzeit auf starken Annahmen basiert (reiner Label Shift, bekannter Tilt-Parameter, Gaußsche lineare Köpfe) und auf synthetischer Validierung beruht. Sie schlagen vor, dass die Erweiterung auf tiefe Modelle eine approximative Inferenz (z. B. Laplace-Approximation) erfordert, und dass die Validierung in der realen Welt der zukünftigen Arbeit überlassen bleibt. Sie skizzieren zudem ein zweistufiges Verfahren zur Schätzung von $\beta$ ohne gelabelte Zieldaten unter Verwendung von Pseudo-Labels, wobei sie auf ein Begleitpapier für Anwendungen in der molekularen Eigenschaftsvorhersage verweisen.