📊 statistics

Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

Dieses Paper führt ein Conformal-Bayes-Framework für zweiseitig zensierte Gauß-Regression unter Label Shift ein, das Posterior-Predictive-Tilting mit gewichteter konformer Kalibrierung kombiniert, um gemischte Highest-Density-Prädiktionsmengen zu konstruieren, wodurch die marginale Abdeckung effektiv wiederhergestellt wird, während gleichzeitig die komplexe gemischte diskret-kontinuierliche Natur zensierter Daten berücksichtigt wird.

Ursprüngliche Autoren: Seungjin Choi

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seungjin Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen die Temperatur eines Raumes vorherzusagen, aber Ihr Thermometer ist defekt. Es hat einen harten Boden bei 0 °C und eine harte Decke bei 100 °C.

Wenn die reale Temperatur -5 °C beträgt, zeigt das Thermometer einfach "0" an.
Wenn die reale Temperatur 105 °C beträgt, zeigt es einfach "100" an.
Nur wenn die Temperatur zwischen 0 und 100 liegt, zeigt es die exakte Zahl an.

Dies ist zweiseitig zensierte Daten (Two-Sided Censored Data). Die Arbeit befasst sich mit der Frage, wie man Vorhersagen trifft, wenn Ihre Daten oben und unten wie bei einem Thermometer "abgeschnitten" sind.

Stellen Sie sich nun vor, Sie haben Ihr Vorhersagemodell auf einem Datensatz trainiert, in dem die Temperaturen meist mild waren (um die 20 °C). Aber wenn Sie das Modell in der realen Welt anwenden, hat sich das Wetter geändert (das nennt man Label Shift), und nun sind die Temperaturen überwiegend extrem (entweder sehr kalt oder sehr heiß).

Die Arbeit stellt die Frage: Wie bauen wir ein Sicherheitsnetz (ein Vorhersageintervall), das garantiert den wahren Temperaturwert einfängt, selbst wenn die Daten oben und unten abgeschnitten sind und sich das Wetter verändert hat?

Hier ist die Lösung des Papers, heruntergebrochen auf einfache Konzepte:

1. Das Problem: Ein durcheinander geratenes Chaos

Standardmäßige Vorhersagewerkzeuge gehen davon aus, dass Daten eine glatte, kontinuierliche Linie bilden. Aber mit einem defekten Thermometer sind Ihre Daten ein seltsames Gemisch:

Die "Atome": Ein Haufen von Datenpunkten, die genau bei 0 und genau bei 100 feststecken.
Das "Innere": Eine glatte Kurve von Datenpunkten, die zwischen 0 und 100 schweben.

Wenn Sie versuchen, Standardmathematik auf dies anzuwenden, scheitert dies, weil Sie den "Haufen bei 0" genauso behandeln wie eine spezifische Zahl wie "5". Das Paper bezeichnet dies als einen gemischten Raum (Mixed Space).

2. Die Lösung: Conformal Bayes mit einem Twist

Die Autoren kombinieren zwei leistungsstarke Ideen: Bayessche Vorhersage (ein Modell nutzen, um die Zukunft zu erraten) und Conformal Prediction (eine Sicherheitsprüfung nutzen, um Genauigkeit zu garantieren).

Sie führen ein dreistufiges "Rezept" ein, um das Szenario des defekten Thermometers zu lösen:

Schritt A: Der "Tilt" (Anpassung des Modells)

Da sich das Wetter geändert hat (Label Shift), ist die ursprüngliche Schätzung des Modells verzerrt. Die Autoren "neigen" (tilt) die Vorhersage des Modells, um sie an die neue Realität anzupassen.

Analogie: Stellen Sie sich vor, Sie zielen basierend auf alten Windmustern auf eine Dartscheibe. Jetzt hat sich der Wind gedreht. Anstatt nur zu raten, drehen Sie Ihren Arm physisch ("tilt"), um dorthin zu zielen, wo der Wind jetzt weht.
Der Haken: Aufgrund des defekten Thermometers verschiebt dieser "Tilt" nicht nur die glatte Kurve, sondern verändert auch die Größe der Haufen an den Marken 0 und 100.

Schritt B: Das "Gewicht" (Korrektur des Sicherheitsnetzes)

Um sicherzustellen, dass das Sicherheitsnetz funktioniert, müssen Sie Ihre Datenpunkte unterschiedlich gewichten.

Das Problem: Ein Standard-"Gewicht" ist einfach nur eine Zahl. Aber hier ist das Gewicht ein dreiteiliges Werkzeug:
1. Ein Gewicht für den "0"-Haufen.
2. Ein Gewicht für den "100"-Haufen.
3. Ein Gewicht für die glatten Zahlen dazwischen.
Die Innovation: Das Paper zeigt, dass man den "0"-Haufen nicht einfach als eine einzige Zahl betrachten kann. Er ist eigentlich die Summe aller verborgenen Temperaturen, die so kalt waren, dass sie zu "0" zusammengedrückt wurden. Das "Gewicht" für diesen Haufen ist der Durchschnitt all dieser verborgenen, zusammengedrückten Temperaturen.

Schritt C: Das "Gemischte Sicherheitsnetz" (Das Ergebnis)

Wenn Sie den "Tilt" und das "Gewicht" zusammenführen, erhalten Sie ein Vorhersageset, das anders aussieht als normal.

Normale Vorhersage: "Die Temperatur liegt zwischen 15 und 25."
Diese Vorhersage des Papers: "Die Temperatur ist entweder genau 0 (es ist frostig), genau 100 (es ist siedend heiß) ODER sie liegt irgendwo zwischen 18 und 22."

Das Sicherheitsnetz kann ein einzelnes Intervall sein, oder es kann eine seltsame Form haben wie "Die Zahl 0, plus eine Lücke, plus die Zahl 100". Dies wird als Mixed Highest Density Region bezeichnet.

3. Warum das wichtig ist (Das "Geheimrezept")

Das Paper hebt zwei wesentliche technische Kniffe hervor, die dies ermöglichen:

Das "Tail-Averaged Weight" (Schwanz-gemittelte Gewicht): Wenn sich das Modell verschiebt, ist das "Gewicht" für die 0- und 100-Grenzen nicht nur ein einfaches Verhältnis. Es ist der Durchschnitt aller verborgenen, zusammengedrückten Daten hinter diesen Grenzen. Das Paper hat herausgefunden, wie man diesen Durchschnitt mathematisch berechnet, ohne die verborgenen Daten sehen zu müssen.
Die "Dreiteilige Formel": Sie haben eine spezielle Formel (einen "Normalisierer") hergeleitet, die aus drei Teilen besteht: einer für die linke Grenze, einer für die rechte Grenze und einer für die Mitte. Dies ermöglicht es dem Computer, das korrekte Sicherheitsnetz sofort zu berechnen, ohne langsame, unordentliche Simulationen.

4. Was sie herausgefunden haben (Die Experimente)

Die Autoren testeten dies mit Computersimulationen:

Genauigkeit: Ihre Methode hat den wahren Wert erfolgreich 90 % der Zeit eingefangen (wie versprochen), selbst wenn die Daten stark abgeschnitten waren und sich das Wetter geändert hatte.
Effizienz: Ihre Sicherheitsnetze waren viel kleiner (enger) als die anderer Methoden. Andere Methoden waren so sehr darauf bedacht, nicht falsch zu liegen, dass sie riesige, nutzlose Bereiche angaben (z. B. "Es liegt zwischen -50 und 150"). Die neue Methode sagte: "Es ist entweder 0, 100 oder zwischen 18 und 22", was viel nützlicher ist.
Der Kompromiss: Manchmal ist die Methode sehr gut darin, die "0"-Fälle einzufangen, aber etwas weniger präzise für die mittleren Zahlen, oder umgekehrt. Aber insgesamt balanciert sie das Risiko perfekt aus.

Zusammenfassung in einem Satz

Dieses Paper lehrt uns, wie wir ein intelligentes, anpassbares Sicherheitsnetz für Vorhersagen bauen, wenn unsere Messwerkzeuge oben und unten abgeschnitten sind und sich die Welt, die wir vorhersagen, plötzlich verändert hat, um sicherzustellen, dass wir eine enge, genaue Antwort erhalten, die die Möglichkeit von "abgeschnittenen" Extremen berücksichtigt.

Technisches Resümee: Konforme Bayes-Verfahren für zwei-seitig zensierte Gaußsche Regression unter Label Shift

1. Problemstellung

Die Arbeit adressiert die Herausforderung, valide Vorhersagesets für Regressionsaufgaben zu konstruieren, bei denen die Antwortvariable einer zwei-seitigen Zensierung und einem Label Shift unterliegt.

Zwei-seitige Zensierung: Latente kontinuierliche Antworten $Y^*$ werden als $\tilde{Y} = T(Y^*)$ beobachtet, wobei Werte unter einem unteren Limit $L$ als $L$ und Werte über einem oberen Limit $U$ als $U$ aufgezeichnet werden. Werte innerhalb von $(L, U)$ werden exakt beobachtet. Dies erzeugt einen gemischten Beobachtungsraum $\{L\} \cup (L, U) \cup \{U\}$ mit Punktmassen (Atomen) an den Grenzen und einer kontinuierlichen Dichte im Inneren.
Label Shift: Die Randverteilung der Antwort verändert sich zwischen dem Trainings- (Source) und dem Einsatz- (Target) Environment.
Die Kernschwierigkeit: Die Standard-Konforme-Prädiktion setzt kontinuierliche Antworten voraus. In diesem Szenario ist die beobachtete Verteilung eine Mischung aus diskreten Atomen und kontinuierlicher Dichte. Zudem induziert ein latenter Label Shift (ein exponentieller Tilt auf dem unobservierten $Y^*$ ) keine einfache Dichteverhältnisbildung auf der beobachteten zensierten Skala. Stattdessen induziert der Shift schwanzgemittelte Gewichte an den Randatomen und ein Standard-Dichteverhältnis im Inneren. Diese Diskrepanz erschwert sowohl die Kalibrierung der Abdeckung (Coverage) als auch die Geometrie der Vorhersagesets.

2. Methodik

Die vorgeschlagene Methode, Weighted Tilted Conformal Bayes (WT), kombiniert bayessche prädiktive Modellierung mit gewichteter konformer Kalibrierung auf dem beobachteten gemischten Raum.

A. Bayesscher Prädiktionskopf
Die Autoren verwenden ein zwei-seitiges Tobit-Gauß-Modell mit einer Laplace-Posterior-Approximation.

Latentes Modell: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$ .
Posterior: Approximiert als $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ mittels Laplace-Approximation am MAP.
Prädiktive Verteilung: Die resultierende prädiktive Verteilung für das beobachtete $\tilde{Y}$ ist ein gemessenes Maß:
$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$
wobei $\pi_L, \pi_U$ die zensierten Tail-Wahrscheinlichkeiten sind und $f_s$ die innere Gauß-Dichte darstellt.

B. Gewichte im gemischten Raum
Um den Label Shift zu korrigieren, definiert die Methode ein Gewicht im gemischten Raum $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$ .

Inneres ( $L < \tilde{y} < U$ ): Das Gewicht ist ein gewöhnliches Dichteverhältnis, modelliert als exponentieller Tilt $w(\tilde{y}) \propto \exp(\beta \tilde{y})$ .
Atome ( $\tilde{y} = L$ oder $U$ ): Das Gewicht ist das Verhältnis der marginalen Zensierungswahrscheinlichkeiten ( $\rho_{t,L}/\rho_{s,L}$ und $\rho_{t,U}/\rho_{s,U}$ ).
Zentrale Erkenntnis: Ein latenter exponentieller Tilt induziert schwanzgemittelte Atomgewichte, die im Allgemeinen eingababhängig sind. Der praktische Algorithmus approximiert diese durch skalare marginale Verhältnisse, eine Unterscheidung, die das Paper explizit als Quelle des Approximationsfehlers hervorhebt.

C. Prädiktives Tilting und Kalibrierung
Die Methode unterscheidet zwischen dem Score (bestimmt die Set-Geometrie) und dem Gewicht (bestimmt die Kalibrierungsvalidität).

Getiltes prädiktives Modell: Die Source-prädiktive Verteilung wird durch das beobachtete Label-Verhältnis getilt, um die Target-Verteilung abzugleichen:
$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$
Dies ergibt eine neue gemischte Verteilung mit einem dreigliedrigen geschlossenen Normalisierungsfaktor $Z(x)$ , der sowohl das innere Mittel als auch die Atommassen anpasst.
Score: Der konforme Score ist die negative Log-Dichte der getilten prädiktiven Verteilung: $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$ .
Kalibrierung: Ein gewichtetes konformes Quantil wird unter Verwendung der Source-Daten berechnet, wobei jede Stichprobe mit dem marginalen beobachteten Raum-Verhältnis $w(\tilde{y})$ gewichtet wird.

D. Vorhersagesets (Mixed-HDR)
Das resultierende Vorhersageset ist ein Mixed Highest Density Region (HDR). Es ist definiert als das Level-Set der getilten gemischten Dichte:
$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$
Aufgrund des gemischten Maßes kann dieses Set drei Formen annehmen:

Ein inneres Intervall $[y_\ell, y_u]$ .
Ein inneres Intervall, vereinigt mit einem oder beiden Randatomen (z. B. $\{L\} \cup [y_\ell, y_u]$ ).
Ein reines Atom-Set (z. B. $\{U\}$ ) unter starker Zensierung oder extremem Shift.

3. Hauptbeiträge

Das Paper leistet vier primäre technische Beiträge:

Geschlossener getilter Normalisierungsfaktor: Ableitung der Source- und getilten prädiktiven Verteilungen für ein zwei-seitiges Tobit-Modell mit Laplace-Approximation. Der getilte Normalisierungsfaktor zerlegt sich in linkes-Atom, Inneres und rechtes-Atom, was die exakte Berechnung des gemischten prädiktiven Gesetzes ermöglicht.
Charakterisierung des Latent-zu-Observed-Shifts: Identifikation, dass ein latenter Label Shift nicht auf ein einzelnes Dichteverhältnis auf der beobachteten Skala abbildet. Stattdessen erzeugt er ein gemischtes Gewicht, bei dem die Atomkomponenten schwanzgemittelte Verhältnisse sind und das Innere ein Dichteverhältnis darstellt. Das Paper unterscheidet explizit zwischen dem exakten latenten Pushforward und der praktischen marginalen Approximation.
Mixed-HDR-Geometrie: Charakterisierung der Vorhersagesets im zensierten Raum. Die Sets sind Vereinigungen von optionalen Randatomen und einem einzelnen inneren Intervall. Das Paper beweist, dass disjunkte Sets (z. B. $\{L\} \cup \{U\}$ mit einer Lücke) unter dem Gaußschen Prädiktionskopf nicht generisch sind.
Methoden-Hierarchie und Effizienz: Vergleich von drei Kalibrierungskonfigurationen:
- UT (Unweighted Tilted): Verwendet getilte Scores, aber keine Gewichte (fehlkalibriert unter Shift).
- WS (Weighted Source): Verwendet Source-Scores mit Gewichten (valide, aber suboptimal in der Geometrie).
- WT (Weighted Tilted): Verwendet getilte Scores mit Gewichten (valide und effizient).
  Die Analyse zeigt, dass WT die marginale Abdeckung wiederherstellt und gleichzeitig die Set-Größe im Vergleich zu WS signifikant reduziert.

4. Experimentelle Ergebnisse

Synthetische Experimente an einem latenten Gaußschen Regressionsmodell mit zwei-seitiger Zensierung zeigen:

Coverage-Validität: Die exakte kandidaten-gewichtete WT-Regel erreicht die nominelle marginale Abdeckung (z. B. 90 %) unter Label Shift, während ungewichtete Methoden (UT) je nach Shift-Richtung entweder über- oder unterabdecken.
Effizienz: WT produziert signifikant kleinere Vorhersagesets als WS. Für einen Shift-Parameter $\beta=1.2$ reduzierte sich die mittlere Set-Größe von 2.894 (WS) auf 1.740 (WT), was einer Reduktion um ~40 % entspricht.
Approximationslücke: Schätzer, die die Residuenvarianz ignorieren (Punkt-Pseudo-Labels), leiden unter Varianzkompression, was zu abgeschwächten Tilt-Schätzungen und übergroßen Sets führt. Tilted Predictive Sampling erweist sich als das prinzipielle Standardverfahren zur Schätzung des Tilt-Parameters $\beta$ , da es die notwendige Varianz wiederherstellt.
Geometrie-Adaption: Mit zunehmender Zensierungsintensität gehen die Vorhersagesets von inneren Intervallen zu Sets über, die von Randatomen dominiert werden. Unter starker Zensierung kollabieren die Sets oft zu einzelnen Atomen (z. B. $\{U\}$ ), was die Unsicherheit korrekt widerspiegelt, dass der wahre Wert jenseits der Detektionsgrenze liegt.
Dichteverhältnis-Schätzung: Schätzer, die die Residuenvarianz ignorieren (Punkt-Pseudo-Labels), leiden unter Varianzkompression, was zu abgeschwächten Tilt-Schätzungen und übergroßen Sets führt. Tilted predictive sampling ist gezeigt worden als das prinzipielle Standardverfahren zur Schätzung des Tilt-Parameters $\beta$ , welches die notwendige Varianz wiederherstellt.

5. Bedeutung und Ansprüche

Das Paper beansprucht, einen rigorosen Rahmen für die konforme Prädiktion in Settings zu bieten, in denen Antworten zensiert sind und Verteilungen driften.

Theoretische Trennung: Es trennt sauber zwischen Validität (garantiert durch die gemischte Raum-Wichtigkeit und gewichtete Kalibrierung) und Effizienz (garantiert durch den getilten Score und die Mixed-HDR-Geometrie).
Neuheit der Zensierung: Die Arbeit betont, dass zensierter Label Shift nicht bloß eine notational variante der kontinuierlichen Verschiebung ist. Die "Latent-zu-Mixed"-Transformation erzeugt einzigartige technische Subtilitäten, insbesondere die schwanzgemittelte Natur der Atomgewichte und die daraus resultierende Mixed-HDR-Geometrie.
Praktischer Nutzen: Die Methode bietet eine rechnerisch handhabbare Lösung (geschlossene Ausdrücke), die sich an das spezifische Zensierungsszenario anpasst und die Ineffizienz vermeidet, zensierte Grenzen als gewöhnliche numerische Werte zu behandeln.

Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit von der Laplace-Approximation und der Annahme Gaußscher latenter Fehler, und identifizieren zukünftige Arbeiten in nicht-Gaußschen Likelihoods und realen molekularen Datenanwendungen.