📊 statistics

Generalized Conformal Predictive Systems Under Distributional Shifts

Diese Arbeit erweitert generalisierte konforme prädiktive Systeme auf nicht-austauschbare Settings, indem sie beobachtungsspezifische Permutationsgewichte und Gewicht-Unsicherheitsboxen integriert, um valide, verschiebungssensible prädiktive Bänder mit Finite-Sample- oder asymptotischen Garantien unter Verteilungsverschiebungen bereitzustellen.

Ursprüngliche Autoren: Jef Jonkers, Johanna Ziegel

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jef Jonkers, Johanna Ziegel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wetterprognostiker. Ihr Job besteht nicht nur darin zu sagen: „Morgen wird es regnen“, sondern eher: „Ich bin mir zu 90 % sicher, dass es regnen wird, und hier ist der Bereich der Möglichkeiten.“ In der Welt des maschinellen Lernens nennt man dies Unsicherheitsschätzung (Uncertainty Quantification). Sie möchten, dass Ihre Vorhersagen „kalibriert“ sind, was bedeutet, dass es tatsächlich in 90 % der Fälle regnen sollte, wenn Sie eine Regenwahrscheinlichkeit von 90 % angeben.

Lange Zeit war ein beliebtes Werkzeug namens Conformal Predictive Systems (CPS) der Goldstandard. Es funktioniert wie ein Sicherheitsnetz: Es liefert Ihnen ein „Band“ möglicher Ergebnisse (eine untere und eine obere Grenze), das die Wahrheit mathematisch garantiert enthält – aber nur dann, wenn die vergangenen Daten exakt so aussehen wie die zukünftigen Daten.

Das Problem: Das „Neue-Welt“-Szenario
Die Arbeit befasst sich mit einem schwerwiegenden Mangel dieses Sicherheitsnetzes: dem Verteilungswandel (Distributional Shift).

Stellen Sie sich vor, Sie haben Ihr Wettermodell mit Daten aus einem sonnigen Sommer in Kalifornien trainiert. Nun versuchen Sie, das Wetter in einem regnerischen Winter in London vorherzusagen. Die Daten haben sich verschoben. Die Regeln haben sich geändert. Wenn Sie das alte Sicherheitsnetz verwenden, wird es versagen, da es davon ausgeht, dass die Vergangenheit (Kalifornien) und die Zukunft (London) austauschbar sind. In der Realität sind sie das nicht.

Die Lösung: Gewichtete Lose und Unsicherheitsschachteln
Die Autoren Jef Jonkers und Johanna Ziel propose eine Methode, um dieses Sicherheitsnetz zu reparieren, damit es auch dann funktioniert, wenn sich die Welt verändert. Sie gehen dabei in zwei klugen Schritten vor:

1. Die gewichtete Lotterie (Permutationsgewichte)

Stellen Sie sich Ihre Trainingsdaten wie eine Tüte voller Murmeln vor. Bei der alten Methode hatte jedes Murmel die gleiche Chance, das „zukünftige“ Murmel zu sein. Aber wenn sich die Welt verändert, sind einige Murmeln wahrscheinlicher als andere die Repräsentanten der Zukunft.

Die Autoren führen Gewichte ein.

Wenn ein Murmel (ein Datenpunkt) so aussieht, als gehöre es in das neue, regnerische London, erhält es ein hohes Gewicht (ein großes Los in der Lotterie).
Wenn ein Murmel so aussieht, als gehöre es in das sonnige Kalifornien, erhält es ein geringes Gewicht (ein winziges Los).

Durch diese gewichteten Lose kann das System die Tüte „neu ausbalancieren“, sodass die vergangenen Daten die zukünftigen Daten effektiv nachahmen. Dies ermöglicht es dem Sicherheitsnetz, sich auszudehnen, um die neue Realität abzudecken.

2. Die Unsicherheitsschachtel (Wenn wir die Gewichte nicht kennen)

Hier liegt der knifflige Teil: In der realen Welt kennen wir die exakten Gewichte selten. Wir müssen sie schätzen.

Analogie: Stellen Sie sich vor, Sie versuchen, das Gewicht eines Loses zu erraten, aber Ihre Waage ist ein wenig wackelig. Sie raten vielleicht, dass ein Los „10 Gramm“ wiegt, aber es könnte eigentlich irgendwo zwischen 8 und 12 Gramm liegen.

Die Autoren führen das Konzept der Gewichts-Unsicherheitsschachteln (Weight-Uncertainty Boxes) ein. Anstatt einem einzelnen Tipp zu vertrauen, erstellen sie eine „Schachtel“ von Möglichkeiten um diesen Tipp herum.

Sie fragen: „Was, wenn das Gewicht am ganz unteren Ende der Schachtel liegt? Was, wenn es am ganz oberen Ende liegt?“
Sie bauen dann ein Super-Sicherheitsnetz, das alle Möglichkeiten innerhalb dieser Schachtel abdeckt.

Dies macht das System robust. Wenn Ihre Schätzung über den Shift leicht falsch war, ist das Sicherheitsnetz immer noch weit genug, um die Wahrheit einzufangen. Die „Dicke“ dieses Netzes sagt Ihnen, wie unsicher Sie sein sollten. Ein dünnes Netz bedeutet, dass Sie zuversichtlich sind; ein dickes Netz bedeutet, dass sich die Daten wild verschieben und Sie vorsichtig sein sollten.

Wie es in der Praxis funktioniert

Die Arbeit testet dies auf drei verschiedenen Arten von „Prognostikern“:

Binning: Gruppierung von Daten in Eimer (Buckets).
Conformal Scores: Ranking, wie „seltsam“ ein neuer Datenpunkt im Vergleich zu den alten ist.
Isotonische Regression: Eine Methode zur glatten Kurvenanpassung.

Sie haben dies in zwei Szenarien getestet:

Synthetische Daten: Eine Computersimulation, in der sie die Daten künstlich verschoben haben, um zu sehen, ob die Mathematik standhält.
Reale Biologie: Eine Studie über AAV-Viren (verwendet für Gentherapie). In diesem Experiment entwerfen Wissenschaftler neue Virussequenzen, die besser darin sind, Material zu verpacken. Der Prozess der Auswahl der „besten“ Sequenzen verändert jedoch die Datenverteilung (eine Feedbackschleife). Die alten Methoden scheiterten daran, die Ergebnisse in dieser neuen Umgebung genau vorherzusagen, aber die gewichtete Methode der Autoren konnte die Vorhersagen erfolgreich rekalibrieren und sicherstellen, dass das Sicherheitsnetz hielt.

Das Fazit

Die Arbeit sagt nicht nur „wir haben die Mathematik repariert“. Sie zeigt auf:

Wenn sich die Daten verschieben, werden Standardmethoden übermäßig selbstbewusst und liegen falsch.
Durch die Verwendung von gewichteten Losen können Sie das Sicherheitsnetz an die neue Welt anpassen.
Durch die Verwendung von Unsicherheitsschachteln können Sie berücksichtigen, dass Ihre Gewichte nur Schätzungen sind, wodurch Sie sicherstellen, dass Sie Ihr Sicherheitsnetz selbst dann nicht verlieren, wenn Ihre Schätzungen unvollkommen sind.
Das Ergebnis ist ein System, das breiter wird (unsicherer), wenn der Shift stark ist, und enger wird (präziser), wenn Sie mehr Daten haben, was Ihnen ein ehrliches Maß dafür gibt, wie sehr Sie Ihrer Vorhersage vertrauen können.

Kurz gesagt: Sie haben ein smartes, anpassungsfähiges Sicherheitsnetz gebaut, das weiß, wenn sich der Boden unter ihm bewegt hat, und das sicherstellt, dass maschinelle Lernvorhersagen auch in einer sich verändernden Welt vertrauenswürdig bleiben.

Technisches Resümee: Generalisierte konforme prädiktive Systeme unter Verteilungsverschiebungen

1. Problemstellung

Maschinelle Lernsysteme, die in Entscheidungskontexten eingesetzt werden, erfordern neben genauen Punktprognosen auch statistisch zuverlässige Unsicherheitsquantifizierungen. Insbesondere müssen prädiktive Verteilungen kalibriert sein, was bedeutet, dass vorhergesagte Wahrscheinlichkeiten den empirischen Häufigkeiten entsprechen sollten und Prädiktionsintervalle die Zielabdeckung erreichen müssen.

Ein primäres Hindernis für eine Out-of-Sample-Kalibrierung ist die Verteilungsverschiebung (Distributional Shift). Klassische Verfahren der konformen Prädiktion beruhen auf der Annahme der Austauschbarkeit (dass Datenpunkte identisch verteilt und ordnungsunabhängig sind). Diese Annahme wird in der Praxis regelmäßig verletzt durch:

Kovariatenverschiebung (Änderungen in der Eingangsverteilung).
Label-Verschiebung (Label Shift).
Temporale Drift.
Adaptive oder feedbackgesteuerte Datenerhebung (z. B. in der biomolekularen Gestaltung).

Während vorangegangene Arbeiten die Konformen Prädiktiven Systeme (CPS) auf spezifische Shift-Regime ausgeweitet haben (z. B. bekannte Kovariatenverschiebung via Likelihood-Verhältnissen), fehlte ein allgemeines Framework für Generalisierte Konforme Prädiktive Systeme (GCPS), das beliebige Verteilungsverschiebungen handhabt und gleichzeitig die Unsicherheit bei der Schätzung der Shift-Gewichte berücksichtigt. Die zentrale Herausforderung besteht darin, prädiktive Hüllen (Mengen von kumulativen Verteilungsfunktionen, CDFs) zu konstruieren, die auch dann valide und kalibriert bleiben, wenn der Testpunkt aus einer anderen Verteilung als die Trainingsdaten gezogen wird und wenn die Gewichte, die diese Verschiebung korrigieren, geschätzt statt bekannt sind.

2. Methodik

2.1. Theoretischer Rahmen: Permutationsgewichte

Die Autoren erweitern GCPS für nicht-austauschbare Settings, indem sie Ordnungs-Effekte durch Permutationsgewichte modellieren. Anstatt anzunehmen, dass der Testpunkt $Z_{n+1}$ austauschbar mit dem Trainingssatz $\{Z_1, \dots, Z_n\}$ ist, modelliert die Methode die Identität des Testpunkts innerhalb dieser Atome als gewichtete Ziehung mit Wahrscheinlichkeiten $w_i$ .

Gewichtetes empirisches Gesetz: Für einen Kandidaten-Reaktionswert $y'$ konstruiert die Methode ein gewichtetes beobachtetes Maß $\mu_{obs}$ und ein hypothetisches vollständiges Maß $\tilde{\mu}$ , welches den Testpunkt mit seinem realisierten Gewicht $w_{n+1}$ enthält.
Shift-bewusste Hüllen: Ein prädiktives System wird konstruiert, indem der Test-Atom mit seinem spezifischen Gewicht in den Kalibrierungssatz eingefügt wird. Theorem 1 stellt fest, dass, falls das zugrunde liegende distributive Regressionsverfahren $G$ in-sample kalibriert ist (probabilistisch, isotonisch oder auto-kalibriert), das resultierende prädiktive System $\Pi[X_{n+1}]$ eine kalibrierte prädiktive CDF für $Y_{n+1}$ unter dem wahren (potenziell nicht-austauschbaren) Gesetz enthält.

2.2. Handhabung von Gewichtunsicherheit

In der Praxis sind Shift-Gewichte selten bekannt und müssen geschätzt werden (z. B. via Dichteverhältnissen), was epistemische Unsicherheit einführt. Um dies zu adressieren, führen die Autoren Gewichtunsicherheits-Boxen ein:

Definition: Eine koordinatenweise multiplikative Schranke um die geschätzten Gewichte $\hat{w}_i$ , definiert als $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$ .
Konfidenzregion: Diese Box $WWU_\alpha$ wird als $(1-\alpha)$ -Konfidenzregion für die wahren Gewichte behandelt.
Robuste Hüllen: Die Methode konstruiert gewichtungsrobuste CDF-Hüllen, indem sie die Grenzen des prädiktiven Systems über alle Gewichtvektoren innerhalb der Unsicherheitsbox optimiert. Dies ergibt eine Menge von CDFs, die mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ eine kalibrierte Verteilung enthält, selbst wenn die Gewichte innerhalb der Box misspezifiziert sind.

2.3. Effiziente Berechnung

Das Paper leitet effiziente Berechnungsregeln für drei spezifische Instanzen von $G$ her, um eine naive Suche über alle Kandidaten- $y'$ -Werte zu vermeiden:

Konforme Binning (CBIN): Verwendet gewichtete empirische CDFs innerhalb von Bins. Die robusten Hüllen besitzen geschlossene Ausdrücke, die durch das Verschieben von Atomen mit $Y_i \leq y$ zu ihren oberen Gewichtsgrenzen und jener mit $Y_i > y$ zu ihren unteren Grenzen entstehen.
Conformity-Measure CPS (CMCPS): Wendet dieselbe Logik wie CBIN an, operiert jedoch auf Konformitätswerten statt auf Rohwerten.
Konforme Isotonische Distributive Regression (CIDR): Verwendet antitonische Regression. Die robusten Hüllen werden berechnet, indem die isotonische Regressionsroutine (PAVA) zweimal ausgeführt wird: einmal mit den Gewichten auf ihren oberen Grenzen und einmal auf den unteren Grenzen, abhängig von den Indikatorwerten.

3. Kernbeiträge

Das Paper leistet drei primäre Beiträge:

Erweiterung auf Nicht-Austauschbarkeit: Es erweitert GCPS auf nicht-austauschbare Sequenzen, indem es Abweichungen von der Austauschbarkeit über Permutationsgewichte kodiert und so shift-bewusste prädiktive Hüllen konstruiert, die unter beliebigen Verteilungsverschiebungen valide bleiben.
Robustheit gegenüber Gewichtunsicherheit: Es entwickelt robuste prädiktive Systeme basierend auf Gewichtunsicherheits-Boxen. Diese bieten Finite-Sample- oder asymptotische Konfidenzgarantien, dass die Hülle eine kalibrierte prädiktive CDF enthält; die Dicke der Hülle reflektiert dabei sowohl die Finite-Sample-Unsicherheit als auch die Misspezifikation der Gewichte.
Effiziente Algorithmen und empirische Validierung: Es liefert effiziente Evaluierungsregeln und geschlossene Formen für CBIN, CMCPS und CIDR. Es zeigt empirisch, dass shift-bewusste Gewichtung die prädiktive Leistung verbessert und die Kalibrierung unter Feedback-Kovariatenverschiebung bewahrt, während die Bandbreite die epistemische Unsicherheit effektiv quantifiziert.

4. Experimentelle Ergebnisse

4.1. Synthetische Kovariatenverschiebung

Experimente wurden für eine 5D-Regressionsaufgabe mit Kovariatenverschiebung durchgeführt.

Kalibrierung: Ungewichtete Methoden unterschätzten die Abdeckung signifikant (Coverage $\approx 0,83\text{--}0,88$ vs. nominal $0,90$).
Gewichtete Methoden: Oracle- und geschätzte Gewichtung stellten die Abdeckung nahe an das nominale Niveau wieder ( $\approx 0,91\text{--}0,93$ ).
Unsicherheitspropagierung: Die "Estimated CI weighting" (unter Verwendung der Unsicherheitsbox) war am konservativsten und erreichte eine Abdeckung von bis zu $\approx 0,97$ . Dies ging einher mit einem etwas höheren CRPS (Continuous Ranked Probability Score) und breiteren Bändern, was die zusätzliche epistemische Unsicherheit durch die Gewichtsschätzung korrekt widerspiegelt.
Stichprobengröße: Mit zunehmender Größe der Trainings- und Kalibrierungssamples verengten sich die konformen Bänder, was auf eine reduzierte epistemische Unsicherheit hindeutet.

4.2. Feedback-gesteuerte biomolekulare Gestaltung (AAV-Kapside)

Die Methode wurde auf das Packaging-Design von Adeno-assoziierter Virus (AAV)-Kapsiden angewendet, ein Szenario, das Feedback-Kovariatenverschiebung (FCS) beinhaltet, bei dem Testverteilungen basierend auf Modellprognosen gestaltet werden.

Setup: Testverteilungen wurden mit variierenden "Inversen Temperatur"-Parametern ( $\lambda$ ) generiert, wobei die Masse hin zu Sequenzen mit hoher vorhergesagter Packaging-Fitness verschoben wurde.
Performance: Die Bedeutungsgewichtung (Importance Weighting) stellte im Vergleich zu ungewichteten Varianten eine nahezu nominale Abdeckung über den gesamten Bereich der Verschiebungen wieder her.
Extreme Verschiebungen: Bei der extremsten Verschiebung ( $\lambda=7$ ) zeigten gewichtete Methoden einen leicht schlechteren CRPS und breitere Bänder, was konsistent mit einem Kollaps der effektiven Stichprobengröße und erhöhter epistemischer Unsicherheit ist.
Zuverlässigkeit: Gewichtete Verfahren behielten eine gute Kalibrierung für seltene, hochwertige Ergebnisse (Extremereignisse) bei, was ihren Nutzen in Hochrisiko-Designsettings bestätigt.

5. Signifikanz und Ansprüche

Das Paper beansprucht, die erste Out-of-Sample-Kalibrierungsgarantie für Venn-Abers-artige Prädiktoren (ein Spezialfall von konforem IDR) unter Verteilungsverschiebungen und Gewichtunsicherheit innerhalb eines vereinheitlichten prädiktiven System-Frameworks etabliert zu haben.

Die Autoren betonen, dass die Breite des prädiktiven Bandes eine informative Metrik der epistemischen Unsicherheit ist. In ihrem shift-bewussten Setting erfasst die Bandbreite sowohl die Unsicherheit beim Erlernen der bedingten Verteilung $Y|X$ als auch die Unsicherheit bei der Schätzung der Shift-Gewichte. Dies ermöglicht es Praktikern:

Eine einzige repräsentative Prognose für den Routinegebrauch zu melden.
Gleichzeitig band-implizierte Schranken für entscheidungsrelevante Größen (z. B. Tail-Risiken) zu melden, um sicherzustellen, dass Entscheidungen robust gegenüber epistemischer Unsicherheit sind.

Die Arbeit positioniert GCPS nicht bloß als Wrapper für Konformitätswerte, sondern als flexibles Kalibrierungsframework, das jede in-sample kalibrierte distributive Regressionsprozedur umschließen kann und deren Validität weit über die Annahme der Austauschbarkeit hinaus erweitert.

6. Limitationen

Die Autoren nennen zwei spezifische Einschränkungen:

Gemeinsame Konfidenzregionen: Theorem 2 setzt voraus, dass die Gewichtunsicherheits-Box eine gültige gemeinsame Konfidenzregion für die wahren Gewichte darstellt. In den Experimenten wurde diese asymptotisch über ein angepasstes Propensity-Modell konstruiert.
Feste aktive Mengen: Die geschlossenen Formen für die Hüllen von CBIN und CIDR setzen voraus, dass die aktive Menge (für Binning) oder die Ordnung (für IDR) über die gesamte Unsicherheitsbox hinweg fixiert bleibt. Dies schränkt die Wahl von Binning und Ordnung auf jene ein, die vor der Gewichtung definiert wurden.