🤖 machine learning

Robust Conditional Conformal Prediction via Branched Normalizing Flow

Dieser Beitrag stellt den Branched Normalizing Flow (BNF) vor, eine neuartige Methode, die invertierbaren Transport nutzt, um bedingte Abdeckungfehler in der konformen Vorhersage unter Verteilungsverschiebung zu begrenzen und zu mildern und dadurch die Robustheit über diverse Datensätze hinweg erheblich zu verbessern.

Ursprüngliche Autoren: Rui Xu, Xingyuan Chen, Wenxing Huang, Minxuan Huang, Weiyan Chen, Sihong Xie, Hui Xiong

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rui Xu, Xingyuan Chen, Wenxing Huang, Minxuan Huang, Weiyan Chen, Sihong Xie, Hui Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Wettervorhersager. Sie möchten den Menschen nicht nur sagen „Es wird morgen regnen", sondern „Es wird zwischen 1 und 3 Zoll Regen fallen". Dieser Bereich ist Ihre Vorhersagemenge.

In der Welt der KI nennt man dies Konforme Vorhersage (Conformal Prediction, CP). Ihre Hauptaufgabe besteht darin, zu garantieren, dass die tatsächliche Regenmenge zu einem bestimmten Prozentsatz (sagen wir, 90 % der Zeit) innerhalb Ihres vorhergesagten Bereichs liegt.

Das Problem: Der „immer gleiche" Fehler

Normalerweise werden KI-Modelle mit „Kalibrierungsdaten" (vergangenes Wetter) trainiert und mit „Testdaten" (zukünftiges Wetter) getestet. Die Standardmethode funktioniert hervorragend, wenn die Zukunft genau wie die Vergangenheit aussieht.

Aber was, wenn sich das Klima ändert? Was, wenn die „Test"-Tage plötzlich viel heißer oder windiger sind als die „Kalibrierungs"-Tage? Dies nennt man Verteilungsverschiebung (distribution shift).

Bestehende Methoden versuchen, dies zu beheben, indem sie den durchschnittlichen Fehler betrachten. Sie sagen: „Im Durchschnitt gilt unsere 90%-Garantie." Aber das ist so, als würde man sagen: „Im Durchschnitt schützt mich mein Regenschirm vor Regen." Es hilft nicht, wenn Sie an einem bestimmten Ort stehen, wo der Regen schräg herabströmt und Ihr Schirm zu klein ist.

Die Arbeit weist darauf hin, dass die durchschnittliche Garantie zwar noch gelten mag, die Garantie jedoch für spezifische, schwierige Situationen versagt. Wenn die KI bei einer bestimmten Art von Tag (z. B. einer plötzlichen Hitzewelle) unsicher ist, könnte sie einen Vorhersagebereich angeben, der viel zu klein ist und die tatsächliche Antwort verfehlt.

Die Lösung: Der „Formwandelnde Übersetzer"

Die Autoren schlagen eine neue Methode vor, die Branched Normalizing Flow (BNF) genannt wird, speziell eine augmentierte Version.

Stellen Sie sich den Vorhersageprozess der KI als Fließband in einer Fabrik vor:

Der Input: Ein neuer, seltsamer Wettertag trifft ein (die Testdaten).
Das Problem: Dieser Tag sieht gar nicht aus wie die Tage, auf denen die Fabrik trainiert wurde. Wenn wir direkt vorhersagen, gerät die Fabrik in Verwirrung und liefert einen schlechten Bereich.
Der Übersetzer (BNF): Bevor die Fabrik den neuen Tag sieht, agiert die BNF als formwandelnder Übersetzer. Sie nimmt diesen seltsamen, neuen Tag und verformt ihn mathematisch so, dass er genau wie die alten, vertrauten Tage aussieht, die die Fabrik kennt.
- Analogie: Stellen Sie sich vor, Sie versuchen, einen quadratischen Pfosten in ein rundes Loch zu stecken. Statt den Pfosten zu erzwingen, haben Sie ein magisches Werkzeug, das den quadratischen Pfosten vorübergehend in einen runden verwandelt, damit er perfekt passt.
Die Vorhersage: Da der Tag für die Fabrik nun „normal" aussieht, generiert die Fabrik einen Vorhersagebereich, der garantiert korrekt ist (90 % Abdeckung), da sie mit vertrauten Daten arbeitet.
Der umgekehrte Übersetzer: Hier kommt der magische Trick. Die BNF ist invertierbar. Sobald die Fabrik den „normalen" Vorhersagebereich liefert, verwendet die BNF ihr „magisches Werkzeug" rückwärts, um diesen Bereich zurückzuverformen, damit er zum ursprünglichen, seltsamen Wettertag passt.

Da das Werkzeug reversibel und sorgfältig konstruiert ist, ist der endgültige Vorhersagebereich für den seltsamen Tag genauso zuverlässig wie der für den normalen Tag.

Warum „Branched" (Verzweigt) und „Augmented" (Augmentiert)?

Die Arbeit führt zwei spezielle Merkmale ein, um dies zu ermöglichen:

Die Verzweigungen: Der Übersetzer hat zwei separate Arme. Ein Arm verarbeitet die Merkmale (Temperatur, Wind usw.), der andere das Ergebnis (die Regenmenge).
- Warum? Wenn Sie eine Vorhersage für morgen treffen, kennen Sie die Temperatur (Merkmale), aber Sie kennen den Regen (Ergebnis) noch nicht. Das „Verzweigungs"-Design ermöglicht es dem Übersetzer, die Merkmale zu korrigieren, ohne die Antwort im Voraus zu kennen. Es ist wie das Justieren der Linse einer Kamera, bevor Sie das Foto machen, ohne zu wissen, wie das Foto aussehen wird.
Die Augmentation (Die „Rauschen"-Zutat): Die ursprüngliche Idee war etwas zu starr. Um den Übersetzer flexibel genug zu machen, um komplexe, chaotische Realweltdaten zu bewältigen, fügen die Autoren eine Prise zufälliges Rauschen hinzu (wie das Hinzufügen von etwas Salz in ein Rezept).
- Analogie: Stellen Sie sich vor, Sie versuchen, zwei sehr unterschiedliche Ton-Skulpturen anzupassen. Wenn Sie den Ton einfach dehnen, könnte er reißen. Aber wenn Sie ein wenig „magischen Staub" (Rauschen) hinzufügen, der den Ton fließfähiger macht, können Sie ihn perfekt umformen, ohne ihn zu brechen. Dieses Rauschen hilft dem Modell, komplexe Formen zu lernen, die ein starreres Modell nicht bewältigen könnte.

Die Ergebnisse

Das Team testete dies in neun verschiedenen realen Szenarien, darunter:

Fahrradverleih: Vorhersage, wie viele Fahrräder Menschen zu verschiedenen Tageszeiten mieten werden.
Verkehr: Vorhersage der Verkehrsgeschwindigkeit in verschiedenen Städten.
Gesundheitswesen: Vorhersage, wie lange ein Patient möglicherweise auf der Intensivstation verbleibt.
Epidemien: Vorhersage von Grippefällen während verschiedener Phasen einer Pandemie.

In all diesen Fällen, in denen sich die Daten „verschoben" (Muster änderten), hielt ihre Methode die Vorhersagebereiche zuverlässig. Sie hielt nicht nur die durchschnittliche Erfolgsrate aufrecht; sie stellte sicher, dass die KI nicht speziell an den schwierigsten, ungewöhnlichsten Tagen versagte.

In Kürze

Die Arbeit sagt: „Vertrauen Sie nicht nur dem Durchschnitt. Wenn Ihre KI mit seltsamen, neuen Situationen konfrontiert wird, geben Sie ihr einen reversiblen Übersetzer, der diese seltsamen Situationen in vertraute verwandeln kann, die Vorhersage trifft und dann die Antwort zurückverwandelt. Dies hält Ihr Sicherheitsnetz stark, selbst wenn sich der Boden unter Ihnen verändert."

Technisches Fazit: Robuste bedingte konforme Vorhersage mittels verzweigter normalisierender Ströme

1. Problemstellung

Die Konforme Vorhersage (Conformal Prediction, CP) liefert Vorhersagemengen mit Garantien für die marginale Abdeckung unter der Annahme, dass Kalibrierungs- und Testdaten unabhängig und identisch verteilt (i.i.d.) sind. Allerdings stimmen bei Vorliegen von Verteilungsverschiebungen (wobei die Testverteilung $Q_{XY}$ von der Kalibrierungsverteilung $P_{XY}$ abweicht) bestehende Methoden typischerweise nur die marginalen Verteilungen der konformen Scores aus. Während dies die marginale Abdeckung erhält, versagt dies bei der Kontrolle des Fehlers der bedingten Abdeckung bei einzelnen Testeingaben. Folglich können CP-Mengen in spezifischen Regionen unzuverlässig werden, in denen die bedingten Score-Verteilungen nicht übereinstimmen, was zu einer Unterabdeckung oder einer übermäßigen Überabdeckung für bestimmte Eingaben führt. Die Kernherausforderung besteht darin, robuste Garantien für die bedingte Abdeckung ( $Pr(Y \in C(X) | X=x) \ge 1-\alpha$ ) unter gemeinsamen Verteilungsverschiebungen sicherzustellen, ohne dass während der Inferenz Kenntnis der wahren Testlabels erforderlich ist.

2. Methodik

Die vorgeschlagene Lösung führt einen theoretischen Rahmen ein, der Verteilungsverschiebungen mit einer Verschlechterung der bedingten Abdeckung verknüpft, sowie eine neuartige Architektur zu deren Minderung.

Theoretischer Rahmen:

Bedingte Abdeckungslücke (Conditional Coverage Gap, CCG): Die Autoren definieren die CCG, um die Diskrepanz zwischen der bedingten Abdeckung eines Testeingangs unter $Q_{XY}$ und der Garantie unter $P_{XY}$ zu messen.
Integrierte Abdeckungslücke (Integrated Coverage Gap, ICG): Definiert als Erwartungswert der CCG über die Test-Feature-Verteilung $Q_X$ , dient sie als ganzheitliche Robustheitsmetrik.
Wasserstein-Schranke: Der Artikel leitet eine obere Schranke für die ICG unter Verwendung des Wasserstein-Abstands ( $W$ ) zwischen den gemeinsamen Kalibrierungs- und Testverteilungen ( $P_{XY}$ und $Q_{XY}$ ) ab. Spezifisch gilt: $ICG(P, Q) \le \sqrt{2\kappa L} (\eta \cdot W(P_{XY}, Q_{XY}) + 1/4)$ . Diese Schranke impliziert, dass die Minimierung des Wasserstein-Abstands zwischen den Verteilungen theoretisch eine robuste bedingte Abdeckung fördern kann.

Algorithmus: Verzweigter normalisierender Strom (Branched Normalizing Flow, BNF)
Um die Wasserstein-Schranke operationalisierbar zu machen, schlagen die Autoren den verzweigten normalisierenden Strom (BNF) vor, eine invertierbare Abbildung $f_\theta(x, y) = (f_{\theta_X}(x), f_{\theta_Y}(y))$ , die so konzipiert ist, die Testverteilung $Q_{XY}$ so zu transformieren, dass sie der Kalibrierungsverteilung $P_{XY}$ entspricht.

Architektur: Der BNF nutzt zwei unabhängige Zweige. Der $X$ -Zweig ( $f_{\theta_X}$ ) normalisiert Testeingaben, während der $Y$ -Zweig ( $f_{\theta_Y}$ ) die Labels transformiert. Entscheidend ist, dass die Zweige keine Parameter teilen, wodurch sichergestellt wird, dass die Transformation von $X$ nicht vom unbeobachteten Testlabel $Y$ abhängt.
Inferenzprozess:
1. Transformation eines Testeingangs $X_{n+1}$ in einen normalisierten Eingangs $\bar{X}_{n+1} = f_{\theta_X}(X_{n+1})$ .
2. Konstruktion einer bedingten Vorhersagemenge $CC(\bar{X}_{n+1})$ unter Verwendung der Kalibrierungsverteilung $P_{XY}$ (z. B. mittels konformalisierter Quantilregression).
3. Rücktransformation der Menge mittels $f_{\theta_Y}^{-1}$ in den Testraum, um die finale robuste Vorhersagemenge $C_{BNF}(X_{n+1})$ zu erhalten.
Erweiterter BNF: Um komplexe Verteilungen zu handhaben, bei denen univariate monotone Transformationen (erforderlich für eine einfache inverse Abbildung) unzureichend sind, führen die Autoren den erweiterten BNF ein. Diese Variante fügt der Transformation des $Y$ -Zweigs eine stochastische Rauschkomponente $\epsilon \sim \mathcal{N}(0,1)$ hinzu ( $f_{\theta_Y}^{aug}(y; \epsilon)$ ). Dies erhöht die Ausdruckskraft, erfordert jedoch während der Inferenz die Lösung eines Nullstellenproblems (oder eine Gittersuche) zur Konstruktion der Vorhersagemenge, da die Transformation nicht mehr strikt monoton ist.
Multi-Source Domain Generalization (MSDG): In Szenarien, in denen die Testverteilung eine Mischung aus $K$ Quellverteilungen ist, minimiert die Methode den durchschnittlichen Wasserstein-Abstand zwischen dem Kalibrierungsdatensatz und den transformierten Quelldatensätzen unter der Annahme gleichmäßiger Mischgewichte.

3. Hauptbeiträge

Quantifizierung der Robustheit: Die Definition der bedingten Abdeckungslücke (CCG) und der integrierten Abdeckungslücke (ICG) bietet eine theoretische Metrik zur Bewertung der Robustheit der bedingten Abdeckung unter Verteilungsverschiebungen.
Theoretische Schranke: Die Herleitung einer oberen Schranke für die ICG in Bezug auf den Wasserstein-Abstand zwischen gemeinsamen Verteilungen, die eine theoretische Verbindung zwischen der Minimierung des Transports und der Erhaltung der bedingten Abdeckung herstellt.
Verzweigter normalisierender Strom (BNF): Die Einführung einer zweizweigigen invertierbaren Architektur, die die Transformation von Testeingaben in eine kalibrierungsähnliche Verteilung ohne Erfordernis von Testlabels ermöglicht und dadurch bei der inversen Transformation bedingte Garantien erhält.
Erweiterter BNF: Eine Erweiterung unter Verwendung stochastischer Augmentierung zur Verbesserung der Anpassungsfähigkeit an komplexe Verteilungen, gekoppelt mit einer Methode zur Wiederherstellung bedingter Garantien trotz des Verlusts der Monotonie.

4. Experimentelle Ergebnisse

Die Methode wurde auf neun Datensätzen evaluiert, die synthetische Verschiebungen und reale Herausforderungen abdecken (Verkaufsvorhersage, Verkehrsprognose, medizinische Entscheidungsfindung und Epidemiemodellierung) im Rahmen von Multi-Source Domain Generalization (MSDG)-Einstellungen.

Metriken: Die Leistung wurde mittels marginaler Abdeckung, Worst-Slice-Abdeckung (WSC) und der vorgeschlagenen Worst-Slice-Abdeckungslücke (WSCG) gemessen, die sowohl Unter- als auch Überabdeckung bestraft.
Ergebnisse:
- Robustheit: Der erweiterte BNF in Kombination mit konformalisierter Quantilregression (CQR) erzielte konsistent die niedrigste WSCG über alle Datensätze und Konfidenzniveaus hinweg und übertraf dabei Baselines wie Split-CP, importance-gewichtete CP, Worst-Case-CP und wasserstein-regularisierte CP.
- Abdeckung: Die Methode hielt die marginale Abdeckung und die WSC nahe dem Zielkonfidenzniveau ( $1-\alpha = 0,9$ ), während sie gleichzeitig die Abweichung vom Ziel in bedingten Slices signifikant reduzierte.
- Effizienz: Während der Standard-Erweiterte BNF größere Vorhersagemengen produzierte, um die Unsicherheit der Quellen zu berücksichtigen, reduzierte eine „Augment-Conditioned"-Variante (die während der Inferenz auf die bekannte Quelle konditioniert) die Mengengröße erheblich, während die Abdeckung erhalten blieb.
- Generalisierung: Die Methode zeigte Robustheit über varying Stichprobengrößen, Anzahl der Quell-Domänen ( $K$ ) und unterschiedliche Konfidenzniveaus hinweg.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass seine primäre Bedeutung in der Adressierung der Verschlechterung der bedingten Abdeckung der Konformen Vorhersage unter Verteilungsverschiebungen liegt, ein Problem, das von bestehenden, auf marginale Aspekte fokussierten Methoden weitgehend unbeachtet bleibt. Durch die Begrenzung der bedingten Invalidität mittels des Wasserstein-Abstands und die Implementierung dieser Begrenzung über einen invertierbaren verzweigten Strom bietet die Arbeit einen theoretisch fundierten und empirisch effektiven Mechanismus, um sicherzustellen, dass die Unsicherheitsquantifizierung auch bei Verschiebungen der Datenverteilungen für einzelne Testeingaben zuverlässig bleibt. Die Autoren positionieren dies als einen Schritt hin zu sichereren KI-Anwendungen in kritischen Domänen (z. B. Gesundheitswesen, Verkehr, Epidemiemodellierung), in denen Verteilungsverschiebungen unvermeidbar sind und die bedingte Zuverlässigkeit von höchster Bedeutung ist.

Der Artikel räumt mit Einschränkungen ein, darunter die Rechenkosten der Nullstellensuche im erweiterten BNF, die stochastische Natur der Vorhersagemengen und architektonische Beschränkungen, die multivariate Eingaben erfordern. Er weist zudem darauf hin, dass zwar Kalibrierungsdaten zur Training des Flusses wiederverwendet werden (ein potenzieller Tuning-Bias), aber Ablationsstudien nahelegen, dass dieser Einfluss in der Praxis minimal ist.