Co-optimization for Adaptive Conformal Prediction

Die Arbeit stellt CoCP vor, ein Framework zur gemeinsamen Optimierung von Intervallmitte und -radius, das durch eine weiche Abdeckungsfunktion und konforme Kalibrierung effizientere und kürzere Vorhersageintervalle bei garantierter marginaler Validität erzeugt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Wettervorhersage-Experte, der für eine Stadt arbeitet. Ihr Job ist es, den Leuten zu sagen, wie hoch das Wasser morgen steigen wird.

Die traditionelle Methode (die in der Wissenschaft als "Conformal Prediction" bekannt ist) funktioniert so: Sie schaut sich die vergangenen Daten an und sagt: "Mit 90-prozentiger Sicherheit wird das Wasser zwischen 1 Meter und 3 Meter steigen." Das ist eine Vorhersage-Intervall.

Das Problem ist: Diese Methode ist oft zu vorsichtig oder "steif". Sie sagt immer "1 bis 3 Meter", egal ob der Fluss gerade ruhig fließt oder ob es ein extremes Hochwasser mit unvorhersehbaren Wirbeln gibt. Wenn die Verteilung der Wasserstände schief ist (z. B. oft nur kleine Wellen, aber manchmal riesige Flutwellen), sitzt das Intervall oft nicht dort, wo die meisten Daten tatsächlich liegen. Es ist wie ein zu großer, schwerer Mantel, den man anzieht, obwohl man nur einen leichten Regenmantel bräuchte.

Die neue Idee: CoCP (Der "Schlitz-Mantel")

Die Autoren dieses Papers haben eine neue Methode namens CoCP entwickelt. Um das zu verstehen, nutzen wir eine Analogie: Das Suchen nach dem perfekten Sitz eines Mantels.

1. Das Problem: Der "falsche" Mittelpunkt

Stellen Sie sich vor, Sie versuchen, einen Mantel zu nähen, der genau 90 % Ihrer Körperformen abdeckt.

• Die alte Methode (CQR): Sie nehmen eine feste Mitte (z. B. Ihre Brusthöhe) und messen nach links und rechts gleich viel ab. Wenn Ihr Körper aber schief ist (z. B. eine Schulter ist höher als die andere), passt der Mantel nicht gut. Er ist entweder an einer Seite zu weit und an der anderen zu eng, oder er ist insgesamt viel zu groß, um die schiefen Schultern zu bedecken.
• Das Ziel: Wir wollen den Mantel so klein wie möglich machen, aber trotzdem sicher, dass er Sie bedeckt. Das beste Intervall nennt man in der Mathematik "HDI" (Highest Density Interval). Das ist wie ein maßgeschneiderter Anzug, der genau dort sitzt, wo Ihre Masse (Ihr Körper) am dichtesten ist.

2. Die Lösung: CoCP (Ko-Optimierung)

CoCP ist wie ein intelligenter Schneider, der zwei Dinge gleichzeitig lernt:

1. Wo ist die Mitte? (Der "Center" $m(x)$)
2. Wie weit muss der Mantel reichen? (Der "Radius" $h(x)$)

Statt einfach nur nach links und rechts zu messen, nutzt CoCP einen cleveren Trick, den sie "Folding" (Falten) nennen.

Die Analogie des "Faltens":
Stellen Sie sich vor, Sie nehmen Ihren Mantel und falten ihn genau in der Mitte zusammen. Jetzt schauen Sie nicht mehr auf links und rechts, sondern nur noch auf die Dicke des gefalteten Stoffes.

• Wenn der Stoff auf der einen Seite dicker ist als auf der anderen (weil die Daten dort dichter liegen), schiebt der Schneider den ganzen Mantel ein Stück in Richtung der dickeren Seite.
• Der "Push-Pull"-Effekt: Wenn Sie den Mantel in Richtung der dichten Masse schieben, können Sie den Stoff an den Rändern etwas kürzer schneiden, weil Sie jetzt mehr von der dichten Masse "einfangen". Das macht den Mantel schmaler und passgenauer.

CoCP macht das im Computer:

1. Es schätzt erst mal eine Mitte.
2. Es schaut sich an, wie weit die Daten von dieser Mitte entfernt sind (das "Falten").
3. Es erkennt: "Hey, auf der einen Seite sind die Daten dichter!"
4. Es schiebt die Mitte ein Stück dorthin.
5. Weil die Mitte jetzt besser sitzt, kann es den Radius (die Breite des Mantels) verkleinern.
6. Dieser Prozess wiederholt sich, bis der Mantel perfekt sitzt: Er ist so kurz wie möglich, deckt aber immer noch 90 % der Fälle ab.

3. Warum ist das so wichtig?

In der echten Welt sind Daten selten perfekt symmetrisch.

• Beispiel: Wenn Sie die Preise von Häusern vorhersagen, gibt es viele normale Häuser, aber ein paar extrem teure Villen. Die Verteilung ist "schief".
• Die alte Methode: Würde einen riesigen Sicherheitsabstand nach oben lassen, weil sie die teuren Villen "einfangen" muss, aber sie würde den unteren Bereich unnötig weit nach unten strecken. Das Ergebnis ist ein riesiges, ungenaues Intervall.
• CoCP: Verschiebt den Fokus dorthin, wo die meisten Häuser liegen (die normalen Preise), und macht das Intervall dort sehr eng. Es ignoriert nicht die teuren Villen, aber es passt sich so an, dass das Intervall nicht unnötig groß ist.

Zusammenfassung in einem Satz

CoCP ist wie ein selbstjustierender, maßgeschneiderter Anzug für Daten: Statt einen starren, zu großen Mantel zu tragen, lernt das System, sich genau dorthin zu bewegen, wo die Daten am dichtesten sind, und passt seine Größe so an, dass er so eng wie möglich sitzt, ohne dass Sie frieren (also ohne die Sicherheit zu verlieren).

Der Nutzen:

• Kürzere Intervalle: Die Vorhersagen sind präziser.
• Bessere Sicherheit: Das Intervall liegt genau dort, wo die Wahrscheinlichkeit am höchsten ist, nicht irgendwo daneben.
• Robustheit: Es funktioniert auch bei seltsamen, schiefen Datenverteilungen, bei denen andere Methoden versagen.

Die Autoren haben gezeigt, dass diese Methode auf echten Daten (wie Fahrradverleih-Zahlen oder Hauspreisen) deutlich bessere Ergebnisse liefert als alle bisherigen Standardmethoden.

Technische Zusammenfassung

1. Problemstellung

Konformale Vorhersage (Conformal Prediction, CP) bietet eine robuste Methode zur Konstruktion von Vorhersagemengen mit garantierter marginaler Abdeckung für endliche Stichproben, unabhängig von der zugrunde liegenden Verteilung. Ein zentrales Problem bei der Regressionsvorhersage ist jedoch die Ineffizienz herkömmlicher Intervalle, insbesondere unter Heteroskedastizität (unterschiedliche Varianz) und Schieflage (Skewness) der bedingten Verteilungen.

• Das Dilemma: Beliebte Methoden wie Conformalized Quantile Regression (CQR) erzeugen Intervalle, die auf bedingten Quantilen basieren und oft eine symmetrische Fehlerverteilung (equal-tailed errors) erzwingen (z. B. $\alpha/2$ links und rechts).
• Die Folge: Bei schiefen Verteilungen verschieben sich diese Intervalle weg von den Hochdichtebereichen der Wahrscheinlichkeitsmasse. Um die gewünschte Abdeckung von $1-\alpha$ zu erreichen, müssen sie unnötig breit werden, da sie Bereiche geringer Dichte einschließen.
• Das Ziel: Die theoretisch optimale Lösung ist das Highest Density Interval (HDI), das die kürzeste Länge bei gegebener Abdeckung aufweist. Das HDI zeichnet sich dadurch aus, dass die Dichte an den Intervallenden gleich ist. Herkömmliche CP-Methoden erreichen dies jedoch nicht, da sie den Intervallmittelpunkt (Center) als fest vorgegeben betrachten und nur den Radius anpassen.

2. Methodik: CoCP (Co-optimization for Adaptive Conformal Prediction)

Die Autoren schlagen CoCP vor, ein Framework, das die Konstruktion von Vorhersageintervallen durch die gemeinsame Optimierung eines Mittelpunkts $m(x)$ und eines Radius $h(x)$ neu definiert.

Kernidee: Geometrie des „Gefalteten Residuums"

Das Paper führt eine geometrische Perspektive ein, die als „folded-flag"-Visualisierung bezeichnet wird:

• Statt das Intervall als $[m-h, m+h]$ zu betrachten, wird die Verteilung um einen Kandidaten-Mittelpunkt $m$ „gefaltet" ($|Y - m|$).
• Der notwendige Radius $h$ entspricht dann dem $(1-\alpha)$-Quantil dieser gefalteten Verteilung.
• Push-Pull-Dynamik: Wenn die Dichte an den beiden Intervallenden unbalanciert ist (z. B. rechts höher als links), führt eine Verschiebung des Mittelpunkts $m$ in Richtung der höheren Dichte dazu, dass mehr Wahrscheinlichkeitsmasse in das Intervall „geschoben" wird. Um die Masse von $1-\alpha$ konstant zu halten, muss sich der Radius $h$ verkleinern. Dieser Prozess wiederholt sich, bis die Dichten an den Endpunkten ausgeglichen sind – was dem HDI entspricht.

Der Algorithmus

CoCP implementiert diese Idee durch einen alternierenden Lernprozess (Alternating Optimization), gefolgt von einer konformalen Kalibrierung:

1. Radius-Update (Folding Quantile Regression):

   • Bei festem Mittelpunkt $m$ wird der Radius $h(x)$ durch Minimierung des Pinball-Loss (Quantile Regression) auf den gefalteten Residuen $|Y - m(x)|$ gelernt.
   • Ziel: $h(x) \approx Q_{1-\alpha}(|Y - m(x)| \mid X=x)$.

2. Zentrums-Update (Soft-Coverage Objective):

   • Bei festem Radius $h$ wird der Mittelpunkt $m(x)$ aktualisiert, um die Dichte-Ungleichheit an den Grenzen zu korrigieren.
   • Da die bedingte Dichte $f(y|x)$ unbekannt ist, wird eine differentiable soft-coverage surrogate verwendet (basierend auf einer Sigmoid-Funktion).
   • Der Gradient dieser Funktion konzentriert sich auf die Intervallgrenzen. Er treibt den Mittelpunkt automatisch in Richtung der Region höherer Dichte, ohne die gesamte bedingte Dichte schätzen zu müssen.

3. Konformale Kalibrierung:

   • Nach dem Training werden $m(x)$ und $h(x)$ auf einem separaten Kalibrierungsdatensatz verwendet, um einen Skalierungsfaktor $q$ zu berechnen (basierend auf den nicht-konformen Scores $S = |Y - m|/h$).
   • Das finale Intervall ist $[m(x) - q \cdot h(x), m(x) + q \cdot h(x)]$.
   • Dies garantiert die exakte marginale Abdeckung für endliche Stichproben, unabhängig von der Qualität der gelernten Modelle.

4. Cross-Fitting:

   • Um die Varianz zu reduzieren und Daten effizient zu nutzen, wird K-Fold Cross-Fitting eingesetzt, wobei die Modelle aggregiert werden, bevor die Kalibrierung erfolgt.

3. Theoretische Eigenschaften

Das Paper liefert strenge theoretische Garantien:

• Endliche Stichproben-Gültigkeit: Durch die split-conformal Kalibrierung wird die marginale Abdeckung von mindestens $1-\alpha$ garantiert (Theorem 1).
• Asymptotische Optimalität: Unter Regularitätsbedingungen (Unimodalität, glatte Dichten) und wenn der Lernfehler sowie der Temperatur-Parameter $\beta$ gegen Null gehen, konvergiert CoCP gegen das kürzestmögliche bedingte Intervall (HDI).
• Bedingte Abdeckung: CoCP reduziert systematisch lokale Abdeckungslücken (Conditional Coverage Gaps), die bei anderen Methoden unter Schiefe auftreten.

4. Ergebnisse und Experimente

Die Autoren evaluieren CoCP auf synthetischen und realen Datensätzen im Vergleich zu State-of-the-Art-Methoden (Split-CP, CQR, C-HDR, CHR, CPL, etc.).

• Synthetische Daten:

  • Bei symmetrischen Verteilungen (Normalverteilung) ist CoCP mit CQR vergleichbar.
  • Bei schiefer Verteilung (Log-Normal, Exponential) übertrifft CoCP alle Baselines deutlich.
  • Auf dem Exponential-Datensatz reduzierte CoCP die Intervalllänge um ca. 20 % im Vergleich zu CQR, während die Abdeckung erhalten blieb.
  • Die ConMAE (Mean Absolute Deviation der bedingten Abdeckung) wurde um bis zu 60 % reduziert, was eine deutlich bessere Anpassung an lokale Dichteverteilungen zeigt.

• Reale Daten:

  • Auf 7 verschiedenen Regression-Datensätzen (z. B. Bike-Sharing, Hauspreise, Superleiter) erzielte CoCP auf 5 Datensätzen die kürzesten Intervalle bei nomineller Abdeckung.
  • CoCP erreichte konsistent die besten Werte bei Diagnosen für die bedingte Zuverlässigkeit (MSCE, WSC, ERT), was darauf hindeutet, dass es die Abdeckung gleichmäßiger über den gesamten Merkmalsraum verteilt.

5. Bedeutung und Fazit

CoCP stellt einen Paradigmenwechsel in der konformalen Regression dar:

1. Geometrische Einsicht: Es löst das Problem der Ineffizienz bei schiefen Verteilungen nicht durch komplexe Dichteschätzung, sondern durch eine elegante geometrische Umformulierung (Faltung und Balancierung der Grenzen).
2. Praktische Effizienz: Es vermeidet die Notwendigkeit, die gesamte bedingte Verteilung oder Dichte zu modellieren (was oft instabil oder rechenintensiv ist), und benötigt nur ein Quantil für den Radius und lokale Gradienten für den Mittelpunkt.
3. Robustheit: Es kombiniert die theoretische Sicherheit der konformalen Vorhersage (marginale Gültigkeit) mit der Effizienz adaptiver, bedingter Intervalle.

Zusammenfassend bietet CoCP einen neuen Standard für die Konstruktion von Vorhersageintervallen, der insbesondere in Szenarien mit heteroskedastischem und schiefem Rauschen überlegene Ergebnisse liefert, indem er die Intervallposition und -breite simultan optimiert.