📊 statistics

Conformal and kNN Predictive Uncertainty Quantification Algorithms in Metric Spaces

Dieses Paper schlägt ein Framework zur Quantifizierung von Unsicherheit in Regressionsmodellen auf metrischen Räumen vor, das einen konformen Algorithmus mit endlichen Stichproben-Garantien für homoskedastische Settings sowie ein lokal adaptives kNN-Verfahren für heteroskedastische Fälle einführt, wobei beide skalierbar und modellagnostisch sind und durch Anwendungen in der personalisierten Medizin unter Einbeziehung komplexer Zufallsobjekte validiert werden.

Ursprüngliche Autoren: Gábor Lugosi, Marcos Matabuena

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gábor Lugosi, Marcos Matabuena

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wettervorhersager. Normalerweise geben Sie nur eine einzige Zahl an: „Es werden morgen 75 °F sein.“ Aber das ist nicht besonders hilfreich, wenn Sie ein Picknick planen. Sie müssen auch wissen: Wie sicher sind Sie sich? Ist es wahrscheinlich, dass es zwischen 70 °F und 80 °F liegt, oder könnte es wild zwischen 50 °F und 100 °F schwanken?

In der Welt der Datenwissenschaft wird diese Frage nach dem „Wie sicher sind Sie sich?“ als Unsicherheitsschätzung (Uncertainty Quantification) bezeichnet. Die meisten aktuellen Methoden sind großartig darin, eine einzelne Zahl (den Durchschnitt) zu liefern, haben aber Schwierigkeiten, eine zuverlässige „Sicherheitszone“ um diese Zahl herum zu zeichnen, insbesondere wenn die Daten komplex oder unordentlich sind.

Dieses Paper von Lugosi und Matabuena stellt ein neues Toolkit zum Zeichnen dieser Sicherheitszonen vor, speziell für Daten, die nicht ordentlich in eine Standard-Tabelle passen (wie Formen, Graphen oder Wahrscheinlichkeitsverteilungen). Sie bezeichnen diese komplexen Datenpunkte als „zufällige Objekte“ (random objects), die in „metrischen Räumen“ leben (eine schicke Art zu sagen: „eine Welt, in der wir Abstände zwischen Dingen messen können, auch wenn es nicht nur Zahlen sind“).

Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:

1. Die zwei Arten von Wetter (Homoskedastisch vs. Heteroskedastisch)

Die Autoren erkennen, dass sich die Unsicherheit je nach Situation unterschiedlich verhält. Sie teilen das Problem in zwei Szenarien auf:

Das „Beständiger Regen“-Szenario (Homoskedastisch):
Stellen Sie sich einen Tag vor, an dem der Regen beständig ist. Er kann stark sein, aber die Variabilität (wie sehr er sich von Minute zu Minute verändert) ist überall gleich.
- Die Lösung des Papers: Sie verwenden eine Methode namens Conformal Prediction. Betrachten Sie dies als das Entnahme eines Eimers vergangener Regenmessungen, das Finden der „typischen“ Menge und das Zeichnen eines Kreises darum, der garantiert 95 % der Zeit den Regen einfängt.
- Der Vorteil: Diese Methode ist für kleine Datensätze mathematisch „wasserdicht“. Sie garantiert, dass Ihre Sicherheitszone korrekt ist, ohne dass Sie komplexe Annahmen darüber treffen müssen, wie der Regen sich verhält. Sie ist schnell und zuverlässig.
Das „Stürmische Tag“-Szenario (Heteroskedastisch):
Stellen Sie sich nun einen Tag vor, an dem das Wetter chaotisch ist. Am Morgen ist es ruhig (geringe Unsicherheit), aber am Nachmittag ist es ein Tornado (hohe Unsicherheit). Der Spielraum, den Sie benötigen, ändert sich je nachdem, wo Sie sind oder wann es ist.
- Das Problem: Die „Beständiger Regen“-Methode versagt hier, weil sie für den ganzen Tag einen einzigen riesigen Kreis zeichnet. Er ist zu groß für den ruhigen Morgen und zu klein für den stürmischen Nachmittag.
- Die Lösung des Papers: Sie führen einen k-Nächste-Nachbarn-Ansatz (kNN) ein. Stellen Sie sich vor, Sie versuchen das Wetter für eine bestimmte Nachbarschaft vorherzusagen. Anstatt die gesamte Stadtgeschichte zu betrachten, schauen Sie sich nur die 5 nächsten Nachbarschaften an, die ähnliche Wettermuster hatten.
- Die Magie: Dies ermöglicht es der Sicherheitszone, zu schrumpfen, wenn es ruhig ist, und sich auszudehnen, wenn es wild wird. Sie passt sich lokal an. Obwohl sie nicht dieselbe „wasserdichte“ Garantie für winzige Datensätze hat wie die erste Methode, ist sie für komplexe, wechselhafte Daten viel intelligenter.

2. Den Umgang mit „seltsamen“ Formen (Metrische Räume)

Die meisten Statistiken setzen voraus, dass Daten nur eine Liste von Zahlen sind (wie Größe und Gewicht). Aber in der modernen Medizin können Daten seltsame Formen annehmen:

Wahrscheinlichkeitsverteilungen: Anstatt zu sagen „Der durchschnittliche Glukosespiegel liegt bei 100“, könnten wir sagen: „Hier ist die gesamte Kurve, wie die Glukosespiegel im Tagesverlauf schwanken.“
Graphen: Anstatt einer Zahl sind die Daten ein Netzwerk von Verbindungen (wie ein Gehirnscan oder ein soziales Netzwerk).

Das Toolkit der Autoren funktioniert in diesen „seltsamen Form“-Welten. Sie pressen diese Formen nicht in eine Box; sie messen den Abstand zwischen den Formen und zeichnen Sicherheitszonen (Kugeln) um sie herum.

3. Reale Tests (Was das Paper tatsächlich gezeigt hat)

Die Autoren haben nicht nur Theorie diskutiert; sie haben ihre Werkzeuge an echten medizinischen Daten getestet, um ihre Funktionsweise zu beweisen:

Parkinson-Handzeichnung: Sie untersuchten digitale Spiralzeichnungen, die von Menschen mit Parkinson und gesunden Menschen gemacht wurden. Sie verwendeten ihre „Beständiger Regen“-Methode, um eine „normale“ Zone basierend auf gesunden Menschen zu zeichnen. Sie fanden heraus, dass viele Zeichnungen von Parkinson-Patienten außerhalb dieser Zone lagen, was zeigt, dass die Methode Unterschiede in komplexen Formen erkennen kann.
Glukose-Überwachung: Sie analysierten kontinuierliche Glukosedaten von Menschen ohne Diabetes. Anstatt nur auf den durchschnittlichen Zuckerwert zu schauen, behandelten sie das gesamte tägliche Muster als ein einzelnes Objekt. Sie bauten eine Sicherheitszone, die sich je nach Alter ändert. Sie fanden heraus, dass mit zunehmendem Alter die „Sicherheitszone“ für Glukosespiegel breiter wird, was bedeutet, dass ältere Erwachsene eine höhere Variabilität in ihren Blutzuckerspiegeln über den Tag verteilt haben.

4. Warum das wichtig ist (Das Fazit)

Geschwindigkeit: Ihre Methoden sind schnell. Sie können Millionen von Datenpunkten in Sekunden verarbeiten, während ältere Methoden für komplexe Formen Stunden benötigen.
Flexibilität: Sie können jedes beliebige Vorhersagemodell verwenden (wie Random Forests oder Neuronale Netze) und ihr Unsicherheitstool darum legen.
Keine „Glätte“ erforderlich: Viele alte Methoden erfordern, dass die Daten perfekt glatt und vorhersehbar sind. Diese neuen Methoden funktionieren selbst dann, wenn die Daten zackig, diskret oder unordentlich sind.

Zusammenfassend lässt sich sagen: Dieses Paper gibt Wissenschaftlern eine neue Möglichkeit zu sagen: „Ich sage X voraus, und ich bin mir zu 95 % sicher, dass die wahre Antwort innerhalb dieser spezifischen Form liegt.“ Es funktioniert für einfache Zahlen, aber noch wichtiger: Es funktioniert für komplexe, reale Objekte wie medizinische Graphen und Zeitreihen-Verteilungen und passt das Vertrauensniveau an das Chaos der Daten an.

Technisches Resümee: Konforme und kNN-basierte Algorithmen zur quantitativen Unsicherheitsanalyse in metrischen Räumen

1. Problemdefinition und Motivation

Die vorliegende Arbeit adressiert die Herausforderung der prädiktiven Unsicherheitsquantifizierung für Regressionsmodelle, bei denen die Antwortvariable $Y$ in einem allgemeinen separablen metrischen Raum $(\mathcal{Y}, d_1)$ liegt und die Prädiktorvariable $X$ in $\mathbb{R}^p$ angesiedelt ist. Ziel ist es, eine Prädiktionsregion $C_\alpha(x) \subset \mathcal{Y}$ zu konstruieren, sodass die wahre Antwort $Y$ mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ innerhalb dieser Region liegt, gegeben $X=x$ .

Die Autoren identifizieren spezifische Einschränkungen bestehender Methoden, insbesondere der konformen Inferenz:

Konservatismus: Standardmäßige konforme Methoden produzieren oft übermäßig konservative Intervalle, insbesondere in heteroskedastischen oder hochdimensionalen Räumen, was zu einem Verlust an statistischer Effizienz führt.
Glattheitsannahmen: Bestehende Ansätze für metrische Räume (z. B. Zhou und Müller [2025]) stützen sich auf Kernelsmoothing und Differenzierbarkeit, was für diskrete Daten oder komplexe nicht-euklidische Strukturen restriktiv ist.
Skalierbarkeit: Vollständige konforme Methoden und Depth-Profile-Ansätze sind für große Datensätze rechenintensiv.
Anwendbarkeit: Viele Methoden sind auf skalare Antworten oder euklidische Prädiktoren beschränkt und können daher keine „zufälligen Objekte“ wie Wahrscheinlichkeitsverteilungen oder Graphen verarbeiten, wie sie in der digitalen Gesundheit üblich sind.

Das Ziel der Arbeit ist die Entwicklung eines Frameworks, das Finite-Sample-Marginal-Coverage-Garantien (im homoskedastischen Fall) und lokal adaptive Prädiktionsradien (im heteroskedastischen Fall) bereitstellt, ohne starke Glattheitsannahmen vorauszusetzen und dabei rechentechnisch skalierbar zu bleiben.

2. Methodik

Das Framework definiert die Regressionsfunktion $m(x)$ als den bedingten Fréchet-Mittelwert:
$m(x) = \arg\min_{y \in \mathcal{Y}} \mathbb{E}[d_1^2(Y, y) \mid X = x]$
Die Prädiktionsregion wird als metrischer Ball $C_\alpha(x) = B(m(x), r(x))$ definiert, wobei der Radius $r(x)$ durch das bedingte Quantil der Distanz $d_2(Y, m(x))$ bestimmt wird. Die Autoren unterscheiden hierbei zwischen zwei Metriken: $d_1$ (verwendet für Loss/Regression) und $d_2$ (verwendet zur Definition der Prädiktionsregion), was eine hohe Flexibilität bei der Modellierung ermöglicht.

Die Methodik unterteilt sich in drei Hauptkomponenten:

2.1 Homoskedastischer Fall: Split-Conformal-Prediction

Die Autoren führen einen Begriff der Homoskedastizität in metrischen Räumen ein: Die Verteilung der Distanz $d_2(Y, m(x))$ ist unabhängig von $x$ .

Algorithmus: Es wird ein Split-Conformal-Ansatz verwendet. Die Daten werden in einen Trainingsdatensatz ( $D_{train}$ ) zur Schätzung des Zentrums $\hat{m}(x)$ und einen Kalibrierungsdatensatz ( $D_{test}$ ) zur Schätzung eines globalen Radius aufgeteilt.
Radius-Schätzung: Der Radius wird durch das empirische Quantil der Kalibrierungswerte $\{d_2(Y_i, \hat{m}(X_i))\}_{i \in D_{test}}$ festgelegt.
Garantien: Dies liefert eine Finite-Sample-Marginal-Coverage-Garantie: $P(Y \in \hat{C}_\alpha(X)) \geq 1-\alpha$ .
Konvergenz: Die Autoren beweisen Konsistenz und schnelle Konvergenzraten (getrieben durch den Schätzfehler des Fréchet-Mittelwerts und des Quantils) unter milden Bedingungen, wobei lediglich die Konsistenz des Fréchet-Mittelwert-Schätzers vorausgesetzt wird.

2.2 Heteroskedastischer Fall: Lokales kNN-Verfahren

Für Szenarien, in denen die bedingte Fehlerverteilung von $x$ abhängt (Heteroskedastizität), ist ein globaler Radius ineffizient.

Algorithmus: Ein k-Nearest-Neighbors (kNN)-Ansatz wird vorgeschlagen. Für einen neuen Punkt $x$ wird der Prädiktionsradius unter Verwendung nur der Kalibrierungspunkte in der $k$ -nächsten Umgebung von $x$ geschätzt.
Datengetriebene Auswahl von $k$ : Ein neuartiges Kriterium wird eingeführt, um die Größe der Nachbarschaft $k$ zu wählen. Es balanciert die globale empirische Abdeckung (Sicherstellung, dass die Gesamtabdeckung nahe bei $1-\alpha$ liegt) mit der lokalen empirischen Abdeckung (Sicherstellung, dass lokale Abweichungen minimiert werden). Der Algorithmus wählt das kleinste $k$ , das diese Bedingungen erfüllt.
Garantien: Obwohl diese Methode keine Finite-Sample-Konformitätsgarantien bietet, etablieren die Autoren ** asymptotische Konsistenz** und leiten obere Schrankzen für den erwarteten Fehler im endlichen Sample ab. Die Methode vermeidet Glattheitsannahmen und passt sich der lokalen geometrischen Struktur des Prädiktorraums an.

2.3 Sequentielle Erweiterung für Zeitreihen

Das Framework wird auf metrisch wertige Zeitreihen unter Annahme von Stationarität und Ergodizität erweitert.

Methode: Eine Nearest-Neighbor-Expert-Aggregation wird angewendet. Historische Lag-Blöcke werden mit dem aktuellen Zustand verglichen, um bedingte Residuen-Quantile zu schätzen.
Aggregation: Lokale Quantils-Experten werden mittels exponentieller Gewichtung basierend auf dem Pinball-Loss kombelt, um einen datenadaptiven Radius zu erzeugen.
Garantien: Die Methode bietet eine asymptotische zeitmittlere Kalibrierungsgarantie ( $\frac{1}{n}\sum P(Y_{t+1} \in \hat{C}_t) \to 1-\alpha$ ), statt Finite-Sample-Garantien.

3. Zentrale Beiträge

Neuartige Definition der Homoskedastizität: Eine Definition der Homoskedastizität, die speziell auf metrische Räume zugeschnitten ist und die Konstruktion effizienter konformer Algorithmen mit schnellen Konvergenzraten ermöglicht.
Drei algorithmische Frameworks:
- Ein Split-Conformal-Algorithmus für homoskedastische metrische Räume mit Finite-Sample-Marginal-Garantien.
- Ein lokaler kNN-Algorithmus für heteroskedastische Settings, der eine gute bedingte Kalibrierung ohne Glattheitsannahmen erreicht.
- Eine sequentielle Expert-Aggregation-Methode für Zeitreihen in metrischen Räumen.
Theoretische Konsistenz: Beweise der Konsistenz für die vorgeschlagenen Schätzer unter minimalen Bedingungen (die schwächer sind als die in der euklidischen Literatur geforderten).
Recheneffizienz: Die vorgeschlagenen Methoden sind rechentechnisch skalierbar und können Millionen von Beobachtungen in Sekunden verarbeiten, im Gegensatz zu Depth-Profile-Methoden, die für kleinere Datensätze Stunden benötigen.
Flexibilität: Das Framework ist mit jedem Regressionsalgorithmus kompatibel (z. B. Random Forests, globale Fréchet-Regression, kNN) und verarbeitet nicht-euklidische Antworten (Verteilungen, Graphen) sowie Prädiktoren.

4. Ergebnisse

4.1 Simulationsstudie

Die Autoren evaluierten das Framework bei der Skalar-auf-Skalar-Regression und bei metrisch wertigen Ergebnissen.

Leistung: In heteroskedastischen Settings (linear und nichtlinear) erreichte die vorgeschlagene adaptive kNN-Methode den niedrigsten Integrated Squared Conditional Error (ISCE) und die höchste Worst-Slice-Coverage (WSC) im Vergleich zu Wettbewerbern wie Conformalized Quantile Regression (CQR) und der Depth-Profile-Methode von Zhou und Müller [2025].
Homoskedastische Settings: Die globale konforme Methode war wettbewerbsfähig gegenüber CQR, was ihre Effizienz bestätigt, wenn die Homoskedastizitätsannahme zutrifft.
Effizienz: Die vorgeschlagenen Methoden waren signifikant schneller (Sekunden vs. 50 Minuten für $n=3000$ ) als der Depth-Profile-Ansatz.
Robustheit: Die heteroskedastische Methode behielt eine gute marginale Kalibrierung bei, selbst wenn sie nicht konform kalibriert war, wenngleich eine begrenzte Stabilität der Stichprobengröße bezüglich der Worst-Slice-Coverage als Limitation angemerkt wurde.

4.2 Reale Anwendungen

Das Framework wurde auf zwei biomedizinische Datensätze angewendet:

Formanalyse (Parkinson-Krankheit): Handschriftliche Trajektorien wurden als zufällige Objekte behandelt. Die Methode konstruierte Fréchet-zentrierte Referenzregionen für gesunde Kontrollpersonen. Trajektorien von Parkinson-Patienten fielen häufig außerhalb dieser Regionen, was das Potenzenzung für formbasierte digitale Biomarker verdeutlicht.
Verteilungsbasierte Glukoseüberwachung: CGM-Daten wurden als Wahrscheinlichkeitsverteilungen im 2-Wasserstein-Raum dargestellt. Unter Verwendung der globalen Fréchet-Regression und des kNN-Radius-Schätzers konstruierten die Autoren altersspezifische Prädiktionsregionen. Die Ergebnisse zeigten, dass sich die Prädiktionsregionen (Variabilität) mit dem Alter weiten und somit Verteilungsänderungen erfassen, die in skalaren Zusammenfassungen nicht sichtbar sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, ein allgemeines, flexibles und recheneffizientes Framework für die Quantifizierung der Unsicherheit in metrischen Räumen bereitzustellen. Seine Bedeutung liegt in:

Überbrückung der Lücke: Es erweitert die konforme Prädiktion und lokale Kalibrierungstechniken auf nicht-euklidische Settings, ohne auf die restriktiven Glattheitsannahmen bestehender metrischer Methoden angewiesen zu sein.
Praktischer Nutzen: Die Fähigkeit, komplexe zufällige Objekte (Verteilungen, Graphen) mit schneller Berechnung zu handhaben, macht das Framework geeignet für moderne Anwendungen in der digitalen Gesundheit und personalisierten Medizin.
Theoretische Stringenz: Es etabliert Konsistenz und Konvergenzraten unter minimalen Annahmen und bietet damit eine robuste Alternative zu rein asymptotischen Methoden.
Adaptivität: Die datengetriebene Auswahl der Nachbarschaftsgrößen ermöglicht es der Methode, sich an lokale Heteroskedastizität anzupassen, was die bedingte Kalibrierung dort verbessert, wo globale Methoden versagen.

Die Autoren merken bescheiden an, dass die Methode zwar starke marginale Garantien im homoskedastischen Fall und eine gute bedingte Kalibrierung im heteroskedastischen Fall bietet, die Verwendung metrischer Bälle jedoch für stark nicht-sphärische Verteilungen konservativ sein kann. Als zukünftige Arbeit wird die Untersuchung flexiblerer Prädiktionsregionen jenseits metrischer Bälle vorgeschlagen.