🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

Dieses Paper führt eine modellagnostische Conformal Prediction Methode für die ordinale Klassifikation ein, welche den Ranked Probability Score als Nichtkonformitätsmaß nutzt, um zusammenhängende, medianzentrierte Prädiktionsmengen zu generieren und dabei effektiv die Set-Breite sowie die Schwere der ordinalen Fehlabdeckung über verschiedene Datensätze hinweg auszubalancieren.

Ursprüngliche Autoren: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Schätzen mit einem Sicherheitsnetz

Stellen Sie sich vor, Sie sind ein Arzt, der versucht, das Alter eines Patienten zu schätzen, oder ein Finanzanalyst, der das Risikoniveau eines Unternehmens vorhersagen möchte. In diesen Situationen sind die Antworten nicht einfach nur zufällige Kategorien wie „Rot“, „Blau“ oder „Grün“. Sie haben eine natürliche Ordnung: „Baby“, „Kind“, „Teenager“, „Erwachsener“, „Senior“. Dies nennt man ordinale Klassifizierung.

Das Problem ist: Selbst die besten KI-Modelle machen Fehler. Manchmal tippt die KI „Teenager“, obwohl die Person eigentlich ein „Senior“ ist. In hochsensiblen Bereichen wie der Medizin oder der Finanzwelt spielt die Größe dieses Fehlers eine entscheidende Rolle. Die Annahme „Erwachsener“ statt „Senior“ ist ein kleiner Fehler. Die Annahme „Baby“ statt „Senior“ ist jedoch ein riesiger, gefährlicher Fehler.

Dieses Paper stellt eine neue Methode vor, um ein „Sicherheitsnetz“ um diese KI-Vorhersagen zu bauen. Anstatt nur eine einzige Vermutung abzugeben, liefert die KI eine Spanne wahrscheinlicher Antworten (ein Vorhersageset). Das Ziel ist es, sicherzustellen, dass die wahre Antwort innerhalb dieser Spanne liegt, während gleichzeitig darauf geachtet wird, dass die Spanne nicht zu breit wird und keine wichtigen Zwischenschritte überspringt.

Das Problem alter Methoden: Der „gierige“ Ansatz

Früher versuchten die meisten Methoden, diese Sicherheitsnetze aufzubauen, indem sie bei der „besten Vermutung“ der KI (der wahrscheinlichsten Antwort) starteten und sich dann wie ein gieriger Esser nach außen ausdehnten, der sich die größten Brocken Nahrung neben sich schnappt.

Der Makel: Stellen Sie sich vor, die KI betrachtet einen Patienten und denkt, es besteht eine Wahrscheinlichkeit von 40 % für „Teenager“, 35 % für „Senior“ und eine winzige Chance für „Kind“.

Der alte Weg: Er beginnt bei „Teenager“ und schnappt sich „Kind“, weil dies das nächstgrößere Wahrscheinlichkeitsstück ist. Dabei ignoriert er „Senior“ für einen Moment.
Das Ergebnis: Das Sicherheitsnetz könnte {Teenager, Kind} lauten. Wenn der Patient jedoch tatsächlich ein „Senior“ ist, versagt das Sicherheitsnetz komplett, und der Fehler ist massiv (der Sprung von Teenager zu Senior). Die alte Methode achtet mehr auf die Größe des Netzes als auf die Distanz des Fehlers.

Die neue Lösung: Die „ausbalancierte Waage“ (Ranked Probability Score)

Die Autoren schlagen eine neue Methode vor, die etwas namens Ranked Probability Score (RPS) verwendet. Betrachten Sie dies als eine ausbalancierte Waage oder einen Seiltänzer.

Anstatt bei der „wahrscheinlichsten“ Vermutung zu starten und Nachbarn zu sammeln, betrachtet diese Methode die gesamte Verteilung der Möglichkeiten und baut das Sicherheitsnetz von der Mitte (dem Median) aus auf.

So funktioniert es:

Das Zentrum finden: Es findet den Mittelpunkt der Unsicherheit der KI.
Gleichmäßig expandieren: Es fügt die nächstwahrscheinlichen Optionen links und rechts der Mitte hinzu und versucht dabei, das „Gewicht“ der Vorhersage auf beiden Seiten im Gleichgewicht zu halten.
Das Ergebnis: Das Sicherheitsnetz ist immer ein zusammenhängender Block (ohne Lücken). Wenn die KI unsicher ist, erweitert sich das Netz, um den Mittelgrund einzuschließen.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, die Temperatur zu erraten.

Alter Weg (Modus-zentriert): Sie raten „21 °C“ (die wahrscheinlichste Temperatur). Sie fügen „20 °C“ und „22 °C“ hinzu, weil sie nah dran sind. Aber wenn die reale Temperatur tatsächlich „10 °C“ ist (ein Kälteeinbruch), ist Ihr Netz {20, 21, 22} nutzlos. Sie haben die Kälte völlig übersehen.
Neuer Weg (RPS/Median-zentriert): Sie betrachten das Gesamtbild. Wenn die KI zwischen „Kalt“, „Mild“ und „Heiß“ schwankt, baut die neue Methode ein Netz, das den gesamten Bereich von „Mild“ abdeckt, um sicherzustellen, dass man die Extreme nicht übersieht. Sie priorisiert die Minimierung der Distanz des Fehlers. Wenn man falsch liegt, möchte man, dass man nur ein wenig daneben liegt, nicht katastrophal daneben.

Warum das wichtig ist: Die „Kontiguitäts“-Regel

Bei ordinalen Problemen muss Ihr Sicherheitsnetz ein solider Block sein. Sie können kein Netz haben, das sagt: „Es ist entweder ein Baby oder ein Senior, aber definitiv kein Kind.“ Das ergibt keinen Sinn.

Das Paper beweist mathematisch, dass ihre neue Methode immer einen soliden, ununterbrochenen Block von Antworten liefert. Sie müssen keine speziellen Annahmen darüber treffen, dass die Daten „glockenförmig“ (unimodal) sind. Selbst wenn die KI verwirrt ist und glaubt, die Antwort könnte zwei sehr unterschiedliche Dinge sein (wie „Baby“ und „Senior“ mit nichts dazwischen), füllt diese Methode die Lücken auf, um sicherzustellen, dass das Sicherheitsnetz kontinuierlich ist.

Der „Geschwindigkeits“-Vorteil

Normalerweise erfordert das Finden des perfekten Sicherheitsnetzes viel Rechenaufwand (als müsste man jede mögliche Kombination von Zahlen durchprobieren). Die Autoren zeigen, dass ihre Methode super schnell ist. Es ist wie eine Abkürzung, die es ermöglicht, das perfekte Netz in einem einzigen Durchgang zu berechnen, anstatt durch ein Labyrinth zu suchen. Dies macht sie für den realen Einsatz praktikabel.

Die Ergebnisse: Eine bessere Balance

Die Autoren testeten dies an Bildern (wie der Altersschätzung anhand von Gesichtern oder der Erkennung der Schwere einer Krankheit in medizinischen Scans) und Datentabellen (wie Kredit-Scores).

Effizienz: Die neue Methode erstellt Sicherheitsnetze, die vernünftigerweise klein (effizient) sind.
Sicherheit: Entscheidend ist, dass wenn das Sicherheitsnetz tatsächlich versagt (die wahre Antwort liegt außerhalb des Netzes), der Fehler viel kleiner ist als bei alten Methoden.
- Alter Weg: „Ich habe 'Teenager' geraten, aber du warst ein 'Senior'.“ (Großer Fehler).
- Neuer Weg: „Ich habe 'Teenager' geraten, aber du warst ein 'Erwachsener'.“ (Kleiner Fehler).

Zusammenfassung

Dieses Paper führt eine intelligentere Art und Weise ein, wie eine KI sagen kann: „Ich bin mir nicht 100 % sicher, aber ich bin ziemlich sicher, dass die Antwort in diesem Bereich liegt.“

Anstatt blind die populärsten Vermutungen zu greifen, baut sie ein balanciertes, kontinuierliches Sicherheitsnetz, das sicherstellt, dass man – falls die KI falsch liegt – nur ein kleines bisschen daneben liegt und nicht katastrophal daneben. Es ist wie ein Seiltänzer, der immer das Gleichgewicht in der Mitte hält, um niemals einen riesigen, gefährlichen Schritt über den Rand zu machen.

Technisches Resümee: Zuverlässige konforme Prädiktion für ordinale Klassifikation unter Verwendung des Ranked Probability Score

Problemstellung

Die ordinale Klassifikation (OC) umfasst die Vorhersage diskreter Labels mit einer natürlichen linearen Ordnung (z. B. Krankheitsstadium, Altersgruppen, Kreditratings). Während signifikante Fortschritte in der Punktprädiktion für OC erzielt wurden, bleibt die Quantifizierung von Unsicherheit (Uncertainty Quantification, UQ) unterentwickelt, insbesondere in hochsensiblen Bereichen wie der Medizin und dem Finanzwesen. Die Standardmäßige Konforme Prädiktion (Conformal Prediction, CP) bietet verteilungsfreie Vorhersagemengen mit marginalen Abdeckungsgarantien, steht jedoch vor spezifischen Herausforderungen im ordinalen Kontext:

Kontiguität: Vorhersagemengen müssen zusammenhängende Intervalle sein (z. B. {Kind, Teenager, Erwachsener}), um die Label-Ordnung zu respektieren. Nicht-kontigente Mengen (z. B. {Kind, Senior}) sind semantisch unvernünftig.
Ordinales Risiko: Wenn ein wahres Label außerhalb der Vorhersagemenge liegt (Miscoverage), hängt die Schwere des Fehlers von der ordinalen Distanz ab. Eine Methode, die die Set-Größe minimiert (Effizienz), könnte Mengen erzeugen, die im Falle eines Scheiterns das wahre Label um eine große Spanne verfehlen, was zu einer katastrophalen Risiko-Fehleinschätzung führt.
Verteilungsannahmen: Bestehende Methoden verlassen sich oft auf gierige Suchverfahren (Greedy Search) oder erzwingen Unimodalität (einen einzelnen Gipfel in der prädiktiven Verteilung), um Kontiguität zu gewährleisten. Diese Annahmen halten möglicherweise nicht für komplexe Daten (z. B. bimodale Verteilungen durch Expertenuneinigkeit) und können zu verzerrten Unsicherheitsschätzungen führen.

Aktuelle Ansätze haben Schwierigkeiten, die Effizienz der Mengen mit der Minimierung der Größenordnung des ordinalen Fehlers in Einklang zu bringen, ohne starke strukturelle Biase in das zugrunde liegende prädiktive Modell aufzuerlegen.

Methodik

Die Autoren schlagen eine modellagnostische CP-Methode für die ordinale Klassifikation vor, die auf dem Ranked Probability Score (RPS) basiert.

Kernmechanismus:

Nichtkonformitäts-Score: Anstatt modus-zentrierter Scores (wie der Least Ambiguous Set-valued Classifier oder Adaptive Prediction Sets) verwendet die Methode den RPS als Maß für die Nichtkonformität. Der RPS ist eine streng konforme Scoring-Regel, die über kumulativen prädiktiven Verteilungen definiert ist:
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
wobei $F_X(k)$ die prädiktive kumulative Verteilungsfunktion (CDF) ist und $K$ die Anzahl der Klassen darstellt.
Konstruktion der Vorhersagemenge: Für eine Testinstanz $X_{n+1}$ und eine Fehlerrate $\alpha$ ist die Vorhersagemenge definiert als:
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
wobei $\hat{q}_{1-\alpha}$ das empirische $(1-\alpha)$ -Quantil der RPS-Scores ist, die auf einem Kalibrierungsdatensatz berechnet wurden.

Theoretische Eigenschaften:
Das Paper etabliert drei wesentliche Eigenschaften von RPS-basierten konformen Mengen:

Marginale Abdeckung: Die Methode erfüllt die Standard-Garantie der marginalen Abdeckung ( $P(Y \in C(X)) \geq 1-\alpha$ ) unter der Annahme der Austauschbarkeit, unabhängig vom zugrunde liegenden prädiktiven Modell.
Kontiguität und Median-Zentrierung: Im Gegensatz zu modus-basierten Ansätzen sind RPS-basierte Mengen konstruktionsbedingt kontig. Die RPS-Score-Funktion ist V-förmig um den Median der prädiktiven Verteilung definiert. Folglich sind die resultierenden Vorhersagemengen kontigente Intervalle, die um den Median zentriert sind, nicht um den Modus. Dies gilt auch für multimodale Verteilungen, bei denen Modus und Median divergieren.
Optimale Ordinale Risiko-Minimierung: Unter einer Oracle-bedingten Abdeckung (Conditional Coverage), bei der die wahre bedingte Verteilung bekannt ist, minimieren RPS-basierte Mengen die erwartete $L_1$ -Distanz (ordinales Risiko) zwischen dem wahren Label und der Vorhersagemenge. Die Methode optimiert die Reduktion des ordinalen Risikos anstelle der reinen Menge der Kardinalität.

Recheneffizienz:
Die Methode ist recheneffizient. Während die naive Berechnung des RPS für alle $K$ Labels $O(K^2)$ Zeit beansprucht, demonstrieren die Autoren eine Rekursionsrelation, die es ermöglicht, alle Scores in linearer Zeit $O(K)$ zu berechnen. Die Gesamtkomplexität skaliert linear sowohl mit der Anzahl der Kalibrierungspunkte als auch mit der Anzahl der Labels.

Wichtigste Beiträge

Neuartiges Nichtkonformitätsmaß: Einführung des Ranked Probability Score (RPS) als geeignetes, modellagnostisches Nichtkonformitätsmaß speziell für die ordinale konforme Prädiktion.
Theoretische Garantien: Beweis, dass RPS-basierte Mengen die marginale Abdeckung erfüllen, in Bezug auf $\alpha$ verschachtelt (nested) sind und inhärent kontig und median-zentriert sind, ohne Unimodalitätsannahmen vorauszusetzen.
Risiko-Optimierung: Demonstration, dass RPS-basierte Mengen das ordinale Risiko (set-basierter $L_1$ -Fehler) unter Oracle-bedingter Abdeckung direkt optimieren, im Gegensatz zu modus-zentrierten Methoden, die die Effizienz der Menge priorisieren.
Effizienz: Ein Implementierungsalgorithmus in linearer Zeit, der die gierigen Such- oder Binärsuchverfahren vermeidet, die für bestehende ordinale CP-Methoden erforderlich sind.
Empirische Validierung: Umfassende Evaluierung auf verschiedenen ordinalen Bild- und Tabulardatensätzen (BACH, RetinaMNIST, FGNet) im Vergleich zu Baselines wie min-CPS, COPOC (LAC/APS) und OCDF.

Experimentelle Ergebnisse

Die Autoren evaluierten die Methode auf mehreren Datensätzen unter Verwendung von Metriken, die sowohl Effizienz als auch ordinales Risiko erfassen:

Miscoverage Magnitude (Größenordnung des Fehlers): Gemessen durch die Mean Absolute Miscoverage Magnitude (MAMM) und die Worst-Case Absolute Miscoverage Magnitude (WAMM). RPS-basierte Mengen erreichten konsistent niedrigere MAMM- und WAMM-Werte im Vergleich zu modus-zentrierten Methoden (min-CPS, COPOCL, COPOCA), was darauf hindeutet, dass das wahre Label im Fehlerfall näher an der Vorhersagemenge liegt.
Effizienz vs. Risiko-Trade-off: Gemessen durch den Average Interval Score Loss (AISL), der sowohl weite Intervalle als auch große Miscoverage-Distanzen bestraft. RPS-basierte Mengen erzielten ein günstigeres Gleichgewicht und übertrafen oft die Baselines im AISL.
Kontiguität: Alle RPS-basierten Mengen waren kontig (CV = 0), während nicht-ordinale Baselines (LAC, APS) häufig die Kontiguität verletzten.
Robustheit: In Fällen mit multimodalen prädiktiven Verteilungen (z. B. bimodale Expertenmeinungen) behielt der RPS eine robuste Leistung bei, während modus-zentrierte Methoden dazu neigten, das ordinale Risiko zu unterschätzen, da sie sich auf den einzelnen höchsten Wahrscheinlichkeitspeak konzentrierten.

Bedeutung und Behauptungen

Das Paper behauptet, dass die RPS-basierte konforme Prädiktion eine robuste und vielseitige Lösung für die ordinale Unsicherheitsquantifizierung darstellt. Die primäre Bedeutung liegt in:

Getreue Repräsentation der Unsicherheit: Durch die Konstruktion als median-zentriert und kontig spiegelt sie die volle ordinale Struktur und die damit verbundenen Risiken präzise wider, insbesondere in Szenarien mit schiefen oder multimodalen Verteilungen, in denen modus-basierte Ansätze versagen.
Anwendbarkeit in Hochrisikobereichen: Die Methode minimiert die Schwere der Fehlbedeckung (Miscoverage), eine kritische Anforderung in Domänen wie der medizinischen Diagnose und der Finanzrisikobewertung, in denen die Kosten eines Fehlers proportional zu seiner ordinalen Distanz sind.
Praktikabilität: Die Methode bietet ein recheneffizientes, modellagnostisches Framework, das nicht auf spezifischen architektonischen Beschränkungen (wie Unimodalität) oder aufwendigen Suchverfahren beruht, was sie für jeden zugrunde liegenden probabilistischen Prädiktor anwendbar macht.

Die Autoren kommen zu dem Schluss, dass RPS-basierte Mengen zwar nicht immer die kleinstmöglichen Vorhersagemengen liefern (maximale Effizienz), aber ein überlegenes Gleichgewicht zwischen Intervallbreite und der Größenordnung des ordinalen Fehlers bieten, was sie zu einer zuverlässigen Wahl für reale ordinale Vorhersageaufgaben macht. Als zukünftige Arbeit wird vorgeschlagen, die Unsicherheit innerhalb dieses Rahmens in epistemische und aleatorische Komponenten zu zerlegen.