🤖 machine learning

Benchmarking non-conformity score functions in conformal prediction

Dieser Beitrag bietet einen Überblick und stellt Modifikationen von Nicht-Konformitäts-Score-Funktionen im konformen Lernen vor, wobei eine neuartige Evaluierungsmethode vorgeschlagen wird, um deren Wirksamkeit bei der Generierung von Vorhersagemengen zu bewerten, insbesondere unter Bedingungen der Klassenungleichverteilung.

Ursprüngliche Autoren: Sol Erika Boman

Veröffentlicht 2026-05-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sol Erika Boman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Vom „Raten einer Sache" zum „Erstellen einer sicheren Liste"

Stellen Sie sich vor, Sie spielen ein Spiel namens „Raten Sie das Tier". Ein herkömmliches maschinelles Lernmodell ist wie ein selbstbewusster Freund, der auf ein Bild zeigt und sagt: „Das ist definitiv eine Katze." Manchmal liegen sie richtig, manchmal falsch, und sie geben niemals Unsicherheit zu.

Konforme Vorhersage (Conformal Prediction) ist ein anderer Ansatz. Anstatt nur ein Tier zu raten, gibt das Modell Ihnen eine Liste von Möglichkeiten. Es könnte sagen: „Dies ist wahrscheinlich eine Katze, aber es könnte auch ein Hund oder ein Fuchs sein."

Der Zauber dieser Methode liegt darin, dass sie ein Sicherheitsnetz garantiert. Wenn Sie dem Modell sagen: „Ich möchte zu 95 % sicher sein, dass meine Antwort in der Liste enthalten ist", passt das Modell die Größe seiner Liste so an, dass über die Zeit das echte Tier in 95 % der Fälle in dieser Liste enthalten ist.

Das Problem: Wie groß sollte die Liste sein?

Das Paper stellt eine entscheidende Frage: Wie entscheiden wir, was auf diese Liste kommt?

Wenn die Liste zu klein ist (z. B. nur „Katze"), könnten Sie die richtige Antwort verpassen. Wenn die Liste zu groß ist (z. B. „Katze, Hund, Fuchs, Hamster, Goldfisch"), sind Sie zwar sicher, aber die Liste ist nutzlos, weil sie alles enthält.

Das Werkzeug, das das Modell verwendet, um zu entscheiden, was auf die Liste kommt, heißt Nicht-Konformitäts-Score (Non-conformity Score). Betrachten Sie diesen Score als einen „Seltsamkeits-Messgerät".

Niedriger Score: Der Datenpunkt sieht für diese Klasse sehr normal aus (z. B. sieht ein flauschiges Bild sehr viel wie eine Katze aus).
Hoher Score: Der Datenpunkt sieht für diese Klasse seltsam oder „nicht konform" aus (z. B. sieht ein Bild eines Felsens sehr seltsam aus, wenn Sie versuchen, es eine Katze zu nennen).

Das Ziel des Papers war es, verschiedene Arten von „Seltsamkeits-Messgeräten" zu testen, um herauszufinden, welche die nützlichsten Listen erstellt (Listen, die klein, aber dennoch sicher sind).

Die getesteten „Seltsamkeits-Messgeräte"

Die Autoren testeten mehrere Möglichkeiten, „Seltsamkeit" über verschiedene Datentypen hinweg zu messen (wie Bilder von Tieren). Hier sind die wichtigsten, die sie verglichen, unter Verwendung von Analogien:

Label-Distanz (Das „Zielschießen"-Messgerät):
- Wie es funktioniert: Es misst, wie weit die Vermutung des Modells von der „perfekten" Antwort entfernt ist. Stellen Sie sich vor, Sie werfen einen Dartpfeil auf ein Bullauge. Wenn der Pfeil nah am Bullauge ist, ist der Score niedrig (nicht seltsam). Wenn er weit entfernt ist, ist der Score hoch.
- Die Erkenntnis des Papers: Dies funktionierte sehr gut, insbesondere bei Verwendung einer bestimmten Distanzmessmethode namens „Cosine Distance" (die die Richtung der Vermutung betrachtet und nicht nur die rohe Distanz).
Margin-Distanz (Das „Grenzschutz"-Messgerät):
- Wie es funktioniert: Anstatt die Distanz zur perfekten Antwort zu messen, misst es, wie nah die Vermutung an der Grenze zwischen zwei Antworten liegt. Wenn Sie genau auf der Linie zwischen „Katze" und „Hund" stehen, sind Sie sehr verwirrt (hohe Seltsamkeit). Wenn Sie tief im „Katzen"-Territorium sind, sind Sie zuversichtlich (niedrige Seltsamkeit).
- Die Erkenntnis des Papers: Dies war ein Superstar unter den Methoden und erstellte oft die kleinsten, effizientesten Listen, insbesondere wenn man sich die rohen Zahlen ansieht, bevor sie in Prozentsätze umgewandelt werden.
Mean-Distanz (Das „Gruppenumarmung"-Messgerät):
- Wie es funktioniert: Es vergleicht ein neues Bild mit dem „Durchschnitt" aller Bilder, die es zuvor für diese Klasse gesehen hat. Wenn ein neues Katzenbild wie der durchschnittliche Katzenaussehen, passt es gut. Wenn es wie ein Hund aussieht, ist es seltsam.
- Die Erkenntnis des Papers: Dies war die beste Methode für komplexe Datensätze mit vielen Kategorien (wie CIFAR100).
APS/RAPS/SAPS (Die „Ranglisten"-Messgeräte):
- Wie es funktioniert: Dies sind komplexere Methoden, die sich die Rangfolge der Antworten ansehen. Sie sagen: „Lassen Sie uns die Top-Vermutung hinzufügen, dann die zweite, dann die dritte...", bis wir uns sicher genug fühlen, um aufzuhören. Sie fügen mathematische Tricks (Regularisierung) hinzu, um zu verhindern, dass die Listen zu groß werden.
- Die Erkenntnis des Papers: Diese waren gut, erstellten jedoch oft etwas größere Listen als die „Distanz"-Messgeräte. Interessanterweise stellte das Paper fest, dass das zufällige „Rauschen", das normalerweise zu diesen Methoden hinzugefügt wird, um sie fair zu machen, für die Sicherheitsgarantie eigentlich nicht notwendig war; eine einfache feste Zahl funktionierte genauso gut.
Gradienten/Feature-Distanz (Die „Tiefen-Bohrung"-Messgeräte):
- Wie es funktioniert: Diese versuchen, Seltsamkeit tief im Gehirn des Computers (den Feature-Schichten) zu messen, und nicht nur am endgültigen Ausgang.
- Die Erkenntnis des Papers: Diese waren rechenintensiv (langsam) und performten nicht unbedingt besser als die einfacheren Methoden.

Der „ungerechte" Test: Unausgeglichene Klassen

Die Autoren testeten auch, was passiert, wenn die Daten unfair sind. Stellen Sie sich einen Datensatz vor, bei dem 90 % der Bilder Katzen sind und nur 1 % Tiger.

Die Herausforderung: Das Modell ist hervorragend darin, Katzen zu erkennen, aber schlecht darin, Tiger zu erkennen.
Das Ergebnis: Wenn das Modell gezwungen wird, zu 95 % sicher zu sein, enthält es oft den „Tiger" in der Liste für fast jedes einzelne Bild, selbst wenn das Bild eindeutig eine Katze ist.
Warum? Das Modell ist so unsicher bezüglich Tigers, dass es auf Nummer sicher geht. Es ist wie ein Sicherheitsbeamter, der so Angst hat, einen Tiger zu übersehen, dass er jeden stoppt, der das Gebäude betritt. Das Paper stellt fest, dass dies zwar die Vorhersage „ehrlich" macht (es gibt zu, dass es es nicht weiß), aber die Liste riesig macht und für die häufigen Gegenstände weniger nützlich ist.

Die wichtigsten Erkenntnisse

Kein einziger Gewinner: Es gibt kein „bestes" Seltsamkeits-Messgerät für jede Situation.
- Für einfache Aufgaben funktionierten Label-Distanz oder Margin-Distanz am besten.
- Für komplexe Aufgaben mit vielen Kategorien war Mean-Distanz der Champion.
Die Richtung zählt: Die Verwendung von Cosine Distance (Messung des Winkels/der Richtung der Daten) war oft besser als die Standarddistanz, insbesondere in hochdimensionalen Räumen (wie bei Deep-Learning-Modellen).
Einfachheit gewinnt: Die komplexesten Methoden (wie tiefe Feature-Gradienten) lieferten nicht unbedingt bessere Ergebnisse und waren viel langsamer.
Die Architektur zählt: Die Art des verwendeten Computermodells (z. B. ResNet vs. EfficientNet) änderte, welches „Seltsamkeits-Messgerät" am besten funktionierte, was darauf hindeutet, dass die Wahl des Messgeräts von dem spezifischen Modell abhängt, das Sie verwenden.

Kurz gesagt bietet das Paper ein „Speisekarte" von Werkzeugen zum Erstellen sichererer KI-Listen. Es zeigt, dass Sie durch die Auswahl des richtigen „Seltsamkeits-Messgeräts" für Ihr spezifisches Problem Ihre Vorhersagelisten klein und nützlich halten können, ohne die Sicherheit zu beeinträchtigen.

Technische Zusammenfassung: Benchmarking von Nicht-Konformitäts-Score-Funktionen im Konformen Vorhersagen

Problemstellung

Konforme Vorhersage (CP) bietet eine rigorose Alternative zur Modellskalierung im maschinellen Lernen für Klassifikationsaufgaben, indem sie Vorhersagemengen anstelle von Einzelklassen-Vorhersagen generiert. Während CP garantiert, dass die wahre Klasse mit einer Wahrscheinlichkeit von mindestens $1 - \alpha$ in der Vorhersagemenge enthalten ist (wobei $\alpha$ eine vorab festgelegte Fehlerrate ist), hängt die praktische Nutzbarkeit dieser Mengen stark von ihrer Größe ab. Eine zu große Vorhersagemenge ist uninformative.

Die Größe und Nützlichkeit dieser Mengen werden durch die Wahl der Nicht-Konformitäts-Score-Funktion bestimmt. Trotz der Existenz zahlreicher Score-Funktionen in der Literatur fehlt es an systematischen Studien, die deren Eigenschaften, Wirksamkeit und Wechselwirkung mit Modellarchitekturen und Klassenungleichgewichten untersuchen. Dieser Beitrag schließt die Lücke im Verständnis, wie verschiedene Score-Funktionen in verschiedenen konformen Domänen (Wahrscheinlichkeitsraum, Logit-Raum und Merkmalsraum) und unter unterschiedlichen Bedingungen, einschließlich unausgewogener Datensätze, performen.

Methodik

Evaluierungsmetrik

Die Autoren führen eine neue Evaluierungsmetrik, $I_1$ , ein, um Score-Funktionen unabhängig von einer willkürlichen Wahl der Fehlerrate $\alpha$ zu bewerten. Traditionelle Metriken berichten die mittlere Größe der Vorhersagemenge bei einem festen $\alpha$ , was irreführend sein kann, wenn $\alpha$ nicht mit der Modellgenauigkeit übereinstimmt.
Die Metrik ist definiert als:
$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$
wobei $A_k$ die Top- $k$ -Modellgenauigkeit ist (speziell $A_1$ für Top-1-Genauigkeit) und $\bar{|P|}(\alpha)$ die mittlere Größe der Vorhersagemenge bei der Fehlerrate $\alpha$ ist. Dieses Integral beschränkt die Evaluierung auf den „interessanten" Bereich der Fehlerraten (von 0 bis zur inhärenten Fehlerrate des Modells) und liefert eine einzelne, objektive Zahl, wobei niedrigere Werte eine bessere Leistung (kleinere Vorhersagemengen) anzeigen.

Experimentelles Setup

Datensätze: ImageNet (1000 Klassen), CIFAR-100 (100 Klassen) und CIFAR-10 (10 Klassen).
Modelle: ResNet50 (primär), ResNet18 und EfficientNet-B0.
Konforme Domänen: Die Studie bewertet Score-Funktionen über drei verschiedene Räume:
1. Wahrscheinlichkeitsraum: Die Ausgabe der Softmax-Funktion ( $\Delta_{n-1}$ ).
2. Logit-Raum: Die rohen Ausgabevektoren vor der Softmax-Funktion ( $\mathbb{R}^n$ ).
3. Merkmalsraum: Die finalen Merkmalsvektoren vor der linearen Ausgabeschicht.
Getestete Score-Funktionen:
- Label-Distanz: Distanz zwischen der Vorhersage und dem one-hot-kodierten Label.
- Margin-Distanz: Distanz zur Entscheidungsgrenze zwischen der wahren Klasse und der wahrscheinlichsten falschen Klasse.
- Mean-Distanz: Distanz zum Mittelwert der Kalibrierungsbeispiele, die derselben Klasse angehören.
- Nearest Neighbor: Verhältnis der Distanzen zum nächsten Beispiel derselben Klasse versus zu Beispielen anderer Klassen.
- APS/RAPS/SAPS: Adaptive Prediction Sets und deren regularisierte Varianten (Rank-basierte Methoden).
- Gradient/Fast Gradient: Merkmalsbasierte Methoden, die die Distanz zur Entscheidungsgrenze im Merkmalsraum approximieren.
Ungleichgewichts-Testing: Ein klassenbedingtes Setting wurde getestet, bei dem Minderheitenklassen auf eine Prävalenz von 10 % reduziert wurden, um zu bewerten, wie gut verschiedene Score-Funktionen mit Klassenungleichgewichten umgehen.

Wichtige Ergebnisse

Leistung der Score-Funktionen

Die Benchmark-Ergebnisse, zusammengefasst durch die $I_1$ -Metrik, zeigen deutliche Leistungsmuster:

Distanzbasierte vs. Rangbasierte: Distanzbasierte Score-Funktionen schnitten im Allgemeinen besser ab als rangbasierte Methoden (APS, RAPS, SAPS) hinsichtlich der Größe der Vorhersagemenge, insbesondere bei Verwendung der Cosine-Distanz.
Optimale Domänen und Metriken:
- Margin-Distanz im Logit-Raum unter Verwendung der Cosine-Distanz erzielte die niedrigsten $I_1$ -Werte für ImageNet über ResNet-Modelle hinweg.
- Mean-Distanz performte auf CIFAR-100 außergewöhnlich gut, insbesondere im Merkmalsraum mit Cosine-Distanz.
- Label-Distanz im Wahrscheinlichkeitsraum mit Cosine-Distanz war ebenfalls hoch kompetitiv.
Euklidisch vs. Cosine: Die euklidische Distanz erwies sich als weniger geeignet für hochdimensionale Räume (wie Merkmalsvektoren in ResNet50), während die Cosine-Distanz robust performte, was darauf hindeutet, dass diese Modelle Klassen in annähernd orthogonale Cluster organisieren.
Randomisierung in APS/RAPS: Die Studie ergab, dass der randomisierte Term ( $u$ ) in APS und RAPS in kalibrierten Settings für Coverage-Garantien nicht strikt notwendig ist. Das Setzen von $u$ auf eine kleine Konstante (als Tie-Breaker dienend) führte oft zu besseren Ergebnissen als der standardmäßige randomisierte Ansatz.
Gradient-Methoden: Die Gradient- und Fast-Gradient-Methoden waren rechenintensiv und performten im Fall von Fast Gradient auf den getesteten Datensätzen signifikant schlechter als andere Methoden.

Einfluss der Modellarchitektur

Während ResNet50 und ResNet18 eine ähnliche relative Reihenfolge der Score-Funktionsleistung zeigten, wies EfficientNet-B0 eine andere Rangfolge auf. Dies deutet darauf hin, dass die Modellarchitektur (z. B. Aktivierungsfunktionen wie ReLU vs. Swish) die geometrischen Eigenschaften der konformen Domäne und somit die optimale Wahl der Score-Funktion beeinflusst, möglicherweise stärker als die rohe Genauigkeit des Modells.

Klassenungleichgewicht

Im unausgewogenen Setting wurden Minderheitenklassen oft mit Frequenzen in Vorhersagemengen aufgenommen, die weit über ihrer tatsächlichen Prävalenz lagen (z. B. 27 % Aufnahme für eine Klasse mit 0,1 % tatsächlicher Prävalenz). Die Autoren stellen fest, dass dies zwar die Präzision des Vorhersagers verringert, aber eine „ehrliche" Reflexion der inhärenten Unsicherheit des zugrunde liegenden Modells bezüglich seltener Klassen darstellt. Mean-Distanz im Merkmalsraum zeigte erneut die beste Fähigkeit, diese Überaufnahme zu minimieren, während die Coverage erhalten blieb.

Bedeutung und Behauptungen

Der Beitrag beansprucht, eine Wissenslücke bezüglich der Eigenschaften und Wirksamkeit von Nicht-Konformitäts-Score-Funktionen zu schließen. Seine Hauptbeiträge sind:

Systematisches Benchmarking: Eine umfassende Vergleichsstudie verschiedener Score-Funktionen über mehrere Datensätze, Modelle und konforme Domänen hinweg.
Evaluierungsmetrik: Die Einführung von $I_1$ als robuste, einzahlige Metrik, die die Modellgenauigkeit berücksichtigt und eine willkürliche Auswahl der Fehlerrate vermeidet.
Domänen- und Metrik-Erkenntnisse: Der Nachweis, dass die Cosine-Distanz in hochdimensionalen konformen Domänen der euklidischen Distanz überlegen ist und dass der Logit-Raum oft den Wahrscheinlichkeitssimplex übertrifft.
Praktische Anleitung: Einen Ausgangspunkt für Praktiker zu bieten, Score-Funktionen basierend auf ihrer spezifischen Modellarchitektur und ihren Datensatzcharakteristika auszuwählen, anstatt sich auf eine einzelne „beste" universelle Methode zu verlassen.

Die Autoren schließen, dass keine einzelne Score-Funktion universell überlegen ist; vielmehr hängt die optimale Wahl vom spezifischen Kontext des Modells und der Daten ab. Das Benchmarking liefert jedoch eine klare, datengestützte Grundlage für diese Auswahlentscheidungen.