🤖 machine learning

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

Dieses Papier schlägt einen entscheidungstheoretischen Rahmen zur Bewertung epistemischer Unsicherheit vor, der auf Regret-Minimierung anstatt auf traditionellen Proxy-Aufgaben basiert, wobei nachgewiesen wird, dass Standard-Korrelationsmetriken den operativen Nutzen nicht vorhersagen können, und signifikante Diskrepanzen zwischen der entscheidungstheoretischen und der Proxy-Aufgaben-basierten Rangfolge von Unsicherheitsmethoden aufzeigt.

Ursprüngliche Autoren: Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

Veröffentlicht 2026-07-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das durch einen chaotischen Nebel navigiert. Der Computer Ihres Schiffes ist unglaublich intelligent, muss Ihnen jedoch zwei verschiedene Arten von „Unsicherheit“ melden. Die erste ist die aleatorische Unsicherheit: das ist der „Nebel des Krieges“. Es ist das Rauschen in den Sensoren, das Statik auf dem Funkgerät, die Tatsache, dass der Nebel selbst einfach chaotisch und unvorhersehbar ist. Egal wie gut Ihr Computer auch werden mag, dieses Rauschen wird immer da sein; es ist das irreduzible Chaos des Universums. Die zweite ist die epistemische Unsicherheit: das ist das „Nichtwissen“ des Computers. Es ist das Gefühl, das der Computer bekommt, wenn er auf ein Stück Welt blickt, das er noch nie gesehen hat, und denkt: „Ich habe keine Ahnung, was dort draußen ist, weil ich diese Region noch nicht studiert habe.“ Diese Art von Unsicherheit ist reduzierbar; wenn der Computer mehr lernt, verschwindet diese Angst.

Lange Zeit waren Wissenschaftler, die versuchten, bessere KI zu bauen, besessen davon, dem Computer beizubringen, zwischen dem „Nebel“ und seinem eigenen „Nichtwissen“ zu unterscheiden. Warum? Weil ein Computer, der weiß, dass er unwissend ist, sagen kann: „Ich weiß es nicht, frag mich nicht nicht“, und so eine gefährliche Fehlentscheidung vermeidet. Aber hier liegt der Knackpunkt: Wie testet man, ob ein Computer tatsächlich gut darin ist, seine eigene Unwissenheit zu erkennen? Traditionell haben Forscher dafür zwei Haupt-„Proxy-Tests“ verwendet. Der eine ist die Out-of-Distribution (OOD)-Erkennung, die fragt: „Kannst du erkennen, wenn du etwas völlig Seltsames siehst, das du noch nie gesehen hast?“ Der andere ist das Active Learning, das fragt: „Wenn du ein neues Datensegment wählen könntest, um es zu studieren, welches würde dir am meisten lehren?“ Die große Frage ist: Sagen uns diese Tests wirklich, ob ein Computer gut darin ist, seine eigene Unwissenheit zu erkennen, oder testen sie eigentlich etwas ganz anderes?

Dieses Paper mit dem Titel „Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning“ argumentiert, dass wir das falsche Spiel spielen. Die Autoren, ein Team von Forschern aus Prag, Gent und München, haben entdeckt, dass die mathematische „perfekte Antwort“ für das Erkennen seltsamer Daten (OOD) oder das Auswählen des besten Lernmaterials (Active Learning) tatsächlich völlig anders ist als die „perfekte Antwort“ für das Erkennen von Unwissenheit (Regret/Reue).

Um dies zu verstehen, stellen Sie sich vor, Sie wären ein Lehrer, der einen Schüler bewertet.

Der OOD-Test ist, als würde man den Lehrer fragen: „Können Sie erkennen, ob diese Frage von einem Außerirdischen geschrieben wurde?“ Die perfekte Antwort hängt nur davon ab, wie die Frage aussieht, nicht davon, ob der Schüler die Antwort kennt.
Der Active-Learning-Test ist wie die Frage: „Welche Frage sollten wir als Nächstin stellen, um dem Schüler am meisten beim Lernen zu helfen?“ Die perfekte Antwort hängt davon ab, wie sehr sich das zukünftige Wissen des Schülers verbessern wird.
Der Regret-Test (Epistemische Unsicherheit) ist die Frage: „Wie wahrscheinlich ist es, dass dieser Schüler gerade für diese spezifische Frage scheitert, nur weil er das Material einfach nicht kennt?“

Das Paper beweist mathematisch, dass diese drei „perfekten Antworten“ oft in völlig unterschiedliche Richtungen deuten. Ein Computer kann fantastisch darin sein, außerirdische Fragen zu erkennen (OOD), aber schrecklich darin, zu wissen, wann er bei einer spezifischen Matheaufgabe versagen wird (Regret). Tatsächlich haben die Autoren eine einfache, eindimensionale „Sandbox-Welt“ gebaut (inspiriert von einer Funktion namens Rossellini-Funktion), um zu zeigen, dass die beste Strategie für die OOD-Erkennung Sie vielleicht dazu veranlasst, einen bestimmten Weltraumabschnitt abzulehnen, während die beste Strategie zur Minimierung von Regret Sie dazu veranlasst, genau diesen Bereich zu akzeptieren. Sie sind fundamental nicht deckungsgleich.

Aufgrund dieser Diskrepanz argumentieren die Autoren, dass die Verwendung der OOD-Erkennung oder des Active Learning als „Proxy“, um zu beurteilen, wie gut ein Modell seine eigene Unwissenheit versteht, fehlerhaft ist. Sie zeigen, dass Methoden, die beim OOD-Test Platz 1 belegen, beim Regret-Test nur Platz 10 erreichen können und umgekehrt. Zum Beispiel waren in ihren Tests auf dem CIFAR-10H-Datensatz (einer Sammlung von Bildern mit vielen menschlichen Meinungen darüber, was sie darstellen) „Evidential Networks“ schrecklich darin, seltsame Daten (OOD) zu erkennen, aber sie waren absolut am besten darin, zu identifizieren, wann sie unwissend waren und wahrscheinlich einen Fehler machen würden. Im Gegensatz dazu waren „Deep Ensembles“ großartig darin, seltsame Daten (OOD) zu erkennen, scheiterten aber daran, das Regret zu minimieren.

Das Paper befasst sich auch mit einer populären Idee in diesem Bereich, der „Disentanglement“ (Entflechtung). Kürzlich argumentierten einige Forscher, dass es ein Zeichen dafür sei, dass ein Computer die Konzepte nicht getrennt hat, wenn ein Computers „Nebel-Score“ und „Unwissenheits-Score“ stark korreliert sind (also gemeinsam steigen und fallen). Die Autoren stellen dies in Frage. Sie zeigen, dass ein Computer selbst dann perfekte Entscheidungen treffen kann, wenn die Scores hoch korreliert sind. Anstatt nur zu prüfen, ob die Scores korreliert sind, schlagen sie einen neuen, praktischeren Test vor: die Pareto-Gap.

Stellen Sie sich die Pareto-Gap als eine „Entscheidungskarte“ vor. Stellen Sie sich einen 3D-Graphen vor, in dem man zwischen der Anzahl der beantworteten Fragen (Coverage), der Anzahl der Fehler (Risk) und dem vermiedenen „Nichtwissen“ (Regret) abwägen kann. Der „perfekte“ Computer zeichnet eine glatte, ideale Kurve auf diese Karte. Die Autoren messen, wie nah die Kurve eines echten Computers an dieser idealen Linie liegt. Sie fanden heraus, dass Methoden mit hoher Korrelation zwischen ihren Scores (was manche für schlecht hielten) tatsächlich in der Lage waren, Kurven sehr nah an der perfekten Linie zu zeichnen, was bedeutet, dass sie operativ nützlich waren.

Zusammenfassend lässt sich sagen, dass die Autoren beweisen, dass wir nicht einfach nur beobachten können, wie gut ein Modell seltsame Daten erkennt oder Lern-Themen auswählt, um zu sehen, ob es seine eigene Unwissenheit versteht. Sie liefern einen neuen Rahmen, der Unsicherheit als Werkzeug für bessere Entscheidungen behandelt, und zeigen, dass die alten Wege der Testung uns oft zu den falschen Schlussfolgerungen über die Sicherheit und Zuverlässigkeit von KI-Modellen führen. Ihre Ergebnisse basieren auf strengen mathematischen Beweisen und umfangreichen Benchmarks auf realen Datensätzen mit dichten menschlichen Annotationen, was darauf hindeutet, dass das Feld aufhören muss, sich auf diese praktischen, aber irreführenden Proxy-Tests zu verlassen, und statfangen sollte, Unsicherheit basierend auf dem tatsächlichen Regret zu messen, den sie zu vermeiden hilft.

Technische Zusammenfassung: Evaluierung epistemischer Unsicherheit jenseits von OOD-Detektion und Active Learning

Problemstellung
Die aktuelle Evaluierung epistemischer Unsicherheit (Modellignoranz) stützt sich stark auf Ersatzaufgaben wie die Out-of-Distribution (OOD)-Detektion und Active Learning. Die Autoren argumentieren jedoch, dass die Bayes-optimalen Entscheidungsstrategien für diese Ersatzaufgaben mathematisch nicht mit den Scores übereinstimmen, die zur Quantifizierung der epistemischen Unsicherheit für den Einsatz verwendet werden. Während die OOD-Detektion das Likelihood-Verhältnis von Eingaben unabhängig vom prädiktiven Verlust optimiert, optimiert Active Learning die globale Fehlerminimierung, wohingegen epistemische Unsicherheit im Kontext des Einsatzes als der lokale reduzierbare Fehler (Regret) definiert ist. Diese theoretische Diskrepanz führt zu einer Situation, in der Methoden, die bei Proxy-Aufgaben hoch bewertet werden, bei der Bewertung ihres tatsächlichen operativen Nutzens – der Minimierung des Regrets – schlecht abschneiden können. Darüber hinaus kritisiert die jüngere Literatur die Entkopplung von Unsicherheiten basierend auf hohen Rangkorrelationen zwischen gelernten aleatorischen und epistemischen Komponenten, ein Metrik, die die Autoren als unzureichend ansehen, um die funktionale Nützlichkeit zu erfassen.

Methodik
Das Paper schlägt einen einheitlichen Rahmen zur Evaluierung epistemischer Unsicherheit vor, indem es direkt deren Fähigkeit misst, Regret zu identifizieren, anstatt sich auf Ersatzaufgaben zu verlassen.

Theoretische Vereinheitlichung: Die Autoren vereinheitlichen die Standard-selektive Klassifikation (totale Unsicherheit) und die epistemische Reject-Option in einem einzigen Rahmen der beschränkten Optimierung. Sie formulieren die selektive Prädiktion als ein Optimierungsproblem über Coverage ( $\rho$ ), erwartetes Risiko ($Ri$) und Regret ($Re$).
Optimaler Selektor Beweis: Sie beweisen (Theorem 1), dass der optimale Selektor für jede Kombination dieser Beschränkungen eine thresholdierte konvexe Kombination der wahren aleatorischen ( $A^*$ ) und epistemischen ( $E^*$ ) Unsicherheiten ist. Der optimale Score hat die Form $(1-\lambda)A^* + \lambda E^*$ , wobei $\lambda \in [1/2, 1]$ .
Diagnostische Metrik (Pareto-Gap): Anstatt sich auf die Rangkorrelation zur Evaluierung der Entkopplung zu verlassen, schlagen die Autoren vor, den Abstand zwischen der erreichbaren Oberfläche einer Methode im (Coverage, Risk, Regret)-Raum und der theoretischen Pareto-optimalen Oberfläche ( $S^*$ ) zu messen. Dieser Abstand, bezeichnet als „Pareto-Gap“, dient als Diagnose dafür, ob die gelernten Komponenten gemeinsam die notwendigen Informationen für optimale Einsatzentscheidungen enthalten.
Empirisches Benchmarking: Um die Unberechenbarkeit des wahren Regrets in Standard-Single-Label-Settings zu umgehen, nutzen die Autoren Datensätze mit dichten menschlichen Annotationen (z. B. CIFAR-10H, APPA-REAL, DCIC Suite), um die wahre datengenerierende Verteilung $p^*(y|x)$ zu approximieren. Dies ermöglicht die exakte Berechnung des Bayes-optimalen Prädiktors und des wahren frequentistischen Regrets. Sie benchmarken Standardmethoden der Unsicherheitsquantifizierung (MC-Dropout, Deep Ensembles, DDU, Evidential Networks) gegen diese Ground Truths und vergleichen sie mit Ergebnissen aus Proxy-Aufgaben (OOD-Detektion, Active Learning).

Zentrale Beiträge

Theoretische Diskrepanz: Das Paper zeigt auf, dass Bayes-optimale Scorers für OOD-Detektion, Active Learning (BALD, EER) und Regret-Minimierung fundamental unterschiedliche Regionen des Eingangsraums adressieren. Eine Methode, die für ein Kriterium optimiert ist, kann unter einem anderen versagen.
Vereinheitlichter Rahmen: Die Autoren liefern einen mathematischen Beweis, dass die optimale Entscheidungsregel zur Minimierung des exzessiven Risikos unter Coverage-Beschränkungen immer ein Threshold auf einer konvexen Kombination von aleatorischer und epistemischer Unsicherheit ist.
Neue Diagnostik: Sie stellen die Abhängigkeit von der Rangkorrelation zur Evaluierung der Entkopplung von Unsicherheiten in Frage. Sie zeigen, dass eine hohe Korrelation nicht zwangsläufig ein Versagen der Trennung bedeutet, wenn die Komponenten dennoch eine optimale Entscheidungsgrenze mittels linearer Kombination bilden können. Sie führen den Pareto-Gap als eine operativ relevantere Metrik ein.
Empirische Evidenz: Durch umfassendes Benchmarking auf Datensätzen mit menschlich annotierten Verteilungen zeigen die Autoren, dass entscheidungs-theoretische Rankings (basierend auf Regret) oft erheblich von Proxy-Aufgaben-Rankings abweichen. Bemerkenswert ist, dass sie Paar-Rang-Inversionen beobachten, bei denen Methoden, die bei OOD oder Active Learning führend sind, beim Regret schlecht abschneiden und umgekehrt.

Ergebnisse

Rang-Inversionen: Auf dem CIFAR-10H-Datensatz erzielten Evidential Networks die beste reine epistemische Nützlichkeit (niedrigster AuReC) und den kleinsten Pareto-Gap, obwohl sie in OOD-Detektions- und Active-Learning-Benchmarks schlecht abschnitten. Im Gegensatz dazu schnitten Deep Ensembles und DDU, die die OOD-Detektion dominierten, bei der Isolierung des reduzierbaren Fehlers (Regret) schlecht ab.
Korrelation vs. Nützlichkeit: Auf CIFAR-10H zeigten Evidential Networks eine nahezu perfekte Rangkorrelation ( $\rho_S = 0.999$ ) zwischen ihren gelernten aleatorischen und epistemischen Komponenten. Traditionelle Metriken würden dies als Versagen der Entkopplung klassifizieren. Dieselben Komponenten erreichten jedoch die geringste Distanz zum theoretischen Optimum (Pareto-Gap = 0.0379), was zeigt, dass eine hohe Korrelation die operative Nützlichkeit nicht ausschließt.
Ground-Truth-Korrelation: Die Autoren stellten auch fest, dass selbst die wahren aleatorischen und epistemischen Unsicherheiten ( $A^*, E^*$ ) eine hohe Rangkorrelation (bis zu 0.882 auf CIFAR-10H) aufweisen können, was darauf hindeutet, dass eine hohe Korrelation in den gelernten Komponenten den datengenerierenden Prozess widerspiegeln kann und kein methodisches Versagen darstellt.

Bedeutung
Das Paper behauptet, dass die Abhängigkeit des Feldes von OOD-Detektion und Active Learning als Proxys für epistemische Unsicherheit theoretisch fehlerhaft ist und zu irreführenden Schlussfolgerungen darüber führt, welche Unsicherheitsschätzer für den Einsatz nützlich sind. Durch die Verlagerung des Fokus der Evaluierung auf die Fähigkeit zur Regret-Minimierung und durch die Einführung des Pareto-Gaps als Diagnose für die gemeinsame operative Nützlichkeit bieten die Autoren eine rigorosere Basis für die Evaluierung der Unsicherheitsquantifizierung. Sie argumentieren, dass Forscher explizit die nachgeschaltete Aktion (z. B. das Enthalten von riskanten Vorhersagen) definieren müssen, anstatt sich auf ambivalente Begriffe wie „Ignoranz“ oder auf Ersatzaufgaben zu verlassen, die unterschiedliche mathematische Ziele optimieren. Die Arbeit verdeutlicht, dass Standard-Evaluierungsmetriken Modelle auswählen könnten, die suboptimal für das eigentliche Ziel der Reduktion des reduzierbaren Fehlers im realen Einsatz sind.

Technische Zusammenfassung: Evaluierung epistemischer Unsicherheit jenseits von OOD-Detektion und Active Learning

Mehr davon