Learning Credal Ensembles via Distributionally Robust Optimization

Die Studie stellt CreDRO vor, eine Methode zur Lernens von Glaubens-Ensembles mittels distributionell robuster Optimierung, die epistemische Unsicherheit nicht nur durch Trainingsstochastik, sondern auch durch signifikante Meinungsverschiedenheiten infolge potenzieller Verteilungsverschiebungen zwischen Trainings- und Testdaten erfasst und dabei bestehende Ansätze in Aufgaben wie der Erkennung von Out-of-Distribution-Daten und der selektiven Klassifikation in der Medizin übertrifft.

Das Wesentliche

🧠 Das Problem: Der selbstvertrauende, aber blinde KI-Lerner

Stell dir vor, du hast einen sehr klugen Schüler (eine Künstliche Intelligenz), der gelernt hat, Bilder von Hunden und Katzen zu erkennen. Wenn du ihm ein Bild zeigst, sagt er: „Das ist eine Katze!" und ist zu 99 % sicher.

Aber was passiert, wenn du ihm ein Bild von einem Fuchs zeigst?
Der Schüler sagt immer noch: „Das ist eine Katze!" – aber dieses Mal ist er eigentlich unsicher. Das Problem bei den meisten heutigen KI-Modellen ist: Sie merken ihre Unsicherheit nicht. Sie tun so, als wären sie sich sicher, auch wenn sie völlig danebenliegen. Das ist gefährlich, besonders in Bereichen wie der Medizin oder beim autonomen Fahren.

Bisherige Methoden versuchen, diese Unsicherheit zu messen, indem sie den Schüler mehrfach mit leicht unterschiedlichen Startbedingungen trainieren (wie wenn man denselben Schüler 20 Mal mit leicht verschiedenen Lehrbüchern unterrichtet). Wenn die 20 Versionen des Schülers dann unterschiedliche Meinungen haben („Das ist ein Hund!", „Nein, eine Katze!"), wissen wir: „Aha, hier sind wir uns nicht sicher."

Aber hier liegt der Haken: Diese Methode misst nur, wie empfindlich der Schüler auf Zufall reagiert. Sie ignoriert eine viel wichtigere Frage: „Was passiert, wenn die Welt draußen anders ist als im Lehrbuch?"

🌍 Die neue Idee: CreDRO – Der Schüler, der sich auf das Schlimmste vorbereitet

Die Autoren dieses Papers (CreDRO) haben eine geniale Idee entwickelt. Statt nur zufällige Trainings-Szenarien zu simulieren, fragen sie sich: „Was, wenn die Testdaten (die echte Welt) gar nicht so aussehen wie die Trainingsdaten?"

Stell dir vor, dein Schüler hat nur in einem Sonnenstudio trainiert.

• Die alte Methode: Sie trainieren ihn 20 Mal im selben Studio, nur mit leicht unterschiedlichem Licht. Wenn er dann ins Freie geht, ist er verwirrt, weil er nie gelernt hat, wie sich Schatten oder Regen anfühlen.
• Die neue Methode (CreDRO): Sie trainieren den Schüler in verschiedenen Szenarien.
  • Ein Schüler lernt nur mit perfekten, hellen Fotos.
  • Ein anderer lernt nur mit Fotos, die leicht unscharf sind.
  • Ein dritter lernt nur mit Fotos, die einen ganz anderen Hintergrund haben.

Sie simulieren also verschiedene Grade von „Was wäre, wenn die Welt anders wäre?".

🛡️ Wie funktioniert CreDRO genau? (Die Analogie)

1. Das Training (Die Vorbereitung):
   Die Forscher nutzen eine Technik namens Distributionally Robust Optimization (DRO). Das ist wie ein Feuerwehr-Training.
   Normalerweise trainiert man eine KI nur mit „normalen" Daten. CreDRO zwingt die KI jedoch, sich auf die schwierigsten Fälle vorzubereiten.

   • Sie nehmen eine Gruppe von KI-Modellen (ein Ensemble).
   • Jedes Modell wird trainiert, indem man ihm eine andere „Brille" aufsetzt, die die Daten leicht verzerrt (z. B. nur die schwierigsten Bilder betrachtet).
   • Ein Modell sieht die Welt sehr optimistisch, ein anderes sehr pessimistisch.

2. Die Vorhersage (Der Kasten der Möglichkeiten):
   Wenn die KI nun ein neues Bild sieht, geben diese verschiedenen Modelle nicht nur eine Antwort. Sie geben ein Spektrum von Antworten.

   • Modell A sagt: „Zu 80 % Katze."
   • Modell B sagt: „Zu 40 % Katze."
   • Modell C sagt: „Zu 60 % Katze."

   Statt einen Durchschnitt zu bilden (was die Unsicherheit verwischen würde), fasst CreDRO diese Antworten in einem „Kasten" (Credal Set) zusammen.

   • Analogie: Stell dir vor, du musst eine Schätzung für die Temperatur abgeben.
     • Alte Methode: „Es sind 20 Grad." (Punkt)
     • CreDRO: „Es liegt irgendwo zwischen 15 und 25 Grad." (Intervall/Kasten)

   Je größer dieser „Kasten" ist, desto unsicherer ist die KI. Wenn der Kasten klein ist (z. B. 19,5 bis 20,5 Grad), ist die KI sich sicher.

3. Der Vorteil:
   Wenn die KI auf ein Bild trifft, das völlig fremd ist (z. B. ein Fuchs), werden die verschiedenen Modelle extrem unterschiedliche Meinungen haben. Der „Kasten" wird riesig. Die KI sagt dann: „Ich bin mir hier nicht sicher, weil meine Modelle sich streiten." Das ist genau das, was wir wollen!

🏆 Warum ist das besser als alles andere?

Die Forscher haben CreDRO gegen die besten aktuellen Methoden getestet (in Bereichen wie medizinischer Bildanalyse und Objekterkennung).

• Ergebnis: CreDRO erkennt viel besser, wenn etwas „falsch" oder „fremd" ist (Out-of-Distribution Detection).
• Medizin-Beispiel: In einem Test mit Gewebeproben (Krebsdiagnose) konnte CreDRO viel besser sagen: „Ich bin mir bei diesem Bild nicht sicher, bitte schicke es an einen menschlichen Arzt weiter." Andere Methoden waren sich zu sicher und machten Fehler.

🚀 Zusammenfassung in einem Satz

CreDRO ist wie ein Team von Experten, das nicht nur auswendig gelernt hat, sondern sich aktiv auf das Schlimmste vorbereitet hat; wenn sie sich dann uneinig sind, wissen wir genau, dass wir vorsichtig sein müssen, statt blind auf die KI zu vertrauen.

Das Paper zeigt also, dass man KI nicht nur durch mehr Daten, sondern durch klügere Trainingsstrategien (die Unsicherheit über die Zukunft simulieren) viel sicherer und vertrauenswürdiger machen kann.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Paper adressiert das Problem der Quantifizierung von epistemischer Unsicherheit (EU) in tiefen neuronalen Netzen. Während die aleatorische Unsicherheit (Datenrauschen) gut durch einzelne Wahrscheinlichkeitsverteilungen modelliert werden kann, erfordert die epistemische Unsicherheit (Unsicherheit über das Modell selbst) eine „zweite Ordnung" der Darstellung, z. B. durch Credal Sets (konvexe Mengen von Wahrscheinlichkeitsverteilungen).

Kritik an bestehenden Methoden:
Der aktuelle Stand der Technik (SOTA) für Credal-Predictors (z. B. Credal Deep Ensembles, Credal Wrapper) definiert epistemische Unsicherheit primär als Divergenz zwischen Modellen, die durch zufällige Trainingsinitialisierungen entstehen.

• Limitierung: Diese Divergenz spiegelt hauptsächlich die Sensitivität gegenüber Optimierungs-Zufälligkeit wider, nicht jedoch Unsicherheiten, die aus substantielleren Quellen wie Distribution Shifts (Unterschieden zwischen Trainings- und Testverteilung) resultieren.
• Folge: Diese Modelle sind oft nicht robust genug, um echte Unsicherheit bei Out-of-Distribution (OOD) Daten oder Domänenverschiebungen zu erfassen.

2. Methodik: CreDRO

Die Autoren schlagen CreDRO (Credal Distributionally Robust Optimization) vor, eine Methode, die EU als Divergenz zwischen Modellen definiert, die unter unterschiedlichen Annahmen über die Trainings-Test-Distribution trainiert wurden.

Kernidee

Statt zufällige Initialisierungen zu nutzen, wird die Unsicherheit durch das Trainieren eines Ensembles unter verschiedenen Relaxationen der i.i.d.-Annahme (Independent and Identically Distributed) erzeugt. Dies simuliert potenzielle Verschiebungen zwischen Trainings- und Testdaten.

Trainingsprozess (Distributionally Robust Optimization - DRO)

CreDRO nutzt ein adversarielles Neugewichtungslernen (Adversarially Reweighted Learning, ARL) innerhalb eines DRO-Rahmens:

1. Hyperparameter $\delta_G$: Ein globaler Hyperparameter definiert das Worst-Case-Szenario der Divergenz.
2. Individuelle Gewichte $\delta_i$: Für jedes Ensemble-Mitglied $i$ wird ein spezifischer Schwellenwert $\delta_i$ berechnet, der eine Interpolation zwischen dem Worst-Case ($\delta_G$) und der Standardverteilung (1.0) darstellt.
3. Batch-Training: Während des Trainings werden in jedem Batch nur die Top-$\delta_i$-Prozentsätze der Samples mit dem höchsten Verlust für das Backpropagation-Update verwendet.
   • Dies zwingt die Modelle, sich auf schwierige oder Minderheiten-Gruppen zu spezialisieren, was potenzielle Domänenverschiebungen simuliert.
   • Jedes Ensemble-Mitglied lernt somit unter einer anderen Annahme über die Verteilungsverschiebung.

Inferenz und Credal Prediction

1. Box Credal Set: Die Softmax-Ausgaben der $M$ Ensemble-Mitglieder werden in Klassen-spezifische Wahrscheinlichkeitsintervalle $[p_k, \bar{p}_k]$ umgewandelt (Minimum und Maximum über alle Mitglieder).
2. Menge: Diese Intervalle definieren ein Box Credal Set $K_B$, eine konvexe Menge aller Wahrscheinlichkeitsvektoren, die innerhalb dieser Intervalle liegen.
3. Unsicherheitsquantifizierung: Die epistemische Unsicherheit wird als Differenz zwischen der oberen und unteren Shannon-Entropie des Box Credal Sets berechnet ($H(K_B) - \underline{H}(K_B)$).

Unterschiede zu CreDE (Credal Deep Ensemble)

• Architektur: CreDRO benötigt keine Änderungen an der Netzarchitektur (keine doppelten Ausgabeneuronen wie bei CreDE).
• Training: CreDRO trainiert klassische NNs mit DRO-Verlusten, während CreDE direkt Intervalle vorhersagt.
• Diversität: CreDRO erzeugt Diversität durch verschiedene DRO-Hyperparameter (simulierte Shifts), während CreDE oft nur auf Initialisierungs-Zufall oder feste DRO-Parameter setzt.

3. Wichtige Beiträge

1. Neue Definition von EU: Formulierung von epistemischer Unsicherheit als Divergenz aufgrund unterschiedlicher Relaxationen der i.i.d.-Annahme statt nur durch Initialisierungs-Zufall.
2. CreDRO-Framework: Entwicklung eines effizienten End-to-End-Ensemble-Trainings mittels DRO, das keine Architekturänderungen erfordert und mit bestehenden Paradigmen kompatibel ist.
3. Effiziente Unsicherheitsberechnung: Nutzung von Box Credal Sets anstelle von konvexen Hüllen, was die Berechnung der Entropie-Differenz deutlich effizienter macht (Komplexität unabhängig von der Ensemble-Größe $M$).
4. Umfassende Evaluation: Demonstration der Überlegenheit gegenüber SOTA-Methoden in OOD-Detektion und selektiver Klassifikation.

4. Ergebnisse und Evaluation

Die Autoren evaluieren CreDRO auf mehreren Benchmarks:

• OOD-Detektion (Out-of-Distribution):

  • Datensätze: CIFAR-10 als In-Distribution (ID) gegen SVHN, Places365, CIFAR-100, FMNIST und ImageNet als OOD.
  • Ergebnis: CreDRO erzielt konsistent die besten AUROC-Werte (Area Under the Receiver Operating Characteristic Curve) im Vergleich zu Deep Ensembles (DE), Credal Wrappers, Credal Ensembling und anderen Credal-Methoden (CreDE, CreBNN).
  • Beispiel: Auf CIFAR-10 vs. SVHN erreicht CreDRO 97.4%, während das beste SOTA-Verfahren (CreWra) nur 95.7% erreicht.

• Robustheit gegenüber Korruption:

  • Tests auf CIFAR-10-C und CIFAR-100-C (verschiedene Korruptionstypen und -stärken) zeigen, dass CreDRO auch unter starken Datenveränderungen stabilere Unsicherheitsschätzungen liefert als Baselines.

• Selektive Klassifikation im medizinischen Kontext:

  • Datensatz: Camelyon17 (histopathologische Bilder mit starkem Domänen-Shift durch verschiedene Scanner).
  • Ergebnis: CreDRO zeigt die beste Leistung in der Accuracy-Rejection-Kurve (AR-Kurve). Im Gegensatz dazu liefert CreDE unzuverlässige Schätzungen, da die Genauigkeit bei höheren Ablehnungsraten sinkt. CreDRO erkennt falsch klassifizierte medizinische Fälle zuverlässig durch hohe Unsicherheitswerte.

• Effizienz:

  • CreDRO ist im Training und bei der Inferenz effizienter als CreDE (keine doppelte Netzgröße).
  • Die Berechnung der Unsicherheit (UQ Runtime) ist schneller als bei Methoden, die konvexe Hüllen nutzen (CreEns), da Box Credal Sets weniger rechenintensiv sind.

5. Bedeutung und Fazit

Das Paper zeigt, dass Distributionally Robust Optimization (DRO) ein überlegener Ansatz zur Erzeugung von Unsicherheitsschätzungen ist als das bloße Mittel zufälliger Initialisierungen.

• Praktische Relevanz: Da reale Anwendungen oft mit Distribution Shifts konfrontiert sind (z. B. medizinische Bildgebung mit verschiedenen Geräten, autonome Fahrzeuge unter verschiedenen Wetterbedingungen), ist die Fähigkeit von CreDRO, Unsicherheit aus diesen substantiellen Quellen zu quantifizieren, entscheidend für die Sicherheit und Zuverlässigkeit von KI-Systemen.
• Innovation: Der Ansatz verbindet die theoretischen Vorteile von Credal Sets (Repräsentation von Unwissenheit) mit der praktischen Robustheit von DRO, ohne dabei die Komplexität der Modelle unnötig zu erhöhen.
• Zukunft: Die Autoren sehen Potenzial in der Erweiterung auf Regressionsaufgaben und der theoretischen Analyse der Ableitung einzelner Vorhersagen aus Credal Sets.

Zusammenfassend bietet CreDRO einen neuen, robusten Standard für die epistemische Unsicherheitsquantifizierung, der besonders in sicherheitskritischen Anwendungen, wo das Vertrauen in die Vorhersage essenziell ist, von großem Nutzen ist.