Beyond Accuracy: Reliability and Uncertainty Estimation in Convolutional Neural Networks

Diese Studie vergleicht Monte-Carlo-Dropout und konforme Vorhersage zur Unsicherheitsquantifizierung in CNNs auf Fashion-MNIST und zeigt, dass GoogLeNet besser kalibriert ist als das genauere H-CNN VGG16, wobei konforme Vorhersage durch statistisch garantierte Vorhersagemengen besonders für hochriskante Entscheidungen wertvoll ist.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschungsarbeit auf Deutsch:

Das Problem: Der übermütige Vorhersage-Künstler

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas arroganten Wettervorhersage-Roboter. Er sagt Ihnen: „Es wird morgen zu 99,9 % regnen!" – und zwar mit absoluter Sicherheit. Aber dann kommt die Sonne heraus. Oder er sagt: „Es wird zu 99,9 % sonnig!" – und es gießt wie aus Eimern.

Das ist das Problem mit vielen modernen Künstlichen Intelligenzen (KI), die auf Convolutional Neural Networks (CNNs) basieren. Sie sind extrem gut darin, Bilder zu erkennen (z. B. ob auf einem Foto ein T-Shirt oder eine Jacke zu sehen ist). Aber sie sind oft falsch zuversichtlich. Sie geben eine hohe Wahrscheinlichkeit für ihre Antwort, auch wenn sie sich irren. Sie wissen nicht, wann sie es nicht wissen. In kritischen Situationen (wie bei medizinischen Diagnosen oder autonomen Autos) ist das gefährlich.

Die Lösung: Zwei neue Werkzeuge für „Zweifel"

Die Forscher wollen herausfinden, wie man diesen KI-Modellen beibringt, ihre Unsicherheit zu messen. Sie testen zwei verschiedene Methoden, um zu prüfen, wie „sicher" sich die KI bei ihrer Antwort ist:

1. Die „Zufalls-Methode" (Monte Carlo Dropout):

   • Die Analogie: Stellen Sie sich vor, Sie lassen einen Schüler 50 Mal denselben Test machen. Jedes Mal darf er zufällig ein paar Notizen wegwerfen (das ist das „Dropout"). Wenn er beim 50. Mal immer noch die gleiche Antwort gibt, ist er sich sicher. Wenn er jedes Mal eine andere Antwort gibt, ist er unsicher.
   • Im Papier: Die KI wird gezwungen, das gleiche Bild 50 Mal zu betrachten, wobei jedes Mal kleine Teile ihres „Gedächtnisses" (die Gewichte) zufällig abgeschaltet werden. Wenn die Ergebnisse stark schwanken, weiß die KI: „Hey, hier bin ich mir nicht sicher."

2. Die „Sicherheitsnetz-Methode" (Conformal Prediction):

   • Die Analogie: Statt nur eine Antwort zu geben, sagt die KI: „Ich bin mir zu 95 % sicher, dass es entweder ein T-Shirt ODER ein Pullover ist." Sie gibt also eine kleine Liste von Möglichkeiten ab. Wenn die KI sich nicht sicher ist, wird die Liste länger (z. B. „T-Shirt, Pullover, Jacke"). Wenn sie sich sicher ist, bleibt die Liste kurz (nur „T-Shirt").
   • Im Papier: Diese Methode garantiert mathematisch, dass die richtige Antwort fast immer in dieser Liste enthalten ist. Sie ist wie ein Sicherheitsnetz, das nie reißt, auch wenn die KI mal falsch liegt.

Der Vergleich: Der dicke Riese vs. der schlaue Zwerg

Die Forscher haben zwei verschiedene KI-Architekturen (die „Gehirne" der Roboter) getestet:

• H-CNN VGG16 (Der dicke Riese):

  • Dieser ist riesig, hat viele Parameter (fast 180 Millionen!) und ist sehr genau beim Erkennen von Bildern.
  • Aber: Er ist extrem übermütig. Selbst wenn er sich irrt (z. B. verwechselt er ein Hemd mit einem T-Shirt), sagt er mit 99 % Sicherheit: „Das ist ein T-Shirt!" Er weiß nicht, dass er unsicher ist.
  • Ergebnis: Hohe Genauigkeit, aber schlechte Zuverlässigkeit bei der Unsicherheitsmessung.

• GoogLeNet (Der schlaue Zwerg):

  • Dieser ist viel schlanker (weniger Parameter) und rechnet schneller.
  • Aber: Er ist vorsichtiger. Wenn er ein Bild sieht, das schwer zu erkennen ist, sagt er: „Ich bin mir nicht ganz sicher, es könnte ein Hemd oder ein Pullover sein." Er gibt eher zu, wenn er unsicher ist.
  • Ergebnis: Etwas weniger genau als der Riese, aber viel besser darin, seine Unsicherheit realistisch einzuschätzen.

Was haben sie herausgefunden?

1. Genauigkeit ist nicht alles: Nur weil eine KI 93 % der Bilder richtig erkennt, heißt das nicht, dass man ihr trauen kann. Der „dicke Riese" (VGG16) war genauer, aber auch gefährlicher, weil er sich zu sicher war.
2. GoogLeNet ist ehrlicher: Der „schlaue Zwerg" (GoogLeNet) hat gezeigt, dass er unsichere Fälle besser erkennt. Er gibt eher zu, wenn er zögert.
3. Die Sicherheitsnetz-Methode (Conformal Prediction) ist der Retter: Diese Methode funktioniert bei beiden Modellen super. Sie garantiert, dass die richtige Antwort fast immer in der Liste der Möglichkeiten ist. Selbst wenn die KI übermütig ist, zwingt diese Methode sie, eine breitere Liste von Möglichkeiten abzugeben, wenn sie unsicher ist. Das ist besonders wichtig für Entscheidungen, bei denen Fehler teuer oder gefährlich sind.

Fazit für den Alltag

Die Forscher sagen uns: Wir sollten KI-Modelle nicht nur danach bewerten, wie oft sie recht haben (Genauigkeit), sondern auch danach, wie gut sie wissen, wann sie sich irren (Zuverlässigkeit).

• Wenn Sie einen KI-Modell brauchen, das schnell und genau ist, nehmen Sie vielleicht den „Riesen".
• Aber wenn es um sichere Entscheidungen geht (z. B. in der Medizin), brauchen Sie Modelle, die wie der „schlaue Zwerg" vorsichtig sind und Methoden wie das „Sicherheitsnetz", die garantieren, dass keine falsche Sicherheit gegeben wird.

Die Studie zeigt also: Ein verlässlicher KI-Assistent muss nicht nur klug sein, er muss auch wissen, wann er raten muss.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Titel: Beyond Accuracy: Reliability and Uncertainty Estimation in Convolutional Neural Networks

Autoren: Sanne Ruijs, Alina Kosiakova, Farrukh Javed

---

1. Problemstellung

Trotz ihrer hohen Vorhersagegenauigkeit neigen Deep Neural Networks (DNNs) in der Praxis oft zu einer schlechten Kalibrierung. Das bedeutet, dass sie falschen Vorhersagen häufig übermäßig hohe Wahrscheinlichkeiten (Überzeugung) zuschreiben. Dieses Phänomen der "Überkonfidenz" (Overconfidence) stellt ein kritisches Hindernis für den Einsatz von KI in sicherheitskritischen Anwendungen dar, da die Unsicherheit der Modelle nicht quantifiziert wird.

Das Hauptproblem besteht darin, dass herkömmliche DNNs nur Punktschätzungen liefern und keine integrierten Mechanismen zur zuverlässigen Schätzung der Vorhersageunsicherheit besitzen. Es fehlt an systematischen Vergleichen zwischen verschiedenen Unsicherheitsquantifizierungsansätzen, insbesondere im Hinblick auf deren Verhalten bei unterschiedlichen neuronalen Netzarchitekturen.

2. Methodik

Die Studie vergleicht zwei prominente Ansätze zur Unsicherheitsquantifizierung (UQ) auf zwei verschiedenen Convolutional Neural Network (CNN)-Architekturen, die auf dem Fashion-MNIST-Datensatz trainiert wurden:

• Architekturen:

  • H-CNN VGG16: Eine hierarchische Architektur, die auf VGG16 basiert und durch eine schrittweise Klassifizierung (von allgemeinen zu spezifischen Kategorien) entwickelt wurde, um Verwechslungen bei visuell ähnlichen Kleidungsstücken zu reduzieren. Sie zeichnet sich durch eine hohe Parameterzahl und hohe Genauigkeit aus.
  • GoogLeNet (Inception v1): Eine Architektur mit parallelen Faltungspfaden (Inception-Modulen), die eine hohe Genauigkeit bei deutlich weniger Parametern und höherer Recheneffizienz bietet.

• Unsicherheitsmethoden:

  1. Bayesianische Approximation via Monte Carlo (MC) Dropout:
     • Nutzt Dropout auch während der Inferenzphase, um multiple stochastische Durchläufe zu erzeugen.
     • Approximiert die posterior-Verteilung der Gewichte.
     • Misst Unsicherheit durch Predictive Entropy (Gesamtunsicherheit), Mutual Information (epistemische Unsicherheit/Modellunsicherheit) und Average Entropy (aleatorische Unsicherheit/Datenrauschen).
  2. Konformale Vorhersage (Conformal Prediction - CP):
     • Ein nicht-parametrischer, post-hoc-Ansatz, der keine Annahmen über die Datenverteilung trifft.
     • Erzeugt Vorhersagemengen (Prediction Sets) statt einzelner Labels.
     • Garantiert eine statistische Abdeckung (Validity) basierend auf einem Signifikanzniveau $\alpha$ (hier 95%).
     • Bewertet die Effizienz durch die Größe der Vorhersagemengen.

• Bewertungsmetriken:

  • Klassische Metriken: Genauigkeit (Accuracy), Overfitting-Analyse, Sparsity (Verdünnung der Gewichte).
  • Kalibrierung: Expected Calibration Error (ECE).
  • Unsicherheits-spezifisch: Empirische Abdeckung (Coverage), Effizienz (Menge der Labels), Predictive Entropy, Mutual Information.

3. Wichtige Beiträge

• Systematischer Vergleich: Erster direkter Vergleich von MC Dropout und Conformal Prediction über verschiedene CNN-Architekturen hinweg.
• Architekturspezifische Analyse: Untersuchung, wie unterschiedliche Design-Philosophien (hierarchisch vs. Inception) das Unsicherheitsverhalten beeinflussen.
• Entschlüsselung der Unsicherheit: Trennung von epistemischer (modellbedingter) und aleatorischer (datenbedingter) Unsicherheit und deren Zusammenhang mit Klassifikationsfehlern.
• Praktische Implikationen: Demonstration, dass hohe Genauigkeit nicht automatisch mit verlässlicher Unsicherheitsschätzung einhergeht und wie CP als Korrektiv für schlecht kalibrierte Modelle dienen kann.

4. Ergebnisse

• Genauigkeit vs. Kalibrierung:

  • H-CNN VGG16 erreichte die höchste Vorhersagegenauigkeit (ca. 93 %), zeigte jedoch eine starke Überkonfidenz. Der Expected Calibration Error (ECE) blieb auch nach Anwendung von MC Dropout hoch (5,61 %). Das Modell war sich selbst bei mehrdeutigen Eingaben zu sicher.
  • GoogLeNet erreichte eine geringere Genauigkeit (ca. 88–89 %), war jedoch deutlich besser kalibriert. Der ECE sank durch MC Dropout signifikant auf 1,37 %. Das Modell signalisierte Unsicherheit angemessener.

• Unsicherheitsdekomposition:

  • H-CNN VGG16: Zeigte eine geringe epistemische Unsicherheit (niedrige Mutual Information). Die Vorhersagen waren über die Dropout-Durchläufe sehr konsistent, was auf eine Unterschätzung der Modellunsicherheit hindeutet.
  • GoogLeNet: Zeigte eine höhere epistemische Unsicherheit und eine breitere Verteilung der Vorhersage-Entropie. Das Modell reagierte flexibler auf mehrdeutige Daten (z. B. Verwechslung von Hemden, Pullovern und Mänteln).

• Konformale Vorhersage (CP):

  • Beide Modelle erreichten die geforderte statistische Abdeckung von 95 %.
  • H-CNN VGG16 erzeugte sehr kompakte Vorhersagemengen (oft nur ein Label), was effizient ist, aber die Überkonfidenz widerspiegelt.
  • GoogLeNet erzeugte breitere Vorhersagemengen, insbesondere bei schwierigen Klassen, was seine konservativere und zuverlässigere Haltung unterstreicht.

• Korrelation zwischen Entropie und CP-Set-Größe:

  • Bei H-CNN VGG16 korrelierte die Entropie stark mit der CP-Set-Größe (hohe Entropie = größere Mengen).
  • Bei GoogLeNet war die Korrelation schwächer, da das Modell auch bei korrekten Vorhersagen die Wahrscheinlichkeiten über mehrere Klassen verteilt (weniger überkonfident), was CP dazu veranlasst, die Mengen zu vergrößern, um die Abdeckung zu garantieren.

5. Bedeutung und Fazit

Die Studie unterstreicht, dass die Bewertung von Deep-Learning-Modellen über die reine Genauigkeit hinausgehen muss.

• Trade-off: Es gibt einen Zielkonflikt zwischen Effizienz (kleine Vorhersagemengen, hohe Genauigkeit) und Zuverlässigkeit (gute Kalibrierung, angemessene Unsicherheitsanzeige). H-CNN VGG16 ist effizienter, aber weniger verlässlich in der Unsicherheitsschätzung. GoogLeNet ist robuster und besser kalibriert.
• Rolle der Konformalen Vorhersage: CP erweist sich als wertvolles Werkzeug für hochriskante Entscheidungen, da es statistisch garantierte Abdeckung bietet, selbst wenn das zugrunde liegende Modell schlecht kalibriert ist.
• Empfehlung: Für Anwendungen, bei denen Vertrauen und Sicherheit im Vordergrund stehen, sollten Modelle nicht nur auf Genauigkeit optimiert werden, sondern auch Mechanismen wie MC Dropout und CP integrieren, um eine transparente und vertrauenswürdige Unsicherheitsquantifizierung zu gewährleisten. Die Kombination beider Methoden nutzt die Stärken beider Ansätze (interne Modellunsicherheit vs. externe statistische Garantie).