Concerning Uncertainty -- A Systematic Survey of Uncertainty-Aware XAI

Diese Arbeit bietet eine systematische Übersicht über unsicherheitsbewusste erklärbare KI (UAXAI), indem sie gängige Methoden zur Unsicherheitsquantifizierung und -integration analysiert, die aktuellen Defizite in der Evaluierung aufzeigt und die Notwendigkeit einheitlicher Prinzipien sowie vielversprechender Ansätze wie Kalibrierung und kontrafaktische Erklärungen für eine zuverlässigere Interpretierbarkeit betont.

Das Wesentliche

Stellen Sie sich vor, Sie sitzen in einem autonomen Auto. Das Auto sagt Ihnen: „Wir fahren jetzt links." Aber es sagt nicht, wie sicher es sich ist. Ist es zu 100 % sicher, weil die Straße klar ist? Oder ist es nur zu 60 % sicher, weil der Regen die Sensoren verwirrt?

Das ist das Problem, das dieses Papier untersucht. Es geht um KI-Erklärungen, die auch ihre eigene Unsicherheit ehrlich kommunizieren.

Hier ist die Geschichte dahinter, einfach erklärt:

1. Das Problem: Der „Black-Box"-Chef

Künstliche Intelligenz (KI) wird immer klüger, aber sie ist oft wie ein Chef, der nur das Ergebnis schreit, ohne zu erklären, wie er darauf kam.

• Früher (XAI): Forscher haben versucht, dem Chef eine Brille aufzusetzen, damit wir sehen können, warum er links fährt (z. B. „Weil dort ein Stoppschild steht"). Das nennt man Explainable AI (Erklärbare KI).
• Das neue Problem: Aber was, wenn der Chef sich nicht sicher ist? Was, wenn das Stoppschild im Nebel kaum zu sehen ist? Eine gute Erklärung muss nicht nur sagen „Links!", sondern auch: „Ich bin mir zu 80 % sicher, aber es könnte auch rechts sein."

Das neue Feld heißt UAXAI (Unsicherheitsbewusste Erklärbare KI). Es ist wie ein ehrlicher Assistent, der nicht nur die Antwort gibt, sondern auch sagt: „Ich bin mir ziemlich sicher" oder „Hier bin ich ratlos."

2. Die drei Arten von Unsicherheit (Das „Zwiebel"-Modell)

Das Papier erklärt, dass Unsicherheit nicht alles gleich ist. Man kann sie wie eine Zwiebel schälen:

• Der „Rauschen"-Teil (Aleatorische Unsicherheit): Das ist wie das Wetter. Es regnet einfach, und man kann das nicht ändern. Die Daten sind von Natur aus chaotisch (z. B. ein verschwommener Fingerabdruck). Das ist unvermeidbar.
• Der „Wissen"-Teil (Epistemische Unsicherheit): Das ist wie mangelnde Erfahrung. Der Chef hat noch nie einen Fingerabdruck gesehen, weil er nur in trockenen Klimazonen gearbeitet hat. Das ist Unsicherheit, die man durch mehr Training oder bessere Daten beheben könnte.
• Der „Erklärungs"-Teil: Manchmal ist die KI unsicher, aber der Erklärungs-Algorithmus ist es auch. Es ist, als würde ein Dolmetscher versuchen, eine Sprache zu übersetzen, die er selbst nicht gut kennt. Die Erklärung selbst ist dann wackelig.

3. Wie machen sie das? (Die drei Werkzeuge)

Die Forscher haben geschaut, wie man diese Unsicherheit in die Erklärung einbaut. Sie haben drei Hauptwerkzeuge gefunden:

1. Der „Vertrauens-Berater" (Bayes & Monte Carlo):
   Stellen Sie sich vor, Sie fragen nicht nur einen Experten, sondern 100 Experten. Wenn 99 von ihnen sagen „Links" und einer sagt „Rechts", dann ist die Antwort „Links" mit einer kleinen Unsicherheit versehen. Das ist wie eine Meinungsumfrage innerhalb der KI.
2. Der „Sicherheits-Gürtel" (Konforme Methoden):
   Das ist wie ein Sicherheitsnetz. Statt einen exakten Punkt zu nennen, gibt die KI einen Bereich an: „Wir fahren mit 95 % Sicherheit im Bereich zwischen Straße A und Straße B." Das ist mathematisch bewiesen und sehr zuverlässig, wie ein Sicherheitsgurt im Auto.
3. Der „Warnschild"-Ansatz:
   Die KI sagt: „Ich erkläre dir, warum ich links fahre, aber ich füge ein Warnschild hinzu: Achtung, hier ist viel Rauschen!". So weiß der Mensch, wann er der KI blind vertrauen darf und wann er selbst nachschauen muss.

4. Was fehlt noch? (Die Baustelle)

Das Papier ist sehr kritisch, aber konstruktiv. Es sagt: „Wir bauen tolle Gebäude, aber wir haben keine einheitlichen Baupläne."

• Viele verschiedene Messlatten: Jeder Forscher misst die „Güte" der Erklärung anders. Manche schauen nur auf die Rechenleistung, andere auf die Genauigkeit. Es fehlt ein einheitlicher Standard, wie man prüft, ob eine unsichere Erklärung wirklich gut ist.
• Vergessen der Menschen: Die meisten Studien testen nur, ob der Computer die Rechnung richtig macht. Aber versteht der Mensch die Warnung? Wenn die KI sagt „Ich bin unsicher", verstehen die Leute das als „Ich bin dumm" oder als „Pass auf"? Das wird noch zu wenig erforscht.
• Der „Wackel-Effekt": Manchmal ändert sich die Erklärung, wenn man die KI nur ganz leicht neu trainiert. Das ist wie ein Kompass, der bei jedem Windhauch die Richtung ändert. Das ist gefährlich.

5. Das Fazit: Der Weg nach vorne

Die Autoren sagen im Grunde:

„Es reicht nicht mehr, nur zu sagen, was die KI tut. Wir müssen ihr beibringen, wie sicher sie sich ist, und uns sicherstellen, dass wir Menschen diese Unsicherheit richtig verstehen."

Die Zukunft sieht so aus:
Stellen Sie sich eine KI vor, die wie ein erfahrener Pilot spricht:

• „Ich fliege auf Kurs A." (Die Erklärung)
• „Aber wegen des Sturms bin ich nur zu 80 % sicher." (Die Unsicherheit)
• „Wenn Sie wollen, kann ich Ihnen zeigen, welche Alternativen wir haben." (Die Konforme Methode)

Das Papier ist ein Aufruf, diese Art von ehrlicher, transparenter und sicherer KI zu bauen, damit wir ihr in wichtigen Situationen (wie Medizin oder Autofahren) wirklich vertrauen können – nicht blind, sondern mit offenen Augen.

Technische Zusammenfassung

1. Problemstellung

Künstliche Intelligenz (KI) wird zunehmend in hochriskanten Bereichen wie Gesundheitswesen und autonomen Fahrzeugen eingesetzt. Während Explainable Artificial Intelligence (XAI) entwickelt wurde, um die „Black-Box"-Natur von Modellen zu durchdringen, fehlt es den meisten bestehenden Erklärungen an einer kritischen Komponente: der Kommunikation der Zuverlässigkeit.

Das Hauptproblem besteht darin, dass herkömmliche XAI-Methoden zwar erklären, warum ein Modell eine bestimmte Entscheidung trifft, aber nicht, wie sicher diese Entscheidung oder die Erklärung selbst ist. In hochriskanten Szenarien müssen Nutzer jedoch nicht nur die Plausibilität, sondern auch das Vertrauen (Konfidenz) und das Risiko bewerten. Die Lücke zwischen Unsicherheitsquantifizierung (UQ) und Erklärbarkeit führt zu einem Mangel an transparenten, robusten und vertrauenswürdigen KI-Systemen. Es fehlt an einem konsistenten Verständnis dafür, was eine „unsicherheitsbewusste Erklärung" (Uncertainty-Aware XAI, UAXAI) ausmacht, wie sie kategorisiert wird und wie sie evaluiert werden sollte.

2. Methodik

Die Autoren führten eine systematische Literaturrecherche (Systematic Survey) durch, um den aktuellen Stand der UAXAI-Forschung zu erfassen.

• Datenbanken: IEEE Xplore und Web of Science.
• Suchstrategie: Kombination von Schlüsselwörtern wie „uncertainty", „explainable AI", „epistemic uncertainty", „aleatoric uncertainty" und „UAXAI".
• Einschlusskriterien: Peer-reviewte Artikel und Konferenzbeiträge auf Englisch, die Unsicherheit explizit im Kontext von XAI behandeln.
• Ausschlusskriterien: Studien, die nur UQ ohne Erklärbarkeit, nur XAI ohne Unsicherheit, oder Editorials/Abstracts behandelten.
• Prozess:
  • Initialer Pool: 184 Papers.
  • Nach Abstract-Screening: 74 Papers.
  • Nach Snowballing (Ergänzung durch Referenzlisten): 79 Papers.
  • Nach Volltext-Screening: 46 Papers wurden für die Analyse ausgewählt.
• Kodierung: Die ausgewählten Papers wurden anhand eines Schemas mit 10 Kategorien analysiert (z. B. Fokus, Unsicherheitstyp, Erklärungsansatz, Anwendungsbereich, Einbeziehung von Nutzern).

3. Schlüsselbeiträge und Definitionen

Definition von UAXAI

Das Paper definiert UAXAI operational als Methoden, die Unsicherheit explizit repräsentieren, kommunizieren oder über sie reasoning betreiben, um Transparenz und Vertrauen zu verbessern. Ein Ansatz gilt als UAXAI, wenn er:

1. Formale Unsicherheitsschätzungen in Erklärungsoutputs integriert.
2. Unsicherheit nutzt, um Erklärungen zu qualifizieren, zu validieren oder zu modulieren.
3. Unterschiedliche Unsicherheitsquellen (z. B. aleatorisch vs. epistemisch) für menschliche Nutzer unterscheidbar macht.

Drei Hauptkategorien der Integration

Die Literatur wird in drei komplementäre Rollen unterteilt, die Unsicherheit in Erklärungs-Pipelines spielt:

1. Unsicherheit als Erklärungs-Signal: Unsicherheit wird direkt als Vertrauens- oder Risikomaß neben der Vorhersage kommuniziert (z. B. Konfidenzintervalle).
2. Unsicherheit zur Modulation von Erklärungen: Unsicherheitsschätzungen werden genutzt, um traditionelle XAI-Techniken (wie LIME oder SHAP) zu gewichten, einzuschränken oder zu steuern (z. B. nur Erklärungen bei hoher Unsicherheit anzeigen).
3. Unsicherheit zur Bewertung der Robustheit: Unsicherheitsquantifizierung wird genutzt, um die Stabilität und Zuverlässigkeit der Erklärungen selbst zu testen (z. B. Varianz zwischen verschiedenen Erklärern).

Unsicherheitsdekomposition

Ein zentrales technisches Thema ist die Unterscheidung zwischen:

• Aleatorischer Unsicherheit: Datenrauschen, inhärente Variabilität (nicht reduzierbar).
• Epistemischer Unsicherheit: Mangelndes Wissen des Modells, begrenzte Daten (reduzierbar durch mehr Daten oder besseres Modell).
  Die Arbeit zeigt, dass neuere Studien diese Unterscheidung zunehmend explizit machen, um zu klären, ob Unsicherheit aus dem Datenrauschen oder aus dem Modellmangel stammt.

4. Ergebnisse

Methodische Trends und State-of-the-Art (SOTA)

Die Analyse identifiziert drei dominante methodische Ansätze zur Unsicherheitsquantifizierung in UAXAI:

1. Bayessche Methoden: Dominieren weiterhin (z. B. Bayes'sche neuronale Netze, Gaussian Processes), um epistemische Unsicherheit über Prior- und Posterior-Verteilungen zu erfassen.
2. Monte-Carlo-Dropout: Eine leichte, kostengünstige Baseline, die oft als Approximation für Bayessche Inferenz genutzt wird.
3. Konformale Vorhersage (Conformal Prediction): Gewinnt ab 2024 stark an Bedeutung. Bietet verteilungsfreie Garantien (distribution-free guarantees) und kalibrierte Intervalle, was für praktische Entscheidungsfindung entscheidend ist.

Entwicklungstrend: Der Feld bewegt sich von reinen Bayesschen Ansätzen hin zu hybriden Methoden, die Konformale Vorhersage mit Monte-Carlo-Techniken kombinieren. Ein wachsender Fokus liegt darauf, die Varianz der Erklärer selbst (Explainer Variability) als Unsicherheitsquelle zu erkennen.

Evaluierungspraktiken

Die Evaluierung in UAXAI ist derzeit fragmentiert und stark modellzentriert statt nutzerzentriert.

• Häufige Metriken: Modellgenauigkeit (RMSE, F1), Robustheit (Varianz bei Perturbationen), und Unsicherheits-spezifische Maße (Coverage, Calibration Error).
• Kritik: Es fehlt an standardisierten Protokollen, die die Propagierung von Unsicherheit vom Modell zur Erklärung und deren Auswirkung auf menschliche Entscheidungen messen.
• Versprechen: Kontrapfaktische Erklärungen (Counterfactuals) und konformale Ansätze gelten als vielversprechend, da sie Interpretierbarkeit mit formalen Zuverlässigkeitsgarantien verbinden.

Wissenslücken

• Mangel an Nutzerstudien: Wie interpretieren Menschen verschiedene Unsicherheitsdarstellungen?
• Fehlende einheitliche Evaluierungsrahmenwerke, die Zuverlässigkeit, Robustheit und menschliches Vertrauen gemeinsam messen.
• Unklare Definitionen: In älteren Arbeiten werden Varianz und Unsicherheit oft verwechselt.

5. Bedeutung und Ausblick

Dieses Survey ist ein Meilenstein für das Verständnis der Schnittstelle zwischen Unsicherheitsquantifizierung und Erklärbarkeit. Es zeigt, dass UAXAI nicht nur eine technische Erweiterung, sondern ein notwendiger Schritt für den Einsatz von KI in kritischen Infrastrukturen ist.

Zukünftige Forschungsrichtungen:

1. Formale Garantien: Ausweitung von konformalen Vorhersagen und Credal Sets, um Interpretierbarkeit mit mathematischen Zuverlässigkeitsgarantien zu verbinden.
2. Standardisierte Evaluation: Entwicklung einheitlicher Protokolle, die nicht nur die Modellleistung, sondern die Stabilität der Erklärung und die Kalibrierung des Nutzervertrauens prüfen.
3. Nutzerstudien: Untersuchung, wie verschiedene Darstellungen von Unsicherheit (aleatorisch vs. epistemisch) die Entscheidungsqualität und das Vertrauen beeinflussen.
4. Dekomposition: Praktische Implikationen der Unterscheidung zwischen aleatorischer und epistemischer Unsicherheit für den Endnutzer klären (z. B. wann sollte ein Nutzer einer Erklärung misstrauen?).

Zusammenfassend argumentieren die Autoren, dass Fortschritte in UAXAI nur durch vereinheitlichte Evaluierungsprinzipien erreicht werden können, die Unsicherheitspropagierung, Robustheit und menschliche Entscheidungsfindung verknüpfen. Der Fokus verschiebt sich von der bloßen Schätzung von Unsicherheit hin zur strukturellen Integration von Unsicherheit als essenziellem Bestandteil der Erklärbarkeit.