💻 computer science

Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

Das Papier stellt CREDENCE vor, ein Credal-Ensemble-Concept-Bottleneck-Modell-Framework, das Unsicherheit auf Konzeptebene mithilfe von Wahrscheinlichkeitsintervallen und Ensemble-Abweichungen in epistemische und aleatorische Komponenten zerlegt und dadurch handlungsorientiertere Entscheidungsstrategien wie automatisiertes Routing, gezielte Datenerhebung und menschliche Überprüfung ermöglicht.

Ursprüngliche Autoren: Tanmoy Mukherjee, Thomas Bailleux, Pierre Marquis, Zied Bouraoui

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tanmoy Mukherjee, Thomas Bailleux, Pierre Marquis, Zied Bouraoui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Restaurantkritiker, der entscheiden muss, ob eine Bewertung positiv oder negativ ist. Manchmal ist die Bewertung kristallklar: „Das Essen war fantastisch!" Sie wissen genau, was zu tun ist. Aber manchmal ist die Bewertung tückisch: „Der Kellner war effizient, nehme ich an."

Ist das ein Kompliment? Eine Beschwerde? Oder einfach nur jemand, der unsicher ist?

Aktuelle KI-Modelle geben Ihnen oft eine einzelne Zahl als Antwort, wie „60 % Wahrscheinlichkeit, dass dies positiv ist". Doch diese einzelne Zahl verbirgt ein großes Problem. Sie sagt Ihnen nicht, warum die KI unsicher ist. Ist die KI verwirrt, weil sie in ihrem Training nicht genügend ähnliche Beispiele gesehen hat? Oder ist der Satz so vage, dass selbst ein menschlicher Experte darüber streiten würde?

Diese Arbeit stellt ein neues System namens CREDENCE (Credal Ensemble Concept Estimation) vor, das dieses Problem löst, indem es wie ein Team von Detektiven agiert, statt wie ein einzelner Detektiv.

Das Problem: Die „Verwirrten" vs. die „Mehrdeutigen"

Die Autoren sagen, dass aktuelle KI zwei völlig unterschiedliche Arten von Unsicherheit vermischt:

Epistemische Unsicherheit (Das Problem „Ich habe das noch nicht gelernt"): Die KI ist verwirrt, weil ihr Erfahrung fehlt. Wenn Sie ihr mehr Beispiele zeigen würden, könnte sie die Antwort lernen.
Aleatorische Unsicherheit (Das Problem „Das ist einfach nur vage"): Die Eingabe selbst ist mehrdeutig. Selbst wenn die KI ewig studieren würde, würden Menschen immer noch über die Antwort streiten, weil der Satz inhärent unklar ist.

Diese beiden zu vermischen ist gefährlich. Wenn die KI verwirrt ist, sollten Sie sie weiter trainieren. Wenn der Satz vage ist, sollten Sie einen Menschen bitten, zu entscheiden. Aber wenn Sie nur einen „niedrigen Vertrauens"-Wert sehen, wissen Sie nicht, welche Maßnahme zu ergreifen ist.

Die Lösung: Ein Team von Detektiven (CREDENCE)

CREDENCE verändert, wie die KI denkt. Anstatt eine KI zu bitten, die Antwort zu erraten, nutzt es ein Team von fünf leicht unterschiedlichen KI-„Köpfen" (denken Sie an fünf Detektive mit unterschiedlichen Lupe), die denselben Satz betrachten.

So funktioniert es, Schritt für Schritt:

1. Das Team von Detektiven (Ensemble-Köpfe)
Stellen Sie sich fünf Detektive vor, die den Satz „Der Kellner war effizient, nehme ich an" betrachten.

Detektiv A (trainiert mit einer einfachen Lupe) denkt: „Vielleicht positiv."
Detektiv B (trainiert mit einer detaillierten Lupe) denkt: „Vielleicht negativ."
Detektiv C denkt: „Es ist ein unentschiedener Fall."

Wenn alle fünf Detektive übereinstimmen, ist die KI zuversichtlich. Wenn sie alle widersprechen, weiß die KI, dass sie verwirrt ist (Epistemische Unsicherheit). Diese Uneinigkeit sagt dem System: „Hey, wir brauchen mehr Trainingsdaten, um zu lernen, wie man mit Sätzen wie diesem umgeht."

2. Der „Mehrdeutigkeits-Messer" (Aleatorischer Kopf)
Separat verfügt das System über einen speziellen Sensor, der darauf trainiert ist, zu erkennen, wenn sich selbst Menschen nicht einig sind. Er betrachtet den Satz und fragt: „Ist dieser Satz so vage, dass sogar eine Gruppe von Menschen darüber streiten würde?"
Wenn die Antwort ja ist, markiert das System dies als Aleatorische Unsicherheit. Dies sagt dem System: „Verschwenden Sie keine Zeit damit, die KI daran zu trainieren; schicken Sie es einfach an einen menschlichen Prüfer."

3. Die „Intervall"-Antwort
Anstatt eine einzelne Zahl zu geben (wie 60 %), liefert CREDENCE einen Bereich (wie „zwischen 40 % und 80 %").

Ein schmaler Bereich bedeutet, dass die Detektive übereinstimmen (geringe Unsicherheit).
Ein breiter Bereich bedeutet, dass sie streiten (hohe Unsicherheit).

Was können Sie damit tun?

Da CREDENCE „Verwirrung" von „vager Eingabe" trennt, kann es Ihnen eine spezifische Anweisung für das weitere Vorgehen geben. Die Arbeit testet dies bei Aufgaben wie dem Lesen von Restaurantbewertungen und dem Aufspüren toxischer Kommentare.

Sie fanden vier verschiedene Situationen, ähnlich einem Ampelsystem für KI-Entscheidungen:

🟢 VERTRAUEN (Geringe Verwirrung, Geringe Vagheit): Die Detektive sind einig, und der Satz ist klar. Aktion: Lassen Sie die KI dies automatisch bearbeiten.
🟡 DATEN (Hohe Verwirrung, Geringe Vagheit): Die Detektive streiten, aber der Satz ist klar. Das bedeutet, die KI hat einfach nicht genügend Beispiele gesehen. Aktion: Sammeln Sie mehr Trainingsdaten, um die KI zu unterrichten.
🟠 PRÜFEN (Geringe Verwirrung, Hohe Vagheit): Die Detektive sind einig, aber der Satz ist so seltsam oder vage, dass Menschen darüber streiten würden. Aktion: Senden Sie es an einen menschlichen Prüfer. Die KI ist nicht „falsch"; die Situation erfordert einfach menschliches Urteil.
🔴 ZURÜCKHALTEN (Hohe Verwirrung, Hohe Vagheit): Die Detektive streiten, und der Satz ist ein Chaos. Aktion: Versuchen Sie gar nicht zu raten. Lehnen Sie die Aufgabe ab oder eskalieren Sie sie an einen Experten.

Die Ergebnisse

Die Arbeit testete dies an mehreren Datensätzen (wie Restaurantbewertungen und Emotionserkennung). Sie fanden heraus:

Wenn die KI einen Fehler machte, lag dies meist daran, dass die „Detektive" uneinig waren (Hohe Verwirrung).
Wenn die KI einen Satz als „vage" markierte, war dies fast immer darauf zurückzuführen, dass echte Menschen tatsächlich uneinig waren, wie sie ihn zu labeln hatten (Hohe Vagheit).
Am wichtigsten: Wenn Sie versuchten, die KI zu korrigieren, indem Sie die „vagen" Sätze behandelten, erhielten Sie viel bessere Ergebnisse als beim Versuch, die „verwirrten" zu beheben. Dies legt nahe, dass die Dinge, die Menschen als mehrdeutig empfinden, tatsächlich die wichtigsten Teile des Entscheidungsprozesses sind.

Auf den Punkt gebracht

CREDENCE ist wie ein Dashboard für eine KI mit zwei separaten Warnleuchten anstelle einer großen „Warnung"-Leuchte. Eine Leuchte sagt Ihnen: „Wir müssen mehr lernen", und die andere sagt: „Das ist zu knifflig für eine Maschine, rufen Sie einen Menschen." Durch die Trennung dieser beiden Probleme weiß das System genau, wie es reagieren muss, was es sicherer und nützlicher für Entscheidungen in der realen Welt macht.

1. Problemstellung

In risikoreichen Anwendungen der Natural Language Processing (NLP) (z. B. Gesundheitswesen, Recht, Finanzen) geben Standardmodelle einen einzigen Konfidenzwert aus, der zwei unterschiedliche Arten von Unsicherheit vermischt:

Epistemische Unsicherheit: Reduzierbare Unsicherheit, verursacht durch Modellignoranz oder Unterbestimmtheit (z. B. hat das Modell nicht genügend ähnliche Trainingsbeispiele gesehen).
Aleatorische Unsicherheit: Irreduzible Unsicherheit, verursacht durch inhärente Mehrdeutigkeit oder Rauschen in den Eingabedaten (z. B. stimmen menschliche Annotatoren bei der Beschriftung tatsächlich nicht überein).

Limitierungen aktueller Ansätze:

Concept Bottleneck Models (CBMs): Obwohl CBMs die Interpretierbarkeit verbessern, indem sie menschlich verständliche Zwischenkonzepte vorhersagen, geben sie typischerweise Punkt-Wahrscheinlichkeiten (einzelne Werte) aus. Dies führt zu einer Kollapsierung von epistemischer und aleatorischer Unsicherheit, wodurch es unmöglich wird zu bestimmen, warum eine Vorhersage unsicher ist.
Handlungsdefizit: Ohne Dekomposition können Praktiker nicht zwischen Fällen unterscheiden, in denen das Modell mehr Trainingsdaten benötigt (hohe epistemische Unsicherheit), und Fällen, in denen eine menschliche Überprüfung aufgrund mehrdeutiger Eingaben erforderlich ist (hohe aleatorische Unsicherheit).

2. Methodik: CREDENCE

Die Autoren schlagen CREDENCE (Credal Ensemble Concept Estimation) vor, ein Framework, das Unsicherheit durch Konstruktion auf Konzeptebene zerlegt.

Kernarchitektonische Innovationen

Kredale Vorhersagen (Intervalle): Anstelle einer einzelnen Wahrscheinlichkeit $p_k$ wird jedes Konzept $k$ als Wahrscheinlichkeitsintervall $[p_k, \bar{p}_k]$ vorhergesagt. Dieses Intervall repräsentiert eine Kredale Menge und erfasst den Bereich plausibler Wahrscheinlichkeiten.
Strukturelle Trennung der Unsicherheit: Die Architektur stellt sicher, dass epistemische und aleatorische Signale aus unterschiedlichen Quellen stammen, um zu verhindern, dass sie zu einem einzigen Score kollabieren.
- Epistemische Unsicherheit ( $U_{epi}$ ): Abgeleitet aus Ensemble-Disagreement. Das Modell verwendet $H$ diverse leichte Köpfe (LoRA-Adapter) mit variierenden Rängen und Dropout-Raten. Die Varianz ihrer Vorhersagen quantifiziert die Modellverwirrung.
- Aleatorische Unsicherheit ( $U_{ale}$ ): Abgeleitet aus einem dedizierten Kopf, der speziell darauf trainiert ist, Annotator-Disagreement (Mehrdeutigkeit) vorherzusagen. Dieser Kopf lernt, einen Wert auszugeben, der proportional zur Varianz der menschlichen Beschriftungen für ein gegebenes Konzept ist.

Pipeline-Phasen

Encoder: Ein eingefrorenes vortrainiertes Modell (z. B. RoBERTa, LLMs) kodiert den Eingabetext $x$ in eine Repräsentation $h$ .
Ensemble-Köpfe: $H$ diverse LoRA-Köpfe sagen Konzeptwahrscheinlichkeiten $\hat{p}_h^{(k)}$ voraus.
Kredale Aggregation:
- Intervallgrenzen werden gebildet: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$ .
- Epistemische Unsicherheit wird als Varianz über die Köpfe berechnet: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$ .
Aleatorischer Kopf: Ein separater Kopf sagt $\sigma_\theta^{(k)}$ voraus und wird während des Trainings darauf trainiert, die beobachtete Annotator-Disagreement-Rate (Ground Truth) zu entsprechen.
Klassifizierung & Entscheidung:
- Endgültige Labels werden unter Verwendung des Mittels der Konzeptwahrscheinlichkeiten vorhergesagt.
- Entscheidungsregeln: Das System nutzt die zerlegten Signale, um Proben zu routen:
  - Vertrauen: Niedrige Epi, Niedrige Ale $\rightarrow$ Automatisieren.
  - Datensammlung: Hohe Epi, Niedrige Ale $\rightarrow$ Mehr Trainingsdaten sammeln.
  - Menschliche Überprüfung: Niedrige Epi, Hohe Ale $\rightarrow$ An Menschen weiterleiten (Eingabe ist mehrdeutig).
  - Abstinenz: Hohe Epi, Hohe Ale $\rightarrow$ Vorhersage ablehnen.

3. Hauptbeiträge

Kredale CBM-Formulierung: Eine neuartige CBM-Variante, die Konzeptvorhersagen als Wahrscheinlichkeitsintervalle statt als Punktschätzwerte darstellt und eine prinzipielle Unsicherheitsquantifizierung ermöglicht.
Strukturelle Dekomposition: Eine Methode, die epistemische (Modellverwirrung) und aleatorische (Datenmehrdeutigkeit) Signale unter Verwendung unterschiedlicher architektonischer Komponenten trennt (Ensemble-Varianz vs. überwachter Mehrdeutigkeitskopf) und so ein Signal-Kollabieren verhindert.
Handlungsorientierte präskriptive Anleitung: Zeigt, dass die Dekomposition von Unsicherheit spezifische, optimierte Interventionen ermöglicht (z. B. Priorisierung der Datensammlung für epistemische Fehler im Vergleich zur menschlichen Überprüfung für aleatorische Fälle).

4. Experimentelle Ergebnisse

Das Framework wurde an mehreren NLP-Aufgaben (Sentiment, Emotion, Toxizität) mit Datensätzen wie CEBaB, GoEmotions, HateXplain und SST-2 evaluiert.

Validität der Dekomposition (RQ1 & RQ2):
- Epistemische Korrelation: CREDENCE zeigt eine starke positive Korrelation zwischen epistemischer Unsicherheit und Vorhersagefehlern ( $\rho_{epi} \approx 0,287$ auf CEBaB). Wenn das Modell falsch liegt, stimmen die Ensemble-Köpfe nicht überein.
- Aleatorische Korrelation: Aleatorische Unsicherheit korreliert stark mit Annotator-Disagreement ( $\rho_{ale} \approx 0,785$ auf CEBaB) und übertrifft Baselines deutlich (z. B. CBM+Ensemble $\rho_{ale} \approx 0,356$ ).
- Trennung: Auf SST-2 (das keine Annotator-Disagreement-Labels hat) zeigt aleatorische Unsicherheit korrekt keine Korrelation mit Fehlern, was beweist, dass sie Mehrdeutigkeit und nicht Modellversagen misst.
Handlungsrelevanz (RQ3):
- Konzept-Intervention: Das Ersetzen von Konzepten mit hoher aleatorischer Unsicherheit durch Ground-Truth-Labels ergibt signifikant höhere Genauigkeitsgewinne ( $\Delta Acc \approx 18,9\%$ ) im Vergleich zum Ersetzen von Konzepten mit hoher epistemischer Unsicherheit ( $\Delta Acc \approx 4,3\%$ ). Dies deutet darauf hin, dass mehrdeutige Konzepte die Aufgabenergebnisse stärker antreiben als Modellverwirrung.
- Routing-Effizienz: Das Vier-Quadranten-Entscheidungsframework identifiziert „Menschliche Überprüfung"-Fälle (Niedrige Epi, Hohe Ale), bei denen das Modell tatsächlich korrekt ist, menschliche Annotatoren jedoch nicht übereinstimmen, und erzielt den höchsten potenziellen Genauigkeitsgewinn ( $85,7\%$ ), wenn sie korrekt geroutet werden.
Effizienz: CREDENCE erzielt diese Ergebnisse mit minimalem Overhead (unter Verwendung von LoRA-Adaptern) im Vergleich zu vollständigen Deep Ensembles, behält eine wettbewerbsfähige Genauigkeit bei und liefert gleichzeitig reiche Unsicherheitssignale.

5. Bedeutung und Auswirkung

Brückenschlag zwischen Theorie und Praxis: Das Paper geht über die theoretische Unsicherheitsquantifizierung hinaus und bietet präskriptive Handlungen. Es sagt Praktizierenden, was zu tun ist, basierend auf der Art der Unsicherheit (z. B. „Daten sammeln" vs. „an Menschen senden").
Umgang mit Subjektivität: In NLP-Aufgaben, bei denen die „Ground Truth" oft ein Kompositum aus umstrittenen menschlichen Urteilen (Subjektivität) ist, ist die Unterscheidung zwischen Modellignoranz und inhärenter Mehrdeutigkeit entscheidend. CREDENCE bietet das erste CBM-Framework, das diese Unterscheidung explizit modelliert.
Mensch-KI-Zusammenarbeit: Durch die Identifizierung von Fällen, in denen menschliches Urteilsvermögen essenziell ist (hohe aleatorische Unsicherheit), im Vergleich zu Fällen, in denen das Modell einfach mehr Training benötigt (hohe epistemische Unsicherheit), optimiert das Framework die Zuweisung menschlicher Ressourcen und Budgets für Datensammlung.
Robustheit: Die Methode generalisiert über verschiedene Modellgrößen (von Encodern mit 66 Millionen Parametern bis hin zu LLMs mit 8 Milliarden Parametern) und diverse NLP-Aufgaben hinweg.

Zusammenfassend verwandelt CREDENCE Unsicherheit von einem einzelnen, undurchsichtigen Konfidenzwert in ein strukturiertes, handlungsorientiertes Diagnosewerkzeug und ermöglicht so eine zuverlässigere und effizientere Bereitstellung von KI-Systemen in risikoreichen Umgebungen.