💻 computer science

\ECUAS{n}: A family of metrics for principled evaluation of uncertainty-augmented systems

Dieser Beitrag argumentiert, dass aktuelle Evaluierungsmethoden für um Unsicherheit erweiterte Systeme für Entscheidungen unter Unsicherheit unzureichend sind, und schlägt eine neue Familie geeigneter Scoring-Regeln, \ECUAS{n}, vor, die es Anwendern ermöglicht, den Trade-off zwischen Vorhersagefehlern und Unsicherheitsqualität basierend auf spezifischen Anwendungsbedürfnissen anzupassen.

Ursprüngliche Autoren: Lautaro Estienne, Erik Ernst, Matías Vera, Pablo Piantanida, Luciana Ferrer

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lautaro Estienne, Erik Ernst, Matías Vera, Pablo Piantanida, Luciana Ferrer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Experten ein, um Sie bei wichtigen Entscheidungen zu unterstützen. Einige dieser Experten sind Vorhersager: Sie betrachten ein Problem und geben Ihnen eine Antwort (wie „Morgen wird es regnen"). Andere sind Unsicherheits-angereicherte (UA-)Systeme: Sie geben Ihnen die Antwort zusammen mit einem Konfidenzwert (wie „Morgen wird es regnen, und ich bin zu 90 % sicher").

Das Problem lautet: Wie wissen Sie, welcher Experte tatsächlich gut ist?

Wenn Sie nur die Antworten betrachten, wählen Sie möglicherweise den aus, der am häufigsten recht hat, aber gleichzeitig gefährlich übermäßig selbstbewusst ist, wenn er falsch liegt. Wenn Sie nur die Konfidenzwerte betrachten, wählen Sie möglicherweise den aus, der sehr ehrlich bezüglich seiner Unsicherheit ist, dessen Antworten jedoch schrecklich sind.

Diese Arbeit stellt eine neue Methode vor, um diese „Expertenteams" zu bewerten, die ECUASn heißt. Denken Sie daran als an ein universales Zeugnis, das sowohl die Qualität der Antwort als auch die Ehrlichkeit des Konfidenzwerts in eine einzige Zahl kombiniert.

Hier ist, wie die Arbeit dies unter Verwendung einfacher Analogien aufschlüsselt:

1. Der alte Weg: Zwei separate Zeugnisse

Früher verwendeten Forscher zwei verschiedene Tests, um diese Systeme zu bewerten:

Test A (Genauigkeit): Stimmt die Antwort mit der Wahrheit überein? (z. B. „Hat es tatsächlich geregnet?")
Test B (Konfidenz): War der Konfidenzwert ein guter Prädiktor dafür, richtig zu liegen? (z. B. „Wenn sie 90 % sagten, lagen sie dann in 90 % der Fälle richtig?")

Der Fehler: Dies ist so, als würde man einen Koch separat danach bewerten, „Hat das Essen gut geschmeckt?" und „Hat er die Temperatur des Ofens richtig geraten?". Es sagt Ihnen nicht, ob das gesamte Esserlebnis gut war. Sie könnten einen Koch haben, der großartiges Essen zubereitet, aber über die Temperatur lügt, oder einen Koch, der ehrlich ist, aber das Essen verbrennt. Sie benötigen eine Bewertung, die Ihnen sagt, wie gut der Koch performt, wenn Sie entscheiden müssen, ob Sie das Essen annehmen oder zurücksenden.

2. Der neue Weg: Das „ECUASn"-Zeugnis

Die Autoren schlagen eine neue Metrik namens ECUASn vor. Stellen Sie sich diese Metrik als einen klugen Richter vor, der ein realweltliches Szenario simuliert:

Der Richter betrachtet eine Antwort und ihren Konfidenzwert.
Der Richter fragt: „Wenn ich entscheiden müsste, diese Antwort zu akzeptieren oder sie zu ablehnen (und eine zweite Meinung einzuholen), würde dieses System mir helfen, die richtige Wahl zu treffen?"

Das „n" in ECUASn ist wie ein Drehregler am Bedienfeld des Richters. Es ermöglicht Ihnen, anzupassen, was für Ihre spezifische Situation am wichtigsten ist:

Drehregler auf 0 gestellt (Hohe Risiken): Dies gilt für Situationen, in denen ein Fehler katastrophal ist (wie eine medizinische Diagnose oder ein autonom fahrendes Auto). Der Richter ist extrem streng. Wenn das System eine falsche Antwort mit hohem Vertrauen gibt, ist die Strafe enorm. Es belohnt Systeme, die sehr vorsichtig sind und nur dann sprechen, wenn sie sicher sind.
Drehregler auf eine hohe Zahl gestellt (Niedrige Risiken): Dies gilt für Situationen, in denen Fehler ärgerlich, aber nicht tödlich sind (wie eine Wettervorhersage oder eine Filmempfehlung). Der Richter ist nachsichtiger. Es kommt ihm mehr darauf an, dass das System die Antwort richtig hat, selbst wenn der Konfidenzwert nicht perfekt kalibriert ist.

3. Die Einsicht zur „semantischen Äquivalenz" (Das Übersetzungsproblem)

Die Arbeit behandelt auch ein spezifisches Problem bei Generativer KI (wie Chatbots, die Geschichten schreiben oder Quizfragen beantworten).

Das Problem: Wenn ein Chatbot antwortet „Die Hauptstadt von Frankreich ist Paris" und die korrekte Antwort „Paris" lautet, ist das ein Treffer. Aber wenn der Bot sagt „Die Hauptstadt von Frankreich ist die Stadt des Lichts", ist das ebenfalls korrekt, auch wenn die Wörter unterschiedlich sind.
Der alte Fehler: Frühere Methoden prüften oft, ob die exakten Wörter übereinstimmten. Wenn der Bot „Stadt des Lichts" sagte, könnte das alte System dies als „Falsch" markieren und sagen: „Siehst du? Der Bot ist verwirrt!"
Die Entdeckung der Arbeit: Die Autoren beweisen mathematisch, dass Sie für einen guten Konfidenzwert nicht fragen sollten: „Wie wahrscheinlich ist dieser exakte Satz richtig?" Stattdessen sollten Sie fragen: „Wie wahrscheinlich ist diese Bedeutung (oder ‚Äquivalenzklasse') richtig?"
Die Analogie: Stellen Sie sich einen Übersetzer vor. Wenn Sie nach dem Wort für „Katze" auf Französisch fragen und er „Chat" sagt, ist das perfekt. Wenn er „Le Chat" sagt, ist das ebenfalls perfekt. Wenn Sie ihn nur am exakten String „Chat" bewerten, könnten Sie ihn dafür bestrafen, dass er „Le" hinzugefügt hat. Die Arbeit zeigt, dass Sie diese Systeme fair bewerten müssen, indem Sie sie nach der Bedeutung und nicht nur nach der Rechtschreibung bewerten.

4. Warum dies wichtig ist

Die Autoren testeten diese neue Metrik bei verschiedenen Aufgaben, von der Bilderkennung bis zum Beantworten von Quizfragen. Sie stellten fest, dass:

Systeme, die unter alten Metriken „gut" aussahen, unter ECUASn manchmal „schlecht" aussahen, weil sie bei Fehlern übermäßig selbstbewusst waren.
Systeme, die unter alten Metriken „schlecht" aussahen, unter ECUASn manchmal „gut" aussahen, weil sie ehrlich über ihre Unsicherheit waren, was es den Nutzern ermöglichte, schlechte Antworten abzulehnen.
Für Entscheidungen mit hohen Risiken ist die Einstellung n=0 (der strenge Drehregler) der beste Weg, um Systeme zu finden, die Sie nicht in eine Falle führen.

Zusammenfassung

Die Arbeit argumentiert, dass wir aufhören müssen, KI-Systeme separat nach „Antworten" und „Konfidenz" zu bewerten. Stattdessen sollten wir sie danach bewerten, wie nützlich sie für das Treffen von Entscheidungen sind.

Die Metrik ECUASn ist ein flexibles Werkzeug, das wie ein Entscheidungstheorie-Simulator funktioniert. Es sagt Ihnen: „Wenn Sie diese KI zur Treffen von Entscheidungen verwenden und Sie eine bestimmte Risikotoleranz haben (gesteuert durch den Drehregler 'n'), dann wird sie genau so gut performen." Es stellt sicher, dass die KI nicht nur rät, sondern Sie tatsächlich dabei unterstützt, zu entscheiden, wann Sie ihr vertrauen und wann Sie davon ablassen sollten.

Technische Zusammenfassung: ECUASn – Eine Familie von Metriken für eine prinzipiengeleitete Bewertung von Unsicherheitsaugmentierten Systemen

Problemstellung

Bei hochriskanten automatisierten Entscheidungsprozessen benötigen Nutzer (menschlich oder nachgelagerte Systeme) Zugriff auf Vorhersageunsicherheiten, um basierend auf anwendungsspezifischen Kostenabwägungen zu entscheiden, ob eine Systemausgabe akzeptiert oder abgelehnt wird. Diese Systeme, bezeichnet als Unsicherheitsaugmentierte (UA) Systeme, geben sowohl eine Kandidatenvorhersage als auch einen Unsicherheitswert aus.

Die aktuelle Literatur bewertet UA-Systeme mit unzusammenhängenden Metriken:

Vorhersagequalität: Gemessen über Genauigkeit oder Fehlerrate.
Unsicherheitsqualität: Gemessen über binäre Klassifikationsmetriken (z. B. AUC, ECE, Brier-Score), die Unsicherheit als Prädiktor für falsche Antworten behandeln.
Integrierte Metriken: Ansätze wie die Fläche unter der Risiko-Abdeckungs-Kurve (AURC) integrieren diese Aspekte durch Durchlaufen eines Ablehnungsschwellenwerts.

Die Autoren argumentieren, dass diese Ansätze unzureichend sind. Separate Metriken spiegeln nicht den Wert wider, der dem Nutzer bei einer finalen Entscheidung geboten wird. Darüber hinaus sind AURC und ihre Varianten invariant gegenüber monotonen Transformationen des Unsicherheitswerts; sie belohnen die Rangfolge, bestrafen jedoch keine schlecht kalibrierten Unsicherheiten (über- oder unterschätzt), solange die relative Reihenfolge erhalten bleibt. Dies ist ein kritischer Mangel für Systeme, bei denen Unsicherheit als Wahrscheinlichkeit der Korrektheit interpretiert werden muss. Zudem erfordern bestehende Methoden oft die Festlegung eines spezifischen Ablehnungskostenfaktors ( $\gamma$ ) während der Entwicklung, der möglicherweise unbekannt ist oder zwischen Nutzern und Instanzen variiert.

Methodik

Der Artikel schlägt ECUASn (Expected Cost for Uncertainty-Augmented Systems) vor, eine Familie von Metriken, die in der Bayesschen Entscheidungstheorie fundiert ist.

1. Entscheidungstheoretische Grundlage

Die Autoren definieren ein UA-System als Funktion $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$ , die eine Kandidatenantwort $\tilde{d}$ und einen Unsicherheitswert $u$ ausgibt. Die finale Entscheidung $d$ ist entweder $\tilde{d}$ oder eine Ablehnung $d_r$ .

Eine Kostenfunktion $C_\gamma(y, d)$ wird basierend auf einem Ablehnungskostenfaktor $\gamma$ definiert:
$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{falls } d \in \tilde{\mathcal{D}} \\ \gamma & \text{falls } d = d_r \end{cases}$
wobei $\tilde{C}$ die Kosten der Kandidatenantwort gegeben die Grundwahrheit $y$ darstellt.

2. Herleitung von Guter Bewertungsregeln (Proper Scoring Rules, PSR)

Um die Festlegung von $\gamma$ zu vermeiden, konstruieren die Autoren eine Metrik, die Systeme belohnt, die probabilistisch interpretierbare Unsicherheiten produzieren.

Bayes-Entscheidung: Für eine gegebene Kostenfunktion und eine bedingte Verteilung $q$ über Klassen minimiert die optimale Entscheidung die erwarteten Kosten. Die erwarteten Kosten der optimalen Entscheidung, bezeichnet als $u_{\tilde{C}}(q)$ , dienen als theoretische Unsicherheit.
Gute Bewertungsregel (Proper Scoring Rule, PSR): Durch Auswertung der Kostenfunktion an der Bayes-Entscheidung wird eine neue Kostenfunktion $C^*_\gamma(y, q)$ abgeleitet. Diese Funktion ist eine Gute Bewertungsregel, was bedeutet, dass sie im Erwartungswert minimiert wird, wenn die vorhergesagte Verteilung mit der wahren Verteilung übereinstimmt. Diese Eigenschaft stellt sicher, dass die Metrik gut kalibrierte Wahrscheinlichkeiten belohnt, im Gegensatz zu AURC.

3. Die ECUASn-Familie

Um eine Metrik zu schaffen, die unabhängig von einem spezifischen Ablehnungskostenfaktor ist, integrieren die Autoren die PSR $C^*_\gamma$ über einen Bereich möglicher Ablehnungskosten $\gamma$ , gewichtet mit einer Funktion $w(\gamma)$ .
$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$
Die Autoren parametrisieren die Gewichtsfunktion als $w_n(\gamma) \propto \gamma^{n-1}$ , was zur ECUASn-Metrik führt. Der Parameter $n$ steuert den Trade-off:

$n=0$ : Bestraft stark falsche Vorhersagen mit hoher Konfidenz (eine hohe Unsicherheit ist für eine Ablehnung erforderlich). Dies wird für hochriskante Szenarien empfohlen.
$n \to \infty$ : Die Metrik degeneriert hin zur Standard-0-1-Fehlerrate und wird weniger sensitiv gegenüber der Qualität des Unsicherheitswerts selbst.

4. Anwendung auf Generative Systeme

Für generative Modelle wird das Konzept der „Korrektheit" über semantische Äquivalenzklassen definiert und nicht über exakte String-Übereinstimmungen. Die Autoren argumentieren, dass für eine optimale Entscheidungsfindung die Unsicherheit über die Verteilung dieser Äquivalenzklassen berechnet werden sollte und nicht über einzelne Token-Sequenzen. Dies liefert eine theoretische Begründung für empirische Befunde, dass semantische Entropie bessere Unsicherheitswerte liefert. In der Praxis wird für generative Aufgaben angenommen, dass die Anzahl der Klassen $K$ gegen Unendlich strebt.

Hauptbeiträge

Prinzipiengeleiteter Metrik-Replace: Einführung von ECUASn, einer Familie von Metriken, die in der Entscheidungstheorie fundiert ist und AURC ersetzt. Im Gegensatz zu AURC belohnt ECUASn Unsicherheiten, die probabilistisch interpretierbar sind (gute Bewertungsregeln), bleibt dabei jedoch agnostisch gegenüber einem spezifischen Ablehnungskostenfaktor.
Theoretische Einsicht zur generativen Unsicherheit: Eine theoretische Erklärung, warum Unsicherheitswerte, die aus semantischen Äquivalenzklassen (und nicht aus einzelnen Vorhersagen) abgeleitet werden, für generative Systeme überlegen sind. Dies leitet sich direkt aus der Konstruktion der Bayes-Entscheidungskosten ab.
Parametrisierter Trade-off: Die Einführung des Parameters $n$ , der Praktikern ermöglicht, die Metrik basierend auf dem spezifischen Risikoprofil ihrer Anwendung anzupassen (z. B. $n=0$ für hochriskante Ablehnungsszenarien).

Empirische Ergebnisse

Die Autoren bewerteten ECUASn an diversen Klassifikations- und Generierungsdatensätzen:

Klassifikation: Experimente an Sprachdaten (AGNews, SST-2), Sprachdaten (SITW, FVCAUS) und Bilddaten (CIFAR-10/100).
- Kalibrierungseffekt: ECUASn-Metriken (insbesondere für niedrige $n$ ) erkannten erfolgreich Verbesserungen der Systemqualität durch nachträgliche Kalibrierung, während AURC oft unverändert blieb, da es invariant gegenüber monotonen Transformationen ist, die die Rangfolge erhalten.
- Naiver Baseline: ECUASn identifizierte korrekt Systeme, die trotz guter Kalibrierungswerte (wie CE oder Brier-Score auf der Verteilung $q$ ) schlechter abschnitten als ein naives, prior-basiertes System, wenn die kombinierte Ausgabe aus Vorhersage und Unsicherheit betrachtet wurde.
Generierung (TriviaQA & MMLU): Experimente mit verschiedenen LLMs (Qwen, Ministral, Gemini) und drei Methoden zur Konfidenzgewinnung (Sequence Posterior, Is True, Verbalized).
- Metrik-Diskrepanz: Die Rangfolge der Konfidenzgewinnungsmethoden variierte erheblich in Abhängigkeit von der verwendeten Metrik. Beispielsweise hatte die „Verbalized"-Methode oft die beste Fehlerrate (ER), aber eine schlechte Kalibrierung, was zu hohen ECUASn-Werten (schlechtere Leistung) im Vergleich zu „Sequence Posterior" führte.
- Empfindlichkeit gegenüber Grundwahrheit: Die Autoren kuratierten manuell einen Teilbereich von TriviaQA (455 Stichproben), um Fehler in der automatischen semantischen Äquivalenzmarkierung zu korrigieren. Sie zeigten, dass automatische Evaluation die Systemrangfolgen drastisch verändern kann, was die Notwendigkeit sorgfältiger Evaluierungsprotokolle unterstreicht.

Bedeutung und Behauptungen

Der Artikel behauptet, dass ECUASn eine umfassende Bewertung von UA-Systemen bietet, indem es den Einfluss sowohl falscher Vorhersagen als auch unvollkommener Unsicherheiten in einem einzigen Wert integriert.

Entscheidungstheoretische Ausrichtung: Die Metriken sind so konzipiert, dass sie den tatsächlichen Nutzen des Systems für einen Nutzer widerspiegeln, der unter Unsicherheit entscheidet, und nicht nur statistische Eigenschaften der Ausgabe messen.
Kalibrierungssensitivität: Durch die Belohnung probabilistischer Interpretierbarkeit adressiert ECUASn eine wesentliche Einschränkung von AURC, das nicht zwischen gut kalibrierten und schlecht kalibrierten Unsicherheiten unterscheiden kann, wenn die Rangfolge erhalten bleibt.
Praktischer Nutzen: Das Framework ermöglicht es Nutzern, einen $n$ -Wert zu wählen, der ihrer Risikotoleranz entspricht, und macht es zu einem flexiblen Werkzeug für die Bewertung von Systemen in hochriskanten Umgebungen, in denen die Kosten eines falsch positiven Ergebnisses (Akzeptanz einer falschen Antwort) schwerwiegend sind.

Die Autoren schließen, dass ECUASn zwar davon ausgeht, dass der Nutzer in einem entscheidungstheoretischen Rahmen operiert (Minimierung der erwarteten Kosten), es jedoch eine robustere und prinzipiengeleitete Alternative zu aktuellen Evaluierungspraktiken für unsicherheitsaugmentierte Systeme bietet.