💬 NLP

The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

Dieses Paper führt die „Score-Granularitätslücke“ ein, um zu zeigen, dass, während einmalige verbalisierte Konfidenzwerte in Black-Box-LLMs Fälle gut ranken, sie für den Einsatz nur wenige grobe Schwellenwerte bieten, wohingegen die Aggregation über mehrere Abfragen schwache Modelle verbessert, aber starke Modelle verschlechtern kann.

Ursprüngliche Autoren: Ao Sun, Tian Sun, Jiaxing Geng

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ao Sun, Tian Sun, Jiaxing Geng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager einer geschäftigen Fabrik. Sie haben einen neuen, superintelligenten Roboter (eine KI), der Pakete sortiert. Manchmal ist sich der Roboter zu 100 % sicher, dass ein Paket „Gut“ ist, und manchmal ist er sich zu 100 % sicher, dass es „Schlecht“ ist. Aber was ist mit den Paketen, bei denen er sich unsicher ist?

In der realen Welt können Sie den Roboter nicht jede Entscheidung treffen lassen. Sie brauchen eine Sicherheitsregel: „Wenn der Roboter sich zu 90 % sicher ist, versende das Paket automatisch. Wenn er sich weniger sicher ist, schicke es zur Überprüfung an einen Menschen.“

Dieses Paper handelt von einem verborgenen Problem, das auftritt, wenn wir diese Roboter fragen, wie sicher sie sich sind. Die Autoren nennen dies die „Score Granularity Gap“ (Lücke in der Score-Granularität).

Hier ist die Aufschlüsselung in einfachen Worten:

1. Das Problem: Der „kaputte Regler“

Stellen Sie sich vor, der Roboter gibt Ihnen einen Konfidenzwert (Confidence Score), um zu entscheiden, was zu tun ist.

Das Ideale: Ein glatter Regler, der von 0 % bis 100 % geht, mit unendlich vielen winzigen Schritten. Sie können Ihre Regel an jedem beliebigen Punkt festlegen (z. B. „Nur automatisch versenden, wenn er sich zu 73,4 % sicher ist“).
Die Realität: Der „Regler“ des Roboters ist kaputt. Er hat nicht 100 Stufen. Er kann nur vier oder fünf verschiedene Zahlen nennen, wie zum Beispiel „Niedrig“, „Mittel“, „Hoch“ und „Sehr Hoch“.

Selbst wenn der Roboter unglaublich intelligent ist und die „Guten“ Pakete korrekt über den „Schlechten“ einordnet (er weiß also, welches besser ist), kann er Ihnen nicht helfen, Ihre Fabrik fein abzustimmen. Wenn Sie genau die obersten 70 % der Pakete akzeptieren wollen, der Roboter aber nur Scores von 50 % und 90 % liefert, stecken Sie fest. Sie akzeptieren entweder 50 % oder 90 %, aber niemals 70 %.

Die Analogie: Es ist, als würde man versuchen, ein Radio einzustellen, das nur vier Stationen hat: Nachrichten, Musik, Sport und Wetter. Selbst wenn der Musiksender perfekt ist, können Sie weder „Jazz“ noch „Rock“ hören, weil das Radio diese Kanäle nicht besitzt. Sie sind auf eine „grobe Treppe“ statt auf eine glatte Rampe angewiesen.

2. Das Experiment: Sieben Wege, den Roboter zu fragen

Die Forscher testeten sieben verschiedene Möglichkeiten, den KI nach einem Konfidenzwert zu fragen, um zu sehen, welche Methode die meisten „Stufen“ auf dem Regler liefert.

Methode A: Einfach fragen (Der „verbalisierte“ Score). Sie fragen die KI: „Bist du dir sicher?“ und sie antwortet: „Ich bin mir zu 85 % sicher.“
- Ergebnis: Die KI ist tatsächlich sehr gut darin, Dinge zu ranken (sie weiß, was richtig ist), aber sie verwendet nur eine Handvoll Zahlen (wie 0,5, 0,8, 0,9, 1,0). Es ist ein grober Regler.
Methode B: Der „Token“-Score. Wenn die KI erlaubt ist, ihre interne Mathematik (Log-Wahrscheinlichkeiten) zu zeigen, kann sie mehr Zahlen liefern.
- Ergebnis: Dies liefert einen glatteren Regler, aber viele kommerzielle Roboter zeigen Ihnen ihre Mathematik nicht.
Methode C: Die „Crowd“ (Multi-Query). Sie stellen dieselbe Frage 10 Mal, vielleicht leicht unterschiedlich formuliert, und bilden den Durchschnitt der Antworten.
- Ergebnis: Dies erzeugt einen sehr glatten Regler mit Hunderten von Stufen. Es gibt jedoch einen Haken:
  - Wenn der Roboter schwach (nicht sehr intelligent) ist, macht das 10-malige Fragen ihn viel intelligenter und liefert Ihnen einen tollen Regler.
  - Wenn der Roboter stark (bereits sehr intelligent) ist, kann das 10-malige Fragen ihn tatsächlich verwirren und sein Ranking verschlechtern. Es ist, als würde man einem Genie 10 verschiedene Ratschläge geben; sie könnten die Dinge nur verwässern.

3. Der „Interpretierbarkeit“-Twist

Die Forscher probierten auch eine Methode aus, bei der sie die Frage in 10 kleinere, spezifische Fragen zerlegten (z. B. „Enthält dieser Satz einen Widerspruch?“ oder „Ist die Grammatik korrekt?“).

Warum das Ganze? Nicht primitär, um besser zu ranken, sondern weil es erklärbar ist.
Der Vorteil: Wenn der Roboter einen Fehler macht, können Sie sich die 10 kleinen Antworten ansehen und sagen: „Ah, er ist gescheitert, weil er die Grammatik nicht verstanden hat.“ Das ist wie ein Kassenbeleg, der genau zeigt, was Sie gekauft haben, anstatt nur die Gesamtrechnung anzuzeigen. Dies ist entscheidend für regulierte Branchen (wie Medizin oder Recht), in denen man wissen muss, warum eine Entscheidung getroffen wurde.

4. Das Fazit: Was sollten Sie tun?

Das Paper gibt einen einfachen Leitfaden für Menschen, die diese KI-Systeme einsetzen:

Konvertieren Sie die Antwort immer: Wenn die KI sagt „Ich bin mir zu 90 % sicher, dass es NEIN ist“, müssen Sie dies in „Ich bin mir zu 10 % sicher, dass es JA ist“ umwandeln, bevor Sie es als Score verwenden. Andernfalls läuft Ihr Sortierprozess rückwärts.
Wenn Sie eine schwache KI haben: Nutzen Sie die „Crowd“-Methode (fragen Sie 10 Mal). Dies macht die KI intelligenter und liefert Ihnen einen glatten Regler, mit dem Sie arbeiten können.
Wenn Sie eine starke KI haben: Bleiben Sie bei der einfachen „Einfach fragen“-Methode. Sie ist schnell und rankt gut. Fragen Sie nicht 10 Mal nach, sonst machen Sie es schlechter.
Wenn Sie Ihre Entscheidungen erklären müssen: Nutzen Sie die Methode der „Kleinen Fragen“. Sie liefert einen glatten Regler und einen klaren Grund für jede Entscheidung, auch wenn dies mehr Rechenleistung kostet.

Zusammenfassung

Das Paper argumentiert, dass wir nicht nur fragen sollten: „Ist die KI sicher?“, sondern: „Wie fein kann ich diese Sicherheit abstimmen?“

Ein perfektes Rankingsystem ist nutzlos, wenn es Ihnen nur drei Knöpfe zum Drücken anbietet. Um ein zuverlässiges automatisiertes System aufzubauen, benötigen Sie einen Score, der genügend „Stufen“ bietet, damit Sie das Risiko präzise steuern können – sei es durch eine einfache Konvertierung, eine intelligente „Crowd“ von Fragen oder eine transparente Aufschlüsselung der Logik.

Technisches Resümee: Die Granularitätslücke der Scores bei Black-Box-LLM-Klassifizierung

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als Black-Box-Klassifikatoren in hochsensiblen Pipelines (z. B. medizinische Triage, Inhaltsmoderation) eingesetzt, die auf selektiver Vorhersage basieren. In diesem Szenario setzt ein Betreiber einen Konfidenzschwellenwert fest, um hochkonfidente Vorhersagen zu automatisieren und unsichere Fälle zur menschlichen Überprüfung weiterzuleiten.

Die bisherige Forschung konzentrierte sich darauf, ob die Konfidenz eines LLMs kalibriert ist (bedeutet eine angegebene 80 % auch tatsächlich 80 % Genauigkeit?) oder ob sie korrekt rangiert (ordnet sie Fehler unter korrekte Vorhersagen ein?). Dieses Paper identifiziert jedoch eine kritische, oft übersehene Dimension für den Einsatz: die Score-Granularität.

Das Kernproblem ist die Score-Granularitätslücke: Ein Konfidenzwert kann Fälle zwar perfekt ordnen, aber unbrauchbar für eine feingliedrige Steuerung sein, wenn er nur wenige distinkte Werte aufweist. Wenn ein Score nur $V$ verschiedene Werte bietet, kann ein Betreiber maximal $V$ nicht-triviale Arbeitspunkte (Schwellenwerte) definieren, unabhängig davon, wie gut der Score rangiert. Dies erzeugt eine „grobe Treppenstruktur“ der erreichbaren Risiko-Abdeckungs-Trade-offs statt einer glatten Reglerfunktion, was das System unflexibel für spezifische Fehlermargen macht.

2. Methodik

Experimenteller Aufbau

Die Studie evaluiert sieben Konfidenz-Konstruktionen über 25 Modell–Datensatz-Paare (9 LLMs unterschiedlicher Stärke auf 3 Benchmarks: BoolQ, MNLI und PubMedQA). Die Modelle reichen von starken (z. B. GPT-4o-mini, Llama-3.1-70B) bis zu schwachen Modellen (z. B. GPT-5-nano, Llama-3.1-8B).

Konfidenz-Konstruktionen

Die Autoren vergleichen Methoden, die in zwei Kategorien fallen:

Single-Shot (1 Modellaufruf):
- Verb: Verbalisierte Konfidenz, umgewandelt in eine Klassenwahrscheinlichkeit (Handhabung von Negativklassen-Vorhersagen via $P(pos) = 1-c$, falls $\hat{y}=0$ ).
- Verb-logprob: Log-Wahrscheinlichkeiten des ersten Tokens (sofern API-Zugriff besteht).
- Verb-logprob+T: Log-Wahrscheinlichkeiten mit post-hoc Temperatur-Skalierung.
Multi-Signal (10 Modellaufrufe pro Input):
- Sub-Task-Dekomposition: Das Modell beantwortet 10 handgestaltete, interpretierbare Ja/Nein-Teilfragen (z. B. „lexical_overlap“, „semantic_entail“).
- Multi-Prompt-Paraphrasierung: Das Modell beantwortet 10 paraphrasierte Versionen des Original-Prompts.
- Aggregation: Die 10 Skalarwerte werden kombiniert via:
  - Einfache Mittelwertbildung: Naiver Mittelwert.
  - Gelernte Kombination (LR): Logistische Regression mit L2-Regularisierung, um Gewichte und Vorzeichen zu lernen.
  - Kalibrierung: Temperatur-Skalierung angewandt auf die Logits der logistischen Regression.

Metriken

Die Studie evaluiert Scores entlang dreier Achsen:

Ranking-Qualität: Gemessen durch PR-AUC (und normalisierte PR-AUC $_N$ ) und AURC (Area Under Risk-Coverage).
Score-Auflösung: Gemessen durch:
- Granularität ( $G$ ): Anzahl der distinkten Score-Werte.
- Score-Entropie ( $H$ ): Verteilung über 20 Bins.
- Innere Masse ( $M$ ): Anteil der Scores im nützlichen Bereich $(0,1, 0,9)$ .
Kosten & Interpretierbarkeit: Anzahl der Modellaufrufe sowie die Fähigkeit, die Begründung zu auditieren (Sub-Tasks bieten dies; Paraphrasen nicht).

3. Kernergebnisse

Die Granularitätslücke

Verbalisierte Konfidenz (Verb): Rangiert überraschend gut (mittlerer normalisierter PR-AUC $_N$ = 0,80), ist aber extrem grob. Sie bietet typischerweise nur 1–21 distinkte Werte (Mittelwert $G=9$ ), wobei 45 % der Fälle den häufigsten Wert teilen. Dies begrenzt den Betreiber auf etwa 9 Schwellenwerte, was zu einer Treppenstruktur der Risiko-Abdeckungs-Kurve führt.
Auflösung vs. Ranking: Hohes Ranking impliziert keine hohe Auflösung. Ein Score kann Fälle perfekt ordnen, aber für das Thresholding unbrauchbar sein, wenn er nicht genügend distinkte Werte besitzt.

Effekte der Aggregation

Auflösungserweiterung: Multi-Query-Aggregation (Sub-cal, MP-LR) erweitert konsistent die Auflösung, erhöht $G$ auf einen Mittelwert von 138 und füllt die innere Masse ( $M \approx 45 \%$ ).
Selektiver Einfluss auf das Ranking:
- Schwache Modelle: Aggregation verbessert das Ranking für Modelle mit einer Genauigkeit $\lesssim 85 \%$ .
- Starke Modelle: Aggregation kann das Ranking für starke Modelle (Genauigkeit $\gtrsim 90 \%$ ) verschlechtern. Die gelernten Gewichte können das bereits gute Ranking der verbalisierten Scores stören, was zu einem schlechteren AURC in 13 von 18 starken Modell-Paaren führt.
Gelernte vs. Naive Methoden: Einfache Mittelwertbildung versagt oft (z. B. Abfall auf Naiv-Niveau bei MNLI) aufgrund widersprüchlicher Polaritäten in den Sub-Tasks. Gelernte logistische Regression ist essenziell, um das Signal durch Zuweisung korrekter Vorzeichen und Gewichte zurückzugewinnen.

Interpretierbarkeit

Sub-Tasks vs. Paraphrasen: Paraphrasen-Aggregation (MP-LR) erreicht oft ein Ranking, das die Sub-Task-Aggregation (Sub-LR) erreicht oder übertrifft. Sub-Tasks bieten jedoch Deployment-Eigenschaften: Gewichtstransparenz, Fehlereattribution und Audit-Trails (Begründungen für jeden Sub-Score).
Fehlermodi: Sub-Tasks können scheitern, wenn die handgestalteten Probes nicht dem Label folgen (z. B. wenn ein spezifisches Modell auf BoolQ kollabiert), aber diese Ausfälle sind sichtbar und auditierbar – im Gegensatz zu den stillen Ausfällen von Black-Box-Paraphrasen-Ensembles.

Token-Wahrscheinlichkeiten

Dort, wo verfügbar, bieten Roh-Log-Wahrscheinlichkeiten eine bessere Auflösung als verbalisierte Scores. Post-hoc Temperatur-Skalierung verbessert die Auflösung signifikant (Erhöhung von $G$ auf 51–69) sowie die Abdeckung bei niedrigen Fehlerraten, und das bei einem 1x Kostenfaktor.

4. Deployment-Leitfaden

Das Paper schlägt ein Entscheidungsverfahren basierend auf Modellstärke und Constraints vor:

Immer konvertieren: Wandeln Sie verbalisierte Konfidenz in Klassenwahrscheinlichkeiten um.
Falls Log-Wahrscheinlichkeiten verfügbar sind: Nutzen Sie diese mit Temperatur-Skalierung (beste Kosten/Auflösungs-Trade-off).
Wenn das Modell schwach ist ( $\lesssim 85 \%$ Genauigkeit): Nutzen Sie Multi-Query-Aggregation (10x Kosten), um sowohl das Ranking als auch die Auflösung zu verbessern.
Wenn das Modell stark ist ( $\gtrsim 90 \%$ Genauigkeit): Bleiben Sie bei der verbalisierten Konfidenz für das Risiko-Coverage (um Verschlechterungen zu vermeiden). Nutzen Sie Aggregation nur, wenn eine feingliedrige Schwellenwert-Steuerung zwingend erforderlich ist.
Wenn Interpretierbarkeit gefordert ist: Bevorzugen Sie die Sub-Task-Dekomposition gegenüber der Paraphrasierung, da diese Transparenz bietet, ohne das Ranking (relativ zu MP-LR) zu opfern.

5. Bedeutung und Thesen

Das Paper beansprucht, das Evaluierungs-Paradigma für LLM-Konfidenz von einem binären „Ist es zuverlässig?“ hin zu einem deployment-orientierten „Mit welcher Auflösung kann darauf agiert werden?“ zu verschieben.

Reframing von „Unzuverlässigkeit“: Das Narrativ, dass „LLM-Konfidenz unzuverlässig ist“, ist teilweise ein Artefakt der Verwechslung von Konfidenz-in-die-Antwort mit Klassenwahrscheinlichkeit und der Vernachlässigung der Auflösung. Einmal konvertiert, rangiert die verbalisierte Konfidenz gut, lässt aber an Granularität vermissen.
Klarheit im Trade-off: Die Studie trennt explizit zwischen Ranking, globalem Risiko-Coverage und Schwellenwert-Kontrollierbarkeit. Sie zeigt, dass Aggregation zuverlässig Arbeitspunkte (feinere Kontrolle) erkauft, aber nicht universell das Ranking verbessert und starke Modelle schädigen kann.
Interpretierbarkeit als Eigenschaft: Die Autoren argumentieren, dass Interpretierbarkeit kein Ranking-Vorteil, sondern eine Deployment-Eigenschaft ist, die für regulierte Bereiche notwendig ist und durch Sub-Task-Scores erreicht werden kann.

Die Autoren kommen zu dem Schluss, dass zukünftige Evaluationen neben Ranking-Metriken auch Auflösungsmetriken (Granularität, Entropie, innere Masse) angeben müssen, da ein Score, der zwar perfekt rangiert, aber nur eine Handvoll Schwellenwerte bietet, nicht bereit für den produktiven Einsatz ist.