Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification

Stellen Sie sich vor, Sie stellen ein Team aus superintelligenten, gesprächigen Robotern ein, um einen Berg von Post zu sortieren – in „Gute“ und „Schlechte“ Stapel. Sie wollen nicht nur, dass die Roboter die Post sortieren; Sie wollen auch, dass sie Ihnen sagen, wie sicher sie sich bei jedem einzelnen Stück sind. Wenn ein Roboter sich nur zu 50 % sicher ist, möchten Sie diesen Brief vielleicht beiseitelegen und einen Menschen zur Doppelprüfung hinzuziehen. Dies ist die Welt der Large Language Models (LLMs) als Klassifizierer. Diese KI-Systeme sind wie brillante, aber manchmal überhebliche Schüler; sie können Essays schreiben und Rätsel lösen, aber wenn man sie bittet, Dinge zu kategorisieren, müssen sie in der Lage sein zu sagen: „Ich bin mir ziemlich sicher“ oder „Ich rate nur“.

Die große Frage, die Wissenschaftler stellen, lautet: Woher wissen wir, ob diese Roboter tatsächlich die Wahrheit über ihr Vertrauen sagen? Wenn ein Roboter sagt: „Ich bin mir zu 95 % sicher“, ist das ein echtes, berechnetes Gefühl oder nur ein glücklicher Tipp? Um dies zu testen, verwenden Forscher eine spezielle Bestenliste namens Accuracy-Rejection Curve (Genauigkeits-Ablehnungs-Kurve). Stellen Sie sich eine gleitende Skala vor: Wenn Sie den Roboter strenger machen (er soll nur Antworten akzeptieren, bei denen er sich zu 99 % sicher ist), wird der Stapel der akzeptierten Briefe kleiner, aber die Briefe, die im Stapel bleiben, sind fast immer korrekt. Das Ziel ist es, den „Sweet Spot“ zu finden, an dem man die meisten Briefe behält und gleichzeitig super genau ist. Das Problem ist, dass das Messen dieser Bestenliste schwierig ist, wenn die Antworten des Roboters klumpig und repetitiv sind.

---

Die „95 %“-Gewohnheit des Roboters

In dieser Arbeit entdeckten die Autorin Elena Merdjanovska und ihr Team eine seltsame Eigenart, wie diese KI-Roboter ihr Vertrauen ausdrücken. Wenn man einen Roboter bittet, eine Zahl laut auszusprechen (wie „Ich bin mir zu 95 % sicher“), wählt er Zahlen nicht zufällig aus, wie ein Mensch, der mit Würfeln spielt. Stattdessen verfällt er in eine Routine.

Stellen Sie sich das wie einen Schüler vor, der eine Multiple-Choice-Prüfung schreibt und, anstatt nachzudenken, einfach auf jedes Antwortblatt „95“ schreibt, weil sich das wie eine sichere, runde Zahl anfühlt. Die Forscher fanden heraus, dass ein populäres KI-Modell (Qwen3-32B) nur acht einzigartige Zahlen (0,6; 0,65; 0,7; 0,75; 0,85; 0,9; 0,95 und 0,98) verwendete, um sein Vertrauen über tausende Fragen hinweg zu beschreiben. Sogar noch verrückter: Mehr als die Hälfte der Zeit sagte es einfach 95 %.

Das ist ein Problem, denn es ist, als würde man ein Radio abstimmen, dessen Regler aber nur in acht spezifischen Positionen einrastet. Wenn Sie die „schlechten“ Briefe aussortieren wollen, um eine Genauigkeit von 98 % zu erreichen, müssen Sie vielleicht 40 % Ihrer Post wegwerfen. Aber wenn der Roboter eine präzisere Zahl angeben könnte, wie zum Beispiel 96,3 %, müssten Sie vielleicht nur 28 % der Post wegwerfen. Weil der Roboter so „spärlich“ ist (auf so wenigen Zahlen feststeckt), verschwendet er eine Menge guter Daten.

Die Falle der „glatten Linie“

Hier wird die Geschichte spannend. Die Forscher fanden heraus, dass die Art und Weise, wie Wissenschaftler die Leistung des Roboters messen, sie eigentlich anlügt.

Um die Bestenliste (genannt AUARC) zu berechnen, zeichnen Forscher normalerweise eine Linie, die die Punkte in einem Graphen verbindet. Die meisten Menschen verwenden die lineare Interpolation, die eine glatte, gerade Linie zwischen den Punkten zieht und davon ausgeht, dass sich das Vertrauen des Roboters allmählich ändert. Aber wenn der Roboter nur acht Zahlen hat, gibt es riesige Lücken zwischen den Punkten! Eine glatte Linie durch diese Lücken zu ziehen, ist, als würde man die Punkte einer gezackten Gebirgskette mit einem geraden Lineal verbinden – es erzeugt einen falschen, glatten Hügel, der gar nicht existiert.

Die Autoren zeigten, dass die Verwendung dieser „glatten Linie“-Methode die Roboter viel besser aussehen ließ, als sie eigentlich waren. Tatsächlich, als sie zur korrekten Methode wechselten – der stufenweisen Interpolation (stepwise interpolation), die eine flache Linie zieht, bis die nächste tatsächliche Zahl erscheint – drehten sich die Ranglisten komplett um. Eine Methode, die mit der glatten Linie als „Champion“ dastand, fiel mit der stufenweisen Linie auf den letzten Platz zurück. Es stellte sich heraus, dass die glatte Linie nur eine optische Täuschung war, die die spärlichen Roboter als flexibler erscheinen ließ, als sie tatsächlich waren.

Der magische „Logprobs“-Trick

Wie also lösen wir das Problem eines Roboters, der nur in acht Zahlen spricht? Das Team schlug einen cleveren Hack vor, genannt Verbalization Logprobs.

Normalerweise sagt ein Roboter einfach die Wörter „9“ und „5“, wenn er „95 %“ sagt. Die Standardmethode besteht darin, einfach die Zahl 95 zu nehmen. Aber der Roboter weiß eigentlich noch etwas anderes: Er weiß, wie wahrscheinlich es war, die „9“ gegenüber der „8“ zu wählen, und wie wahrscheinlich es war, die „5“ gegenüber der „6“ zu wählen. Diese verborgenen Wahrscheinlichkeiten werden als Logprobs bezeichnet.

Die neue Methode der Autoren ist wie die Frage an den Roboter, nicht nur nach der Zahl, sondern nach dem Gefühl hinter der Zahl zu fragen. Anstatt nur „95“ zu nehmen, berechnen sie einen gewichteten Durchschnitt basierend darauf, wie sicher sich der Roboter bei jeder Ziffer war. Dies verwandelt die klumpige, acht-Zahlen-Antwort des Roboters in einen glatten, kontinuierlichen Strom von Vertrauen.

Die Ergebnisse waren beeindruckend. Durch die Verwendung dieses Tricks wurden die Vertrauenswerte des Roboters viel detaillierter (ein Sprung von nur 8 einzigartigen Werten auf über 600 einzigartige Werte!). Dies kostete keine zusätzliche Rechenleistung oder Zeit; es nutzte lediglich Informationen, die der Roboter bereits besaß. Mit dieser neuen Methode konnte der Roboter den „Sweet Spot“ viel besser finden und verbesserte seine Leistungsbewertung um 2,3 Punkte im Vergleich zur alten Methode. Es war, als hätte man dem Roboter ein hochauflösendes Drehrad statt eines kaputten, klickenden Reglers gegeben, was es ihm ermöglichte, die Post mit viel weniger Abfall zu sortieren.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir aufhören müssen vorzugeben, dass diese Roboter geschmeidige Akteure sind, wenn sie in Wirklichkeit ziemlich starr sind. Wenn wir weiterhin die „glatte Linie“-Methode verwenden, um sie zu beurteilen, verschaffen wir uns ein falsches Gefühl der Sicherheit. Indem wir zur „stufenweisen“ Messung wechseln und den „Logprobs“-Trick nutzen, um detailliertere Antworten zu erhalten, können wir diesen KI-Klassifizierern endlich vertrauen, wenn sie uns sagen, wann sie wirklich sicher sind und wann sie nur raten. Es ist eine kleine Änderung in der Art, wie wir zuhören, aber sie macht einen riesigen Unterschied dafür, wie gut wir diese digitalen Helfer einsetzen können.