🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

Diese Arbeit evaluiert Methoden für Konfidenzintervalle von Klassifikator-Leistungsmetriken unter Bedingungen, die typisch für die Textklassifikation in den Sozialwissenschaften sind – wie etwa kleine Stichprobengrößen und geschachtelte Daten – und zeigt auf, dass Standardansätze oft eine ungenaue Abdeckung liefern, während sie überlegene Alternativen wie Agresti-Coull, Wilson und hierarchisches Bootstrapping empfiehlt, um die Transparenz und Validierung in Anwendungen des maschinellen Lernens zu verbessern.

Ursprüngliche Autoren: Kylie Anglin

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kylie Anglin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der gerade ein neues Rezept für einen „perfekten Schokoladenkuchen“ erfunden hat. Sie wollen der Welt mitteilen, wie gut er ist. Sie sagen nicht einfach nur: „Er ist zu 90 % köstlich.“ Sie müssen es beweisen. Also laden Sie 20 Leute ein, um ihn zu probieren. 18 von ihnen sagen: „Ja, der ist großartig!“

In der Welt der Informatik und der großen Sprachmodelle (LLMs) machen Forscher genau das. Sie trainieren Computer darauf, Texte zu lesen und sie in Kategorien einzuteilen (wie „wütend“, „glücklich“ oder „Spam“). Um zu beweisen, dass ihr Computer intelligent ist, zeigen sie ihm eine Stichprobe von Texten, die Menschen bereits bewertet haben, und berechnen einen Wert, wie zum Beispiel „Recall“ (wie viele der „wütenden“ Texte hat der Computer gefunden?).

Das Problem: Das „Ratespiel“ des Vertrauens
Das Paper argumentet, dass Forscher derzeit ein gefährliches „Ratespiel“ spielen. Sie berichten ihren Wert (z. B. „90 % Genauigkeit!“), aber sie berichten selten darüber, wie sicher sie sich bei dieser Zahl sind.

Denken Sie an eine Wettervorhersage. Wenn ein Meteorologe sagt: „Es besteht eine 90-prozentige Regenwahrscheinlichkeit“, dann ist das nützlich. Aber wenn er einfach nur sagt: „Es wird regnen“, ohne zu sagen, ob dies auf Basis eines Satellitenbildes oder einer bloßen Vermutung basiert, können Sie ihm nicht vertrauen.

In diesem Paper sagt die Autorin Kylie Anglin, dass wenn Forscher kleine Gruppen von Menschen nutzen, um ihre Computer zu testen, oder wenn der „Regen“ (der spezifische Text, nach dem man sucht) sehr selten ist, die Standardmethoden zur Berechnung der Sicherheit (genannt Konfidenzintervalle) oft fehlerhaft sind. Sie sind wie ein Lineal, das sich unvorhersehbar zusammenzieht und dehnt.

Die „kaputten Lineale“ (Alte Methoden)
Das Paper testet verschiedene Wege, diese Sicherheit zu messen. Es stellt fest, dass die zwei heute am häufigsten verwendeten Methoden wie Lineale aus Gummi sind:

Das Wald-Intervall: Dies ist die „Lehrbuch“-Methode. Sie funktioniert gut, wenn man eine riesige Menge an Leuten und durchschnittliche Ergebnisse hat. Aber wenn man eine kleine Gruppe oder ein sehr hohes Ergebnis (wie 95 %) hat, zieht sich dieses Lineal zu stark zusammen. Es sagt: „Wir sind uns zu 95 % sicher, dass der Wert zwischen 94 % und 96 % liegt“, während der wahre Wert in Wirklichkeit irgendwo zwischen 80 % und 100 % liegen könnte. Es vermittelt eine falsche Präzision.
Der einfache Bootstrap: Dies ist eine Methode, bei der man das Experiment tausende Male auf einem Computer simuliert, um zu sehen, was passiert. Das Paper findet heraus, dass die Standardversion davon ebenfalls „wackelig“ ist und das Risiko oft unterschätzt, besonders bei kleinen Gruppen.

Die „besseren Lineale“ (Neue Empfehlungen)
Das Paper schlägt vor, die Gummilineale durch stabilere zu ersetzen, die sich nicht so sehr dehnen.

Für unabhängige Texte (Der „Solo“-Test): Wenn jeder Text von einer anderen Person stammt und völlig einzigartig ist, empfiehlt die Autorin die Agresti-Coull-Methode. Denken Sie daran, als würde man eine kleine Portion „Sicherheitspolsterung“ in Ihre Berechnung einbauen. Es ist einfach, leicht zu berechnen und verhindert, dass das Lineal zu sehr schrumpft.
Für knifflige Metriken (Wie den F1-Score): Einige Werte sind komplexe Kombinationen verschiedener Dinge (wie der F1-Score). Für diese kann man keine einfachen Formeln verwenden. Die Autorin schlägt einen neuen Trick namens Pseudo-Count-Regularisierung vor. Stellen Sie sich vor, Sie backen einen Kuchen, sind aber besorgt, dass Ihnen die Zutaten ausgehen könnten. Sie fügen eine „Geister-Zutat“ hinzu (ein imaginäres Ei und eine imaginäre Tasse Mehl) zu Ihrer Mischung hinzu, bevor Sie beginnen. Dies stabilisiert das Rezept, sodass Ihr Endergebnis nicht zusammenbricht, wenn Sie nur wenige echte Zutaten haben. Diese Methode macht die Computersimulationen viel zuverlässiger.

Das „Echo-Kammer“-Problem (Verschachtelte Daten)
Hier wird es knifflig. Im wirklichen Leben schreiben Menschen nicht nur einen Satz; sie schreiben viele. Ein Therapeut schreibt vielleicht 30 Notizen; ein Schüler schreibt 20 Aufsätze. Diese Texte sind in die Person „verschachtelt“. Sie sind nicht unabhängig; sie teilen dieselbe Stimme, denselben Stil und dieselben Eigenheiten.

Das Paper erklärt, dass es ein Betrug ist, wenn man 30 Notizen einer Person so behandelt, als wären es 30 Notizen von 30 verschiedenen Personen. Man betrügt sich selbst und glaubt, man hätte mehr Daten, als man tatsächlich hat. Es ist, als würde man einem Freund 30 Mal den Kuchen schmecken lassen und das als 30 verschiedene Meinungen zählen. Man bekommt nicht 30 Meinungen, sondern eine Meinung, die 30 Mal wiederholt wurde.

Wenn man diesen „Echo-Kammer“-Effekt ignoriert:

Werden Ihre Konfidenzintervalle zu schmal. Sie denken, Sie sind sich zu 95 % sicher, aber vielleicht sind Sie nur zu 65 % sicher.
Die Lösung: Das Paper schlägt zwei Hauptwege vor, um dies zu korrigieren:
1. Die Mathematik anpassen: Verwenden Sie eine Formel, die Ihre „effektive Stichprobengröße“ verringert, um zu berücksichtigen, dass die Texte miteinander verwandt sind. Es ist so, als würde man sagen: „Wir haben 30 Notizen, aber da sie alle von derselben Person stammen, zählen sie nur als 10 unabhängige Meinungen.“
2. Der hierarchische Bootstrap: Anstatt die einzelnen Notizen in einer Computersimulation einfach durcheinanderzuwürfeln, würfeln Sie zuerst die Personen durch und dann die Notizen innerhalb dieser Personen. Dies respektiert die Tatsache, dass die Notizen zu einer bestimmten Person gehören.

Das große Faznehmen
Die Hauptbotschaft des Papers ist ein Aufruf zu Ehrlichkeit in der Berichterstattung.

Berichten Sie nicht nur den Wert. Wenn Sie sagen, dass Ihr Computer zu 90 % genau ist, müssen Sie auch sagen: „Wir sind uns zu 95 % sicher, dass der wahre Wert zwischen X und Y liegt.“
Nutzen Sie die richtigen Werkzeuge. Verwenden Sie nicht die alten, gummiartigen Lineale (Wald oder einfacher Bootstrap) für kleine oder hochperformante Datensätze. Nutzen Sie die stabileren Werkzeuge (Agresti-Coull oder die neue Pseudo-Count-Methode).
Achten Sie auf Cluster. Wenn Ihre Daten von denselben Menschen stammen, die mehrfach schreiben, müssen Sie Ihre Mathematik anpassen, um Übervertrauen zu vermeiden.

Indem wir diese besseren Methoden verwenden, können Forscher aufhören, vorzugeben, mehr zu wissen, als sie tatsächlich wissen. Es hilft ihnen zu erkennen, wann sie mehr Daten sammeln müssen (mehr Menschen, mehr Texte), um ein wirklich zuverlässiges Ergebnis zu erhalten, anstatt nur zu hoffen, dass ihre kleine Stichprobe ausreicht.

Technisches Resümee: Schätzung der Unsicherheit in der Klassifikatorleistung mit Anwendungen auf Large Language Models und verschachtelte Daten

Problemstellung
Forscher nutzen zunehmend die Textklassifizierung – mittels überwachter Modelle oder Large Language Models (LLMs) – um Konstrukte aus natürlichen Sprachdaten zu extrahieren. Während Leistungsmetriken wie Recall, Precision und F1 routinemäßig zur Validierung dieser Modelle berichtet werden, werden sie häufig als Punktschätzungen ohne begleitende Maße für statistische Unsicherheit (z. B. Konfidenzintervalle oder Standardfehler) präsentiert. Wenn Unsicherheit angegeben wird, sind die verwendeten Methoden oft ungeeignet für die spezifischen Bedingungen, die typisch für die sozialwissenschaftliche Textklassifizierung sind: kleine bis moderate Stichprobenumfänge, seltene Konstrukte (was zu geringen Fallzahlen positiver Fälle führt), hohe Leistungsraten (häufig bei LLMs) und verschachtelte Datenstrukturen (Texte, die in Individuen gruppiert sind). Standardmethoden, wie das Wald-Intervall und der einfache Perzentil-Bootstrap, zeigen eine ungenaue Abdeckung, die insbesondere bei kleinen Stichproben oder extremen Proportionen signifikant unter dem nominalen 95%-Niveau liegen kann. Zudem setzen die Standardverfahren zur Intervallschätzung unabhängige und identisch verteilte Beobachtungen (i.i.d.) voraus – eine Annahme, die verletzt wird, wenn Texte in Individuen verschachtelt sind, was zu einer Unterschätzung der Unsicherheit und zu übermäßig engen Konfidenzintervallen führt.

Methodik
Die Arbeit verwendet eine Reihe von Simulationsstudien, um die Abdeckung und Breite verschiedener Konfidenzintervall-Methoden unter Bedingungen zu evaluieren, die typisch für die Textklassifizierung in den Sozialwissenschaften sind.

Simulationen mit unabhängigen Daten: Die Autoren simulieren binomiale Proportionen ( $p$ ) im Bereich von 0,5 bis 0,95 und Stichprobengrößen ( $n$ ) von 10 bis 500. Sie vergleichen analytische Intervalle (Wald, Wilson, Agresti-Coull, Clopper-Pearson) mit gebootstrapten Intervallen (Perzentil-, BCa- und ein neuartiger Pseudo-Count-regularisierter Bootstrap).
- Neuartige Methode: Ein „Pseudo-Count-regularisierter Bootstrap“ wird vorgeschlagen. Dies beinhaltet die Erweiterung der ursprünglichen Stichprobe um Pseudo-Beobachtungen (z. B. das Hinzufügen eines Erfolgs und eines Misserfolgs für Proportionen oder das Hinzufügen von Pseudo-Beobachtungen zu jedem Quadranten der Konfusionsmatrix für den F1-Wert), bevor das Resampling erfolgt. Dies ahmt das Verhalten des Agresti-Coull-analytischen Intervalls innerhalb eines Bootstrap-Frameworks nach.
- F1-Evaluierung: Spezifische Simulationen bewerten die F1-Score-Abdeckung durch Variation der wahren Precision und des wahren Recall über imbalancierte Populationen (Prävalenz = 0,10).
Simulationen mit verschachtelten Daten: Um Nicht-Unabhängigkeit zu adressieren, simulieren die Autoren hierarchische Daten, bei denen Texte in Individuen verschachtelt sind.
- Design: Eine Population von 2000 Individuen, von denen jedes 60 Texte produziert, wird generiert. Die Sampling-Schemata variieren zwischen einem „kleinen Korpus“ (durchschnittlich ~3 Texte pro Individuum) und einem „moderaten Korpus“ (durchschnittlich ~30 Texte pro Individuum).
- Getestete Methoden: Die Studie vergleicht unbereinigte analytische Intervalle, analytische Intervalle, die für die effektive Stichprobengröße ( $n_{eff}$ ) und die Design-Freiheitsgrade ( $df_{design}$ ) angepasst wurden, sowie gebootrapte Intervalle (Cluster-Bootstrap vs. hierarchischer Bootstrap).
- Anpassungen: Die Studie testet Anpassungen unter Verwendung des Design-Effekts (DEFF) basierend auf der Intra-Klassen-Korrelation (ICC) sowie die Verwendung von $t$ -Quantilen anstelle von $z$ -Quantilen, um die reduzierten Freiheitsgrade zu berücksichtigen.

Wesentliche Beiträge

Systematischer Vergleich: Die Arbeit bietet eine systematische Evaluierung der Konfidenzintervall-Abdeckung, die speziell auf die Bedingungen hoher Leistung, kleiner Stichproben und verschachtelter Daten zugeschnitten ist, wie sie in der sozialwissenschaftlichen Textklassifizierung vorherrschen.
Identifikation von Standard-Fehlern: Es wird gezeigt, dass das Wald-Intervall und der einfache Perzentil-Bootstrap die am wenigsten genauen Methoden sind, die bei kleinen Stichproben und hoher Leistung (z. B. $p=0,95$ ) oft Abdeckungsraten von nur 0,40–0,66 aufweisen.
Neuartige Regularisierung: Die Autoren führen einen Pseudo-Count-regularisierten Bootstrap ein und validieren diesen. Diese Methode verbessert die Abdeckung sowohl für Proportionen als auch für Nicht-Proportions-Metriken (wie den F1-Score) in kleinen Stichproben und Hochleistungsregimen und adressiert das erratische Verhalten des Standard-Bootstrapping.
Leitlinien für verschachtelte Daten: Die Studie stellt klar, dass für verschachtelte Daten die bloße Erhöhung der Anzahl der Texte nicht ausreicht; Anpassungen für die effektive Stichprobengröße und die Design-Freiheitsgrade sind notwendig. Sie vergleicht Cluster- vs. hierarchisches Bootstrapping und stellt fest, dass hierarchisches Bootstrapping im Allgemeinen genauer ist, aber zu konservativ sein kann, wenn Individuen sehr wenige Texte produzieren.
Stichprobenplanung: Die Arbeit liefert Tabellen und Visualisierungen, die die Beziehung zwischen Stichprobengröße, Leistungsrate und Konfidenzintervallbreite illustrieren und dabei hervorheben, wie kostspielig es ist, schmale Intervalle zu erreichen, wenn die Leistung hoch oder die Stichproben klein sind.

Ergebnisse

Unabhängige Daten: Die Agresti-Coull-, Wilson- und Clopper-Pearson-analytischen Intervalle erreichen konsistent eine Abdeckung nahe oder über dem nominalen Niveau von 0,95, selbst bei kleinen Stichproben. Der Pseudo-Count-regularisierte Bootstrap erbringt eine vergleichbar gute Leistung für Proportionen und ist die einzige robuste Option für F1-Scores in kleinen Stichproben. Wald und der einfache Perzentil-Bootstrap unterschätzen die Abdeckung konsistent.
Verschachtelte Daten: Unbereinigte Intervalle (die Texte als unabhängig behandeln) unterschätzen die Abdeckung schwerwiegend (z. B. ~65 % Abdeckung, wenn 95 % erwartet werden), wenn Texte verschachtelt sind.
- Anpassungen: Intervalle, die für $n_{eff}$ und $df_{design}$ angepasst wurden (insbesondere durch Verwendung der Agresti-Coull- oder Wilson-Formeln mit diesen Anpassungen), bieten eine genaue Abdeckung.
- Bootstrap-Leistung: Der Pseudo-Count-regularisierte hierarchische Bootstrap bietet eine genaue Abdeckung unter verschiedenen Bedingungen. Der Cluster-Bootstrap ist präziser (engere Intervalle), birgt jedoch das Risiko einer Unterdeckung, insbesondere wenn die Anzahl der Texte pro Individuum groß (~30) und die Anzahl der Individuen klein ist.
Sensitivität der Stichprobengröße: Die Breite von Konfidenzintervallen reagiert hochsensibel auf die Anzahl der Individuen in verschachtelten Designs, nicht nur auf die Gesamtzahl der Texte. Eine Erhöhung der Anzahl der Individuen führt zu einer größeren statistischen Präzision als eine Erhöhung der Anzahl der Texte pro Individuum.

Bedeutung und Ansprüche
Das Papier argumentt, dass der Betrag einer Leistungsmetrik ohne ein Maß für ihre Präzision unzureichelich ist. Das Fehlen genauer Konfidenzintervalle gefährdet die Transparenz von Machine-Learning-Anwendungen in den Sozialwissenschaften und kann zu einer Überkonfidenz in modellbasierten Inferenzen führen.

Die Autoren behaupten, dass ihre Arbeit evidenzbasierte Empfehlungen zur Verbesserung der Berichterstattungsstandards liefert:

Für unabhängige Daten wird das Agresti-Coull-Intervall aufgrund seiner Einfachheit und Genauigkeit als Standard empfohlen, wobei der Pseudo-Count-regularisierte Bootstrap die bevorzugte Alternative für Nicht-Proportions-Metriken wie den F1-Score darstellt.
Für verschachtelte Daten müssen Analysten die effektive Stichprobengröße und die Freiheitsgrade anpassen. Der Pseudo-Count-regularisierte hierarchische Bootstrap wird empfohlen, wenn analytische Anpassungen nicht praktikabel sind.
Das Papier betont die Notwendigkeit für Forscher, die Stichprobenanforderungen bereits in der Designphase zu berücksichtigen, insbesondere mit dem Hinweis, dass seltene Konstrukte und hohe Leistungsraten eine sorgfältige Planung erfordern, um sicherzustellen, dass ausreichende „analytische Stichprobenumfänge“ (d. h. die Anzahl der positiven Fälle, nicht nur die Gesamtzahl der Texte) eine zuverlässige Inferenz unterstützen.

Die Autoren merken bescheiden an, dass die Limitationen der Arbeit unter anderem darin bestehen, dass ihre verschachtelten Simulationen eine einzige ICC-Struktur annehmen und dass sich das Papier auf die Schätzung der Unsicherheit konzentriert und nicht auf die unverzerrte Schätzung der Metriken selbst. Sie fordern zukünftige Arbeiten, um Benchmarks für gängige ICC-Werte und Leistungsbereiche in der Psychologie zu etablieren, um die Studienplanung weiter zu unterstützen.

Mehr davon