📈 economics

Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

Dieses Paper führt Explanation Quality Markers (EQMs) ein, eine skalierbare, LLM-basierte Methode zur Bewertung von sechzig Reasoning-Mustern in natürlichsprachlichen Erklärungen, welche die Prognosegenauigkeit effektiv vorhersagt und traditionelle Textanalyse-Techniken übertrifft.

Ursprüngliche Autoren: Christopher W. Karvetski, Sheldon S. Huang, Simas Kučinskas, Nadja Flechner, Jingyu Hu, Philip Tetlock, Ezra Karger

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christopher W. Karvetski, Sheldon S. Huang, Simas Kučinskas, Nadja Flechner, Jingyu Hu, Philip Tetlock, Ezra Karger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Manager, der versucht, den besten Finanzberater einzustellen. Sie haben einen Stapel von 55.000 Bewerbungen vor sich liegen. Jede Bewerbung enthält eine spezifische Vorhersage (z. B. „Die Wahrscheinlichkeit, dass die Aktie steigt, liegt bei 20 %“) und einen geschriebenen Absatz, der erklärt, warum diese Person das glaubt.

Ihr Problem? Sie können nicht alle 55.000 Absätze lesen, um zu sehen, wer tatsächlich gut darin ist, die Zukunft zu erraten. Sie brauchen eine Möglichkeit, den Text schnell zu scannen und zu sagen: „Diese Erklärung wirkt klug“ oder „Diese hier sieht nach einer bloßen Vermutung aus.“

Dieses Paper stellt ein neues Werkzeug namens Explanation Quality Markers (EQMs) vor, um genau dieses Problem zu lösen. So funktioniert es, unter Verwendung einfacher Analogien.

Der alte Weg: Wörter zählen und Wörterbücher prüfen

Bevor es diese Studie gab, versuchten Forscher, diese Erklärungen mit „Pre-LLM“-Werkzeugen zu bewerten. Betrachten Sie diese wie eine Rechtschreibprüfung oder einen Wortzähler.

Sie zählten, wie viele Wörter in dem Absatz enthalten waren.
Sie suchten nach bestimmten „klug klingenden“ Wörtern (wie „daher“ oder „jedoch“).
Sie prüften, wie komplex der Text war.

Das Ergebnis: Diese Werkzeuge waren so, als würde man versuchen, die Kochkünste eines Küchenchefs zu beurteilen, indem man zählt, wie viele Gewürze er verwendet hat. Es sagte einem eigentlich nicht, ob das Essen gut schmeckt. Das Paper stellte fest, dass diese alten Methoden fast keinen Zusammenhang damit hatten, ob die Person tatsächlich korrekt lag.

Der neue Weg: Die „Super-Leser“-KI

Die Autoren verwendeten ein Large Language Model (eine fortgeschrittene KI, wie GPT-4o), das als Super-Leser fungiert. Anstatt nur Wörter zu zählen, wurde diese KI darauf trainiert, nach 60 spezifischen „Denkmustern“ zu suchen, von denen Experten wissen, dass sie gut oder schlecht sind.

Betrachten Sie die KI als einen Detektiv, der nach Hinweisen in der Geschichte eines Verdächtigen sucht.

Gute Hinweise (Grüne Flaggen): Schaut die Person auf vergangene Daten? Gibt sie zu, dass sie falsch liegen könnte? Zerlegt sie ein großes Problem in kleine, handhabbare Teile?
Schlechte Hinweise (Rote Flaggen): Rät die Person nur? Ist sie übermäßig selbstbewusst („Es wird definitiv passieren!“)? Ignoriert sie Beweise, die ihrer Ansicht widersprechen?

Die KI liest die Erklärung und vergibt einen Score basierend darauf, wie viele „Grüne Flaggen“ und „Rote Flaggen“ sie findet.

Die große Entdeckung: Der „Müll-Detektor“

Die Forscher testeten diese KI gegen die tatsächlichen Ergebnisse der Vorhersagen (stieg oder fiel die Aktie?). Hier ist, was sie herausfanden:

Die KI ist ein großartiger „Müll-Detektor“: Die KI ist unglaublich gut darin, schlechte Erklärungen aufzusporen. Wenn eine Erklärung voller „Roter Flaggen“ ist (wie bloßes Raten oder Überheblichkeit), markiert die KI sie, und diese Person liegt fast immer falsch.
Die KI ist ein schwacher „Star-Finder“: Die KI ist weniger gut darin, die absoluten besten Experten aufzuspüren. Nur weil eine Erklärung perfekt aussieht, garantiert das noch lange nicht, dass die Person ein Genie ist.
- Analogie: Stellen Sie sich einen Metalldetektor am Strand vor. Er ist hervorragend darin, rostige Nägel und Glasscherben zu finden (das schlechte Zeug). Aber er ist nicht besonders gut darin, zwischen einem glänzenden Stück Kupfer und einem echten Goldklumpen (dem allerbesten Zeug) zu unterscheiden.

Wie sie sich mit Menschen vergleicht

Die Forscher baten auch echte Menschen, diese Erklärungen zu lesen und zu bewerten.

Menschen lassen sich leicht von der Länge täuschen: Menschen neigten dazu, längeren Erklärungen höhere Bewertungen zu geben. Sie dachten: „Wow, diese Person hat viel geschrieben, also muss sie klug sein.“
Die Realität: Die Länge des Textes hatte fast nichts damit zu tun, ob die Vorhersage korrekt war.
Die KI vs. Menschen: Die KI war viel besser darin, vorherzusagen, wer präzise war, als die Menschen es waren. Die Menschen ließen sich von der „Floskelhaftigkeit“ (Länge und schicke Wörter) ablenken, während die KI sich auf die eigentliche Logik konzentrierte.

Warum das wichtig ist

Dieses Werkzeug ist nützlich, weil es keine Erfolgsbilanz (Track Record) benötigt.

Normalerweise muss man Monate oder Jahre warten, um zu wissen, ob ein Prognostiker gut ist, indem man seine vergangenen Ergebnisse beobachtet.
Mit EQMs können Sie eine einzelne geschriebene Erklärung lesen und eine gute Vorstellung davon bekommen, ob diese Person wahrscheinlich präzise ist oder nicht.

Zusammenfassung

Das Problem: Wir haben zu viele Experten-Erklärungen zu lesen und wissen nicht, welchen wir vertrauen können.
Die Lösung: Eine KI, die nach 60 spezifischen Denkgewohnheiten scannt (wie das Prüfen auf Bias oder die Nutzung von Daten).
Das Ergebnis: Die KI ist viel besser als alte Computermethoden und besser als menschliche Leser darin, schlechtes Denken zu erkennen. Sie hilft Entscheidungsträgern, das „Rauschen“ und die „Ratenden“ herauszufiltern, auch wenn sie nicht perfekt in der Lage ist, die „Genies“ zu identifizieren.

Hinweis: Das Paper hat diese Methode streng auf geopolitische und wirtschaftliche Prognose-Turniere getestet. Es behauptet nicht, dass diese Methode in medizinischen Diagnosen, juristischen Urteilen oder anderen Bereichen funktioniert; es beweist lediglich, dass sie in diesen spezifischen Turnieren funktioniert.

Technische Zusammenfassung: Messung der Urteilsqualität in natürlichen Sprach-Erklärungen

Problemstellung
Entscheidungsträger verlassen sich routinemäßig auf Expertenurteile, die von schriftlichen Erläuterungen begleitet werden (z. B. Geheimdienstberichte, Investmentthesen), um zu bewerten, welchen Urteilen sie vertrauen können. Die Qualität dieser Erläuterungen lässt sich jedoch systematisch im großen Maßstab schwer messen. Während die bisherige Forschung bereits Kennzeichen fundierter probabilistischer Argumentation identifiziert hat – wie etwa die Berücksichtigung von Basisraten, die Offenheit gegenüber diskonfirmierenden Evidenzen und die Resistenz gegenüber kognitiven Verzerrungen –, erforder die Messung dieser Merkmale in unstrukturiertem Text historisch gesehen entweder eine arbeitsintensive Expertenkodierung, grobe automatisierte Proxys oder Werkzeuge, die auf einzelne theoretische Konstrukte beschränkt waren. Zudem fehlt es in den meisten Domänen an einer klaren „Ground Truth“ bezüglich der Genauigkeit eines Urteils, was es schwierig macht, die Qualität einer Erklärung empirisch mit der Performance zu verknüpfen.

Methodik
Die Autoren nutzen Forecasting-Turniere als natürlichen Testplatz, in denen probabilistische Urteile mit schriftlichen Begründungen gepaart und gegen realisierte Ergebnisse bewertet werden. Die Studie nutzt Daten aus dem Aggregative Contingent Estimation (ACE) Turnier (2011–2015), das über 55.000 Paarungen aus Prognose und Begründung umfasst, und validiert die Ergebnisse an einem unabhängigen Datensatz (Team Dynamics Studie).

Die zentrale methodische Innovation ist die Einführung von Explanation Quality Markers (EQMs), einem Satz von sechzig, theoretisch fundierten Argumentationsmustern, die durch Large Language Models (LLMs) bewertet werden.

Musterentwicklung: Die 60 EQM-Muster leiten sich aus der Literatur zum Urteilsvermögen und zur Entscheidungsfindung ab und sind in sechs Familien unterteilt: Bias und Emotion, Analytische Argumentation, Ausrichtung und Disziplin, Quellen der Evidenz, Integrative Argumentation und kognitive Rahmung sowie Einstellung und Unsicherheitsmanagement. Jedes Muster ist in natürlicher Sprache definiert und enthält eine gerichtete Hypothese hinsichtlich seiner Assoziation mit der Genauigkeit (positiv, negativ oder neutral).
Scoring-Pipeline: Ein LLM (GPT-4o) bewertet jede Begründung auf einer dreistufigen Skala (0: keine Evidenz; 1: einige Evidenz; 2: klare Evidenz) für alle 60 Muster gleichzeitig in einem einzigen API-Aufruf, um einen disambiguierenden Kontext zu gewährleisten.
Kompositorisches Scoring: Die 60 Muster-Scores werden mittels LASSO-Regression in einen einzelnen zusammengesetzten Qualitätswert umgewandelt, die darauf trainiert wurde, die realisierte Genauigkeit vorherzusagen.
Benchmarks: Der EQM-Ansatz wird verglichen mit:
1. Pre-LLM-Methoden: Einschließlich linguistischer Wörterbücher (LIWCs), Lesbarkeitsmaßen, Sentiment-Scores und spezifischen Klassifikatoren für „Outside-View“-Argumentation (Comparison Class Usage).
2. Menschlichen Bewertungen: Nützlichkeitsbewertungen durch beurteilende Prognostiker im ACE-Turnier.
3. Traditionellen Indikatoren: Vorherige Genauigkeit, Update-Größe und Prognosehäufigkeit.

Kernergebnisse
Die Studie ist in vier Analysen gegliedert:

Vorhersagekraft vs. Pre-LLM-Methoden:
- Die EQM-Kompositwerte übertreffen Pre-LLM-Textanalyse-Methoden signifikant bei der Vorhersage der Genauigkeit sowohl auf Ebene der Prognose ( $r = .19$ vs. $r = .06$ ) als auch auf Ebene des Prognostikers ( $r = .51$ vs. $r = .39$ ).
- Über 90 % der statistisch signifikanten Korrelationen auf Muster-Ebene stimmen mit den Richtungshypothesen der Autoren überein.
- Das Vorhersagesignal ist asymmetrisch: EQMs sind zuverlässiger darin, wahrscheinliche Underperformer (minderwertige Begründungen) zu identifizieren, als die sehr besten Prognostiker voneinander zu unterscheiden.
Vergleich mit traditionellen Indikatoren:
- Auf der Prognose-Ebene sind EQMs der stärkste verfügbare Prädiktor und übertreffen sogar die Genauigkeit des Vorjahres.
- Auf der Prognostiker-Ebene bleibt die Genauigkeit des Vorjahres der stärkste Prädiktor ( $r = .70$ ), aber EQMs sind konkurrenzfähig mit Verhaltensindikatoren wie der Update-Größe ( $r = .55$ ) und übertreffen Pre-LLM-Methoden deutlich.
- Bei Aufgaben der Crowd-Aggregation verbessert das Ranking von Prognostikern nach der Prognostiker-Ebene der EQM-Scores die aggregierte Genauigkeit, während das Ranking einzelner Prognosen nach der Prognose-Ebene der EQM-Scores kaum Vorteile gegenüber dem Aussortieren der schwächsten Urteile bietet.
Vergleich mit menschlichen Bewertungen:
- Menschliche Bewertungen der Qualität einer Begründung korrelieren weniger konsistent mit der Genauigkeit als EQMs (Prognose-Ebene: $r = .07$ vs. $r = .23$ ; Prognostiker-Ebene: $r = .40$ vs. $r = .50$ ).
- Menschliche Rater legen ein unverhältnismäßig hohes Gewicht auf die Länge der Begründung (die Quadratwurzel der Wortanzahl korreliert mit menschlichen Bewertungen bei $r = .62$ ), ein Merkmal, das im Wesentlichen unkorreliert mit der Genauigkeit der Prognose ist.
- Die Inter-Rater-Reliabilität für menschliche Bewertungen ist niedrig (durchschnittliches Cohen's $\kappa = .24$ ), während die Übereinstimmung zwischen verschiedenen LLMs, die dieselben Muster bewerten, wesentlich höher ist ( $\kappa = .56$ ).
Out-of-Sample Transfer:
- EQM-Modelle, die auf ACE-Daten trainiert wurden, lassen sich effektiv auf einen unabhängigen Datensatz (Team Dynamics Studie) übertragen, der andere Fragen, Prognostiker und Elicitationsformate (Quantile vs. Wahrscheinlichkeiten) aufweist.
- Die Out-of-Sample-Korrelationen bleiben robust (Prognose-Ebene: $r = .16$ ; Prognostiker-Ebene: $r = .46$ ), was darauf hindeutet, dass das Framework generalisierbare Argumentationsmuster erfasst und keine auswendig gelernten Daten.

Bedeutung und Ansprüche
Das Paper beansprucht drei primäre Beiträge:

Methodisch: Es führt EQMs als skalierbares, theoretisch fundiertes Messframework ein, das LLMs nutzt, um prognose-relevante Informationen aus schriftlichen Erklärungen zu extrahieren, und überwindet damit die Grenzen von Pre-LLM-NLP-Tools.
Empirisch: Es zeigt, dass dieser LLM-basierten Ansatz prädiktiver für die Genauigkeit von Urteilen ist als sowohl traditionelle Textanalyse-Methoden als auch menschliche Bewertungen.
Praktisch: Es etabliert den Nutzen von EQMs für das Screening von Urteilen. Die Methode benötigt lediglich eine einzige schriftliche Begründung und keinen vorherigen Track Record, was sie für Single-Shot-Elicitation-Settings anwendbar macht, in denen historische Leistungsdaten nicht verfügbar sind.

Die Autoren weisen auf Limitationen hin, darunter die Tatsache, dass Begründungen ein unvollkommenes Abbild der internen Argumentation sind (aufgrund von implizitem Wissen oder Post-hoc-Rechtfertigungen), und dass die Befunde korrelativ sind. Sie legen jedoch nahe, dass das Framework ein portables Werkzeug darstellt, um unstrukturierten Text in explizite, testbare Merkmale der Urteilsqualität über verschiedene Domänen hinweg zu transformieren.