📈 economics

Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

Dit artikel introduceert Explanation Quality Markers (EQMs), een schaalbare, op LLM gebaseerde methode voor het scoren van zestig redeneerpatronen in natuurlijke taalverklaringen die de voorspellende nauwkeurigheid effectief voorspelt en traditionele tekstanalysetechnieken overtreft.

Oorspronkelijke auteurs: Christopher W. Karvetski, Sheldon S. Huang, Simas Kučinskas, Nadja Flechner, Jingyu Hu, Philip Tetlock, Ezra Karger

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christopher W. Karvetski, Sheldon S. Huang, Simas Kučinskas, Nadja Flechner, Jingyu Hu, Philip Tetlock, Ezra Karger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een manager bent die de beste financiële adviseur probeert aan te nemen. Je hebt een stapel van 55.000 sollicitaties. Elke sollicitatie bevat een specifieke voorspelling (bijv. "Er is een kans van 20% dat het aandeel zal stijgen") en een geschreven paragraaf waarin wordt uitgelegd waarom zij denken dat.

Je probleem? Je kunt niet alle 55.000 paragrafen lezen om te zien wie er werkelijk goed is in het voorspellen van de toekomst. Je hebt een manier nodig om de tekst snel te scannen en te zeggen: "Deze uitleg ziet er slim uit," of "Deze is waarschijnlijk een gok."

Dit artikel introduceert een nieuwe tool genaamd Explanation Quality Markers (EQMs) om dit probleem op te lossen. Hier is hoe het werkt, met behulp van eenvoudige analogieën.

De Oude Manier: Woorden Tellen en Woordenboeken Controleren

Voordat dit onderzoek plaatsvond, probeerden onderzoekers deze uitleg te beoordelen met behulp van "pre-LLM"-tools. Denk aan deze als een spellingscontrole of een woordteller.

Ze telden hoeveel woorden er in de paragraaf stonden.
Ze zochten naar specifieke "slim klinkende" woorden (zoals "daarom" of "echter").
Ze controleerden of de tekst complex was.

Het Resultaat: Deze tools waren alsof je probeert de kookkunsten van een chef te beoordelen door te tellen hoeveel kruiden hij gebruikte. Het vertelde je niet echt of het eten lekker smaakte. Het onderzoek toonde aan dat deze oude methoden bijna geen enkele connectie hadden met de vraag of de persoon daadwerkelijk accuraat was.

De Nieuwe Manier: De "Superlezer" AI

De auteurs gebruikten een Large Language Model (een geavanceerde AI, zoals GPT-4o) om te fungeren als een Superlezer. In plaats van alleen woorden te tellen, werd deze AI getraind om te zoeken naar 60 specifieke "redeneringspatronen" die experts als goed of slecht herkennen.

Zie de AI als een detective die op zoek is naar aanwijzingen in het verhaal van een verdachte.

Goede Aanwijzingen (Groene Vlaggen): Kijkt de persoon naar historische gegevens? Geeft de persoon toe dat hij het mis zou kunnen hebben? Breekt de persoon een groot probleem af in kleine, beheersbare stukjes?
Slechte Aanwijzingen (Rode Vlaggen): Is de persoon gewoon aan het gokken? Is de persoon overmoedig ("Het zal definitief gebeuren!")? Negeert de persoon bewijs dat hun visie tegenspreekt?

De AI leest de uitleg en geeft een score op basis van hoeveel "Groene Vlaggen" en "Rode Vlaggen" deze vindt.

De Grote Ontdekking: De "Vuilnisdetector"

De onderzoekers testten deze AI tegen de werkelijke resultaten van de voorspellingen (ging het aandeel omhoog of omlaag?). Dit is wat ze ontdekten:

De AI is een geweldige "Vuilnisdetector": De AI is ongelooflijk goed in het opsporen van slechte uitleg. Als een uitleg vol staat met "Rode Vlagen" (zoals gokken of overmoed), markeert de AI dit, en die persoon heeft bijna altijd ongelijk.
De AI is een zwakke "Sterrenzoeker": De AI is minder goed in het opsporen van de absolute beste experts. Alleen omdat een uitleg er perfect uitziet, betekent niet dat de persoon een genie is.
- Analogie: Stel je een metaaldetector voor op een strand. Die is geweldig in het vinden van roestige spijkers en gebroken glas (het slechte spul). Maar hij is niet zo goed in het onderscheiden tussen een glimmend stukje koper en een echt goudklompje (het allerbeste spul).

Hoe het Verhoudt tot Mensen

De onderzoekers vroegen ook aan echte mensen om deze uitleg te lezen en te beoordelen.

Mensen laten zich gemakkelijk foppen door lengte: Mensen gaven vaak hogere scores aan langere uitleg. Ze dachten: "Wauw, deze persoon heeft veel geschreven, dus moet hij wel slim zijn."
De Realiteit: De lengte van de tekst had bijna niets te maken met de vraag of de voorspelling correct was.
De AI versus Mensen: De AI was veel beter in het voorspellen van wie accuraat was dan de mensen dat waren. De mensen werden afgeleid door de "ophulp" (lengte en chique woorden), terwijl de AI zich concentreerde op de werkelijke logica.

Waarom Dit Belangrijk Is

Deze tool is nuttig omdat het geen trackrecord vereist.

Normaal gesproken moet je maanden of jaren wachten om te zien of een voorspeller goed is door naar hun eerdere resultaten te kijken.
Met EQMs kun je naar een enkele geschreven uitleg kijken en een goed idee krijgen of die persoon waarschijnlijk accuraat zal zijn of niet.

Samenvatting

Het Probleem: We hebben te veel deskundige verklaringen om te lezen, en we weten niet welke betrouwbaar zijn.
De Oplossing: Een AI die scant op 60 specifieke redeneergewoonten (zoals controleren op bias of het gebruik van data).
Het Resultaat: De AI is veel beter dan oude computermethoden en beter dan menselijke lezers in het opsporen van slecht redeneren. Het helpt besluitvormers om de "ruis" en de "gokkers" eruit te filteren, zelfs als het niet perfect de "genieën" kan identificeren.

Noot: Het onderzoek heeft dit strikt getest op geopolitieke en economische voorspellingswedstrijden. Het claimt niet dat deze methode al werkt voor medische diagnoses, juridische oordelen of andere velden; het bewijst alleen dat het werkt voor het voorspellen van toekomstige gebeurtenissen in deze specifieke wedstrijden.

Technische Samenvatting: Het Meten van de Kwaliteit van Oordeelsvorming in Natuurlijke Taalverklaringen

Probleemstelling
Besluitvormers vertrouwen routinematig op deskundige oordelen vergezeld door schriftelijke verklaringen (bijv. inlichtingenmemo's, beleggingstheses) om te beoordelen welke oordelen zij kunnen vertrouwen. De kwaliteit van deze verklaringen is echter moeilijk systematisch op schaal te meten. Hoewel eerder onderzoek kenmerken van solide probabilistisch redeneren heeft geïdentificeerd—zoals aandacht voor basiskansen (base rates), openheid voor ontkrachtend bewijs en weerstand tegen cognitieve biases—vereist het meten van deze kenmerken in ongestructureerde tekst historisch gezien arbeidsintensieve expertcodering, grove geautomatiseerde proxies, of instrumenten die beperkt zijn tot enkele theoretische constructen. Bovendien is het in de meeste domeinen moeilijk om de kwaliteit van de verklaring empirisch te koppelen aan prestaties vanwege het gebrek aan een duidelijke "ground truth" voor de nauwkeurigheid van het oordeel.

Methodologie
De auteurs maken gebruik van forecasting-toernooien als een natuurlijke testomgeving, waar probabilistische oordelen worden gekoppeld aan schriftelijke rationales en worden gescoord tegenover gerealiseerde uitkomsten. De studie maakt gebruik van gegevens uit het Aggregative Contingent Estimation (ACE) toernooi (2011–2015), bestaande uit meer dan 55.000 paren van voorspelling-rationale, en valideert de bevindingen op een onafhankelijke dataset (Team Dynamics-studie).

De kern van de methodologische innovatie is de introductie van Explanation Quality Markers (EQMs), een set van zestig door de theorie geleide redeneerpatronen die worden gescoord door Large Language Models (LLMs).

Patroonontwikkeling: De 60 EQM-patronen zijn afgeleid van de literatuur over oordeelsvorming en besluitvorming en zijn georganiseerd in zes families: Bias en Emotie, Analytisch Redeneren, Afstemming en Discipline, Bronvermelding van Bewijs, Integratief Redeneren en Cognitieve Framing, en Houding en Onzekerheidsmanagement. Elk patroon is gedefinieerd in natuurlijke taal met een directionele hypothese met betrekking tot de associatie met nauwkeurigheid (positief, negatief of neutraal).
Scoring-pipeline: Een LLM (GPT-4o) scoort elke rationale op een driepuntschaal (0: geen bewijs; 1: enig bewijs; 2: duidelijk bewijs) voor alle 60 patronen simultaan in één enkele API-call om disambiguërende context te bieden.
Composiet-scoring: De 60 patroonscores worden omgezet in een enkele samengestelde kwaliteitsscore met behulp van LASSO-regressie, getraind om de gerealiseerde nauwkeurigheid te voorspellen.
Benchmarks: De EQM-benadering wordt vergeleken met:
1. Pre-LLM methoden: Inclusief linguïstische woordenboeken (LIWC), leesbaarheidsmaten, sentiment scores, en specifieke classificaties voor "outside-view" redeneren (Comparison Class Usage).
2. Menselijke beoordelingen: Bruikbaarheidsbeoordelingen gegeven door medevoorspellers in het ACE-toernooi.
3. Traditionele indicatoren: Eerdere nauwkeurigheid, omvang van updates, en frequentie van voorspellingen.

Belangrijkste Resultaten
De studie is georganiseerd in vier analyses:

Voorspellende kracht versus Pre-LLM methoden:
- De EQM-composietscores presteren significant beter dan pre-LLM tekstanalyse-methoden bij het voorspellen van nauwkeurigheid op zowel het voorspellingsniveau ( $r = .19$ vs. $r = .06$ ) als het voorspeller-niveau ( $r = .51$ vs. $r = .39$ ).
- Meer dan 90% van de statistisch significante patroon-niveau correlaties komt overeen met de directionele hypothesen van de auteurs.
- Het voorspellende signaal is asymmetrisch: EQMs zijn betrouwbaarder in het identificeren van waarschijnlijke onderpresteerders (kwalitatief zwakke rationales) dan in het onderscheiden van de allerbeste voorspellers.
Vergelijking met Traditionele Indicatoren:
- Op het voorspellingsniveau zijn EQMs de sterkste beschikbare voorspeller, waarbij ze zelfs de nauwkeurigheid van het voorgaande jaar overtreffen.
- Op het voorspeller-niveau blijft de nauwkeurigheid van het voorgaande jaar de sterkste voorspeller ( $r = .70$ ), maar EQMs zijn competitief met gedragsindicatoren zoals de omvang van updates ( $r = .55$ ) en presteren significant beter dan pre-LLM methoden.
- Bij taken van crowd-aggregatie verbetert het rangschikken van voorspellers op basis van voorspeller-niveau EQM-scores de geaggregeerde nauwkeurigheid, terwijl het rangschikken van individuele voorspellingen op basis van voorspellings-niveau EQM-scores weinig voordeel biedt, afgezien van het wegfilteren van de zwakste oordelen.
Vergelijking met Menselijke Beoordelingen:
- Menselijke beoordelingen van de kwaliteit van de rationale correleren minder consistent met nauwkeurigheid dan EQMs (Voorspellingsniveau: $r = .07$ vs. $r = .23$ ; Voorspeller-niveau: $r = .40$ vs. $r = .50$ ).
- Menselijke beoordelaars hechten onevenredig veel gewicht aan de lengte van de rationale (de wortel van het aantal woorden correleert met menselijke beoordelingen bij $r = .62$ ), een kenmerk dat vrijwel ongerelateerd is aan de nauwkeurigheid van de voorspelling.
- De inter-beoordelaarsbetrouwbaarheid voor menselijke beoordelingen is laag (gemiddelde Cohen's $\kappa = .24$ ), terwijl de overeenstemming tussen verschillende LLM's die dezelfde patronen scoren aanzienlijk hoger is ( $\kappa = .56$ ).
Out-of-Sample Transfer:
- EQM-modellen getraind op ACE-data transfereren effectief naar een onafhankelijke dataset (Team Dynamics-studie) met andere vragen, voorspellers en elicitatieformaten (kwantielen versus waarschijnlijkheden).
- Out-of-sample correlaties blijven robuust (Voorspellingsniveau: $r = .16$ ; Voorspeller-niveau: $r = .46$ ), wat suggereert dat het framework generaliseerbare redeneerpatronen vangt in plaats van gememoriseerde data.

Significantie en Claims
Het artikel claimt drie primaire bijdragen:

Methodologisch: Het introduceert EQMs als een schaalbaar, door de theorie geleid meetframework dat LLM's gebruikt om oordeelsrelevante informatie uit schriftelijke verklaringen te extraheren, waarmee de beperkingen van pre-LLM NLP-tools worden overwonnen.
Empirisch: Het demonstreert dat deze op LLM gebaseerde benadering voorspellender is voor de nauwkeurigheid van oordelen dan zowel traditionele tekstanalyse-methoden als menselijke beoordelingen.
Praktisch: Het stelt de bruikbaarheid van EQMs vast voor het screenen van oordelen. De methode vereist slechts één schriftelijke rationale en geen historisch trackrecord, wat het toepasbaar maakt in "single-shot" elicitatie-settings waar historische prestatiegegevens niet beschikbaar zijn.

De auteurs merken beperkingen op, waaronder het feit dat rationales een imperfecte proxy zijn voor intern redeneren (vanwege impliciete kennis of post-hoc rechtvaardiging) en dat de bevindingen correlationeel zijn. Ze suggereren echter dat het framework een draagbaar instrument biedt om ongestructureerde tekst om te zetten in expliciete, toetsbare kenmerken van de kwaliteit van oordeelsvorming over diverse domeinen heen.