🤖 machine learning

GAUGE: Grading Agent-Built Financial Models Without a Golden Answer

Het artikel introduceert GAUGE, een nieuwe benchmark die door AI gebouwde financiële modellen evalueert tegen de achtergrond van geobserveerde praktijken van analisten in plaats van tegen één enkel "gouden" antwoord, waarbij wordt onthuld dat hoewel huidige agenten uitblinken in mechanische modelconstructie, ze nog steeds aanzienlijk achterlopen op menselijke professionals wat betreft waarderingsoordeel.

Oorspronkelijke auteurs: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

Gepubliceerd 2026-07-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiacheng Lu, Sinuo Wang, Wentao Zhao, Rui Sun, Cheng Hua, Tao Song, Hui Cai, Beidi Luan, Zhengze Wu, Lingjing Teng, Yijia He, Jing Li, Daxin Jiang, Zuo Bai, Haibing Guan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een juryleden bent bij een kookprogramma. Meestal hebben de juryleden één "perfect" receptenkaart. Als het gerecht van een deelnemer zelfs maar een klein beetje anders smaakt dan die kaart, verliezen ze punten. Maar wat als er eigenlijk tien verschillende manieren zijn om een heerlijke lasagne te maken? Wat als het "perfecte" recept slechts de mening van één persoon is, en de versie van de deelnemer even smakelijk is maar andere kruiden gebruikt? Dit is het probleem waar wetenschappers tegenaan lopen bij het testen van AI op complexe taken zoals financiële modellering. Financiële modellering is als het bouwen van een gedetailleerde voorspellingsmachine voor de toekomst van een bedrijf; het mengt harde feiten (zoals de verkopen uit het verleden) met onderbouwde gissingen (zoals hoe snel het bedrijf zal groeien). Decennialang hebben we AI getest door de gissingen te vergelijken met het antwoord van één enkele expert. Maar als experts het ook niet eens zijn over de beste gissing, voelt het onrechtvaardig om de AI te straffen omdat deze een ander, doch redelijk antwoord heeft. Deze paper vraagt: Hoe beoordelen we AI wanneer er niet één "juist" antwoord is?

De onderzoekers achter deze studie, getiteld GAUGE, besloten te stoppen met de suggestie dat er slechts één perfect financieel model bestaat. Ze bouwden een nieuwe testomgeving om te zien of AI-agenten deze complexe financiële "voorspellingsmachines" kunnen bouwen en, belangrijker nog, of ze de oordelen kunnen vellen die menselijke experts maken.

Eerst testten ze de oude manier van beoordelen. Ze namen 108 paren financiële modellen die door verschillende menselijke experts voor dezelfde bedrijven waren gebouwd. Toen ze één model van een expert beoordeelden tegenover dat van een andere expert met de oude "één perfect antwoord"-regel, waren de resultaten schokkend. De mediaan score was slechts 0,33 uit 1,0. Sterker nog, 92,6% van de paren scoorde onder de 0,70. Dit betekent dat zelfs professionele mensen, die allemaal experts zijn, vaak zo sterk van mening verschillen dat als je de een als de "waarheid" zou beschouwen, je de ander zou doen zakken. Het blijkt dat in de financiële wereld "anders zijn" niet betekent dat je "fout bent".

Om dit op te lossen, creëerden het team GAUGE (Grading Agent-Built Financial Models Without a Golden Answer). In plaats van een enkele receptenkaart, creëerden ze een "veiligheidsenvelop" gebaseerd op wat echte experts daadwerkelijk doen. Stel je een doelwit voor waarbij de roos niet een enkel punt is, maar een brede ring. Als de gok van een AI ergens binnen die ring van "redelijk expertgedrag" landt, krijgt het krediet. Het systeem controleert twee zaken:

De Mechanica: Klopte de wiskunde? Liep de spreadsheet sluitend op? (Zoals controleren of de oven daadwerkelijk aan stond).
Het Oordeel: Viel de gok van de AI binnen het bereik van wat echte experts als verdedigbaar beschouwen? (Zoals controleren of de kruiding binnen de reikwijdte van de smaak van een goede chef valt).

Ze testten 24 verschillende AI-agenten op dit nieuwe systeem, samen met een groep van 55 mensen variërend van financiële studenten tot senior analisten. Dit is wat ze vonden:

AI wordt goed in de wiskunde, maar slecht in het gevoel. De AI-agenten waren uitstekend in de mechanische onderdelen. De beste AI slaagde voor 93% van de mechanische controles (het controleren of de spreadsheetformules correct waren). Echter, wanneer het aankwam op de oordelende onderdelen (het doen van de werkelijke voorspellingen), slaagde de beste AI slechts voor 78%.
De "kloof" is echt. Gemiddeld genomen waren de AI-agenten 26 punten beter in het bouwen van het model dan in het maken van de waarderingsoordelen. Ze kunnen de auto bouwen, maar ze zijn nog niet goed in het besturen ervan.
Mensen winnen nog steeds. De beste AI scoorde 53,4. Dit was beter dan de gemiddelde financiële student (43,2), maar slechter dan elke enkele senior analist (die gemiddeld 88,3 scoorden) en de meeste junior analisten. De AI is slim genoeg om het huiswerk te doen, maar nog niet slim genoeg om de baas te zijn.

De studie suggereert dat hoewel AI zeer bekwaam wordt in het construeren van complexe financiële modellen, het moeilijkste deel—het maken van de genuanceerde, verdedigbare oordelen die experts gebruiken om de waarde van een bedrijf te bepalen—een aanzienlijke uitdaging blijft. De auteurs vonden niet alleen een score; ze bewezen dat de oude manier van beoordelen (zoeken naar één perfect antwoord) zowel onrechtvaardig was voor mensen als voor machines, en ze boden een nieuwe manier om vooruitgang te meten die recht doet aan de rommelige realiteit van deskundige onenigheid.

Technische Samenvatting: GAUGE – Het beoordelen van door agenten gebouwde financiële modellen zonder een 'gouden antwoord'

1. Probleemstelling

Financiële modellering omvat het combineren van publieke verklaringen met aannames van analisten om prognoses en waarderingen te generen. Hoewel mechanische componenten van deze modellen (bijv. de nauwkeurigheid van historische gegevens, het in balans brengen van boekhoudkundige identiteiten) objectief verifieerbaar zijn, laten waarderingscomponenten (bijv. omzetprognoses, disconteringsvoeten, doelkoersen) inherent meerdere redelijke antwoorden toe.

Bestaande benchmarks voor financiële AI-agenten beoordelen outputs doorgaans tegenover een enkele door een expert geautoriseerde referentie (een "gouden antwoord"). De auteurs stellen dat deze aanpak gebrekkig is voor waarderingstaken, omdat het agenten straft die het oneens zijn met een specifieke referentie-analist, zelfs wanneer de aannames van de agent verdedigbaar en consistent met professionele praktijk zijn. Dit ontwerp verwart professionele onenigheid met modelfouten en houdt geen rekening met de "beoordelingsonbepaaldheid" die inherent is aan open eind-financiële artefacten.

De paper demonstreert dit probleem empirisch door onafhankelijk gebouwde analistenmodellen tegen elkaar af te wegen. Over 108 gerichte paren die 65 bedrijven beslaan, is de mediaan score bij gebruik van een single-reference point-tolerance benadering 0,33, en 92,6% van de paren scoort onder de 0,70. Geen enkel paar uit dezelfde periode komt overeen wat betreft de impliceerde aandelenprijs binnen een marge van 10%. Dit suggereert dat standaard point-tolerance beoordeling de natuurlijke onenigheid bestraft die zelfs onder professionele analisten bestaat.

2. Methodologie: De GAUGE Benchmark

Om de beperkingen van single-reference beoordeling aan te pakken, introduceren de auteurs GAUGE, een benchmark die ontworpen is om door agenten gebouwde waarderingsmodellen te evalueren tegenover de geobserveerde analistenpraktijk in plaats van een enkele puntinschatting.

2.1 Corpus en Taakontwerp

Corpus: De benchmark is gebouwd vanuit 1.001 door leveranciers geclassificeerde analisten-workbooks die 922 tickers over 25 GICS-sectoren beslaan.
Taakformaat: De evaluatieset bestaat uit 196 taken (met een kern van 48 taken voor agent-evaluatie). Agenten ontvangen een "Excel-in / Model-out" taak: ze krijgen ruwe historische gegevens, segment-skeletten en richtlijnen, maar consensusprognoses worden achtergehouden.
Deliverables: Agenten moeten een formulegestuurd model, waardering, sensitiviteitsanalyse, aannamesbestand en een memo produceren.
Data-integriteit: Het corpus is gede-identificeerd, en een "withheld refresh pool" (~600 workbooks) is gereserveerd voor toekomstige longitudinale evaluatie om contaminatie te voorkomen.

2.2 Beoordelingssysteem

GAUGE hanteert een meerlagige beoordelingsstapel die mechanische correctheid scheidt van oordeelsvorming:

Drielagige Verdedigbaarheids-envelope: In plaats van een enkel punt, worden oordeelsgevoelige kwantiteiten geëvalueerd tegen een bereik afgeleid van de geobserveerde praktijk.
- E-methode: Gebruikt de min/max van multi-methode waarden en sensitiviteitsgrids binnen een specifiek workbook.
- E-industrie: Gebruikt P10–P90 distributies van aannames over de industrie.
- E-bedrijf: Kalibreert banden met behulp van de dispersie van meerdere analisten die hetzelfde bedrijf dekken.
- Beoordeling: Waarden binnen de nauwe band scoren 2; waarden in de bredere "nabije" band (uitgebreid door P90 onenigheid) scoren 1; waarden daarbuiten scoren 0.
56 Facetten: Het systeem evalueert 56 specifieke facetten gecategoriseerd in:
- 29 Deterministisch (D): Structurele controles (bijv. formulekoppelingen, boekhoudkundige identiteiten).
- 23 LLM-Beoordeeld (J): Kwalitatieve beoordelingen van aannames en logica.
- 4 Direct-Regel (R): Specifieke regelgebaseerde controles (bijv. WACC-band lidmaatschap).
Validiteits-gates (G1–G8): Acht deterministische gates detecteren structurele fouten (bijv. ongebalanceerde balansen, circulaire referenties, look-ahead contaminatie). Als een gate wordt getriggerd, legt dit een score-plafond op, wat voorkomt dat structureel onbruikbare modellen hoge scores krijgen ondanks plausibele lokale outputs.
Foutbewuste Score ( $\phi_0$ ): De primaire metriek wijst een score van 0 toe aan niet-voltooide taken of capaciteitsfalen, waardoor wordt voorkomen dat agenten hoog ranken door simpelweg een deel van de taken te voltooien terwijl ze andere falen.

3. Experimentele Opzet

Agenten: 24 agenten van 12 providers (waaronder Claude, GPT-5 varianten, Gemini, Kimi, Qwen, etc.) werden geëvalueerd op de 48-taak kern.
Menselijke Baseline: Een known-groups studie met 55 deelnemers werd uitgevoerd met drie groepen: Senior Analisten (12), Junior Analisten (18) en Financiële Studenten (25). De deelnemers werkten onder dezelfde beperkingen als de agenten (geen netwerktoegang, dezelfde inputs) maar zonder het strikte tijdsbudget.
Evaluatieprotocol: Agenten gebruikten een gestandaardiseerd tool-calling harness. Elke taak werd één keer per agent uitgevoerd om best-case bias te vermijden.

4. Belangrijkste Resultaten

4.1 Agent Prestaties vs. Mensen

Op de foutbewuste score $\phi_0$ :

Senior Analisten: Gemiddeld 88,3
Junior Analisten: Gemiddeld 66,0
Financiële Studenten: Gemiddeld 43,2
Beste Agent (Claude Fable 5): Scoorde 53,4.
- Dit is boven het gemiddelde van studenten, maar onder elke senior analist en 15 van de 18 junior analisten.
- 33 van de 55 menselijke deelnemers scoren hoger dan de beste agent.

4.2 Mechanisch vs. Oordeel Gap

Een cruciale bevinding is het verschil tussen het vermogen van een agent om modellen te construeren en het vermogen om waarderingsoordeel te vellen:

Mechanische Facetten: De beste agent slaagde voor 93% van de mechanische facetten (structurele/formulistische correctheid).
Oordeels-Facetten: De beste agent slaagde slechts voor 78% van de oordeels-facetten.
Fleet Mediaan Gap: Over alle 24 agenten heen is de mediaan gap tussen mechanische en oordeels-pass rates 26 punten.
Conclusie: Huidige agenten zijn aanzienlijk sterker in het construeren van modellen dan in het uitoefenen van waarderingsoordeel.

4.3 Validiteit en Stabiliteit

Known-Groups Ordering: De benchmark ordent mensen succesvol op basis van ervaring (Senior > Junior > Student) met hoge statistische significantie ( $p < 10^{-6}$ ).
Gate Impact: Het verwijderen van de validiteits-gates keerde 11 van de 276 model-paar ordeningen om, wat bevestigt dat structurele controles noodzakelijk zijn om opgeblazen scores voor defecte modellen te voorkomen.
Judge Stabiliteit: Herhaalde stemming door een enkele bevroren judge (5 draws) leverde een Kendall's $\tau$ van 0,944 op, wat duidt op een hoge sampling stabiliteit.

5. Betekenis en Claims

De paper claimt drie primaire bijdragen:

Empirische Onderzoek naar de Single-Reference Aanname: Het demonstreert dat het beoordelen tegenover een enkele expert-referentie problematisch is voor waardering, aangezien professionele analisten frequent van mening verschillen over cruciale inputs (WACC, terminale groei, impliceerde prijs), zelfs wanneer zij intern consistente modellen produceren.
Introductie van GAUGE: Het biedt een benchmark die de mechanische verificatie loskoppelt van de evaluatie van oordeelsvorming, door een "geobserveerde-praktijk-envelope" te gebruiken om verdedigbare keuzes te beoordelen in plaats van identieke antwoorden.
Identificatie van Agent Capaciteiten: Het stelt vast dat hoewel agenten in staat worden om de constructie van financiële modellen te automatiseren, het oordeel dat vereist is voor waardering een significante bottleneck blijft.

De auteurs benadrukken dat GAUGE niet claimt een "grondwaarheid" voor waardering vast te stellen (omdat meerdere verdedigbare antwoorden bestaan), maar eerder een kader biedt om te evalueren of de keuzes van een agent binnen het bereik van de geobserveerde professionele praktijk vallen. De release omvat de methodologie, gated data splits en een versiebeheerde longitudinale kern om reproduceerbare en contaminatie-gecontroleerde evaluatie te ondersteunen.