🤖 AI

FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables

Dit artikel introduceert FinProBench, een benchmark voor het evalueren van financiële AI-agenten, en Role-Grounded Rubric Construction (RGRC), een pipeline die evaluatiecriteria afleidt uit professionele leverables om impliciete standaarden effectief te vatten en significant beter te presteren dan op prompts gebaseerde methoden bij rol-gespecialiseerde financiële taken.

Oorspronkelijke auteurs: Ben Wang, Kang Zhou, Lifan Guo, Feng Chen, Chi Zhang

Gepubliceerd 2026-08-06

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ben Wang, Kang Zhou, Lifan Guo, Feng Chen, Chi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een professional moet zijn, zoals een arts, een advocaat of een financieel analist. In de wereld van kunstmatige intelligentie hebben we deze superintelligente "agenten" die kunnen chatten, code kunnen schrijven en puzzels kunnen oplossen. Maar hoe weten we of ze ook echt een goed werk leveren, of dat ze alleen maar doen alsof? Dit is de grote vraag in het vakgebied van AI-evaluatie. Lange tijd hebben we AI getest door het eenvoudige vragen te stellen met goede of foute antwoorden, zoals een meerkeuzequiz. Maar echt professioneel werk is geen quiz; het is een rommelig, complex project, zoals het schrijven van een rapport van 50 pagina's of het bouwen van een financieel model. Om dit soort werk te beoordelen, hebben we een "rubriek" nodig—een gedetailleerd beoordelingsformulier dat ons precies vertelt wat een stuk werk uitstekend maakt versus slechts oké. Het probleem is dat de meeste van deze beoordelingsformulieren worden gemaakt door te gokken wat de AI zou moeten doen, of door naar de eigen antwoorden van de AI te kijken, wat is alsof je een leerling vraagt om het eigen huiswerk te nakijken. We hebben een manier nodig om deze beoordelingsformulieren te bouwen op basis van wat echte mensen daadwerkelijk doen in hun banen.

Dit artikel introduceert een nieuwe manier om financiële AI-agenten te testen, genaamd FinProBench, samen met een slimme methode om de beoordelingsformulieren te bouwen, bekend als Role-Grounded Rubric Construction (RGRC). Denk aan RGRC als een detective die niet naar de verdachten (de AI) kijkt om de regels te achterhalen, maar in plaats daarvan de plaats van het misdrijf bestudeert (echte, professionele werkdocumenten) om te zien hoe de experts het daadwerkelijk aanpakten. De onderzoekers verzamelden meer dan 1.700 echte documenten—zoals investeringsrapporten en compliance-controles—geschreven door echte financiële professionals. Ze gebruikten deze echte voorbeelden om de AI te leren hoe hij het werk van andere AI moet beoordelen.

Hier is de wending die ze ontdekten: het hangt af van de baan. Voor veelvoorkomende, alledaagse financiële taken die al goed bekend zijn (zoals het schrijven van een standaard marktrapport), werkt het simpelweg vragen aan de AI om "een goed werk te leveren" (met behulp van een prompt) bijna even goed als hun nieuwe, fancy methode. Echter, voor gespecialiseerde, lastige rollen waar de regels verborgen of zeer specifiek zijn (zoals een niche verzekeringsactuaris), faalt de simpele "vraag beleefd"-aanpak jammerlijk. In die gevallen is de RGRC-methode, die leert van echte menselijke resultaten, een gamechanger; het vangt 99,1% van de noodzakelijke standaarden, vergeleken met slechts 78% voor de simpele methode.

Toen ze de AI-agenten tegen de test zetten tegenover echte menselijke experts met behulp van deze nieuwe, hoogwaardige beoordelingsformulieren, wonnen de mensen nog steeds gemiddeld, met een score van 73,7 op 100, terwijl de beste AI-agenten rond de 70 schommelden. Maar het was geen totale nederlaag. De AI-systemen hadden hun eigen superkrachten: sommige waren beter in het diep in de wiskunde duiken, terwijl andere geweldig waren in de opmaak. De mensen waren echter de meest consistente allrounders, waarbij ze de structuur, de nauwkeurigheid van de gegevens en de nalevingsregels perfect onder de knie hadden. Het artikel suggereert dat hoewel AI erg goed wordt, het nog steeds moet leren van de "tacit" (onuitgesproken) geheimen van echte professionals om complexe banen echt te beheersen. Het beste deel? Omdat ze voor elke rol een "meester-beoordelingsformulier" bouwden, konden ze dit voor veel verschillende taken hergebruiken, wat een enorme hoeveelheid tijd bespaart—ongeveer 6,7 keer sneller dan het maken van een nieuw beoordelingsformulier vanaf nul voor elke afzonderlijke opdracht.

Technische Samenvatting: FinProBench en Role-Grounded Rubric Construction (RGRC)

Probleemstelling

De snelle inzet van Large Language Models (LLMs) als AI-agenten voor complexe professionele taken heeft de ontwikkeling van evaluatiekaders die de kwaliteit van echte professionele resultaten kunnen beoordelen, ingehaald. Bestaande financiële benchmarks (bijv. FinEval, CFinBench, FinBen) richten zich voornamelijk op feitelijke herinnering, sentimentanalyse of extractieve vraagbeantwoording. Ze falen in het evalueren van de productie van volledige, meerpagina-bescheiden zoals waarderingsmodellen, compliance-rapporten en onderzoeksartikelen.

Een kritieke flessenhals bij het evalueren van open eindresultaten is de constructie van hoogwaardige rubrieken. Huidige methoden—directe generatie, contrastieve extractie en iteratieve verfijning—afleiden criteria uit taakprompts of modeloutputs. Deze aanpak mist de tacit professional standards (stilzwijgende professionele standaarden) die belichaamd zijn in werkelijke werkproducten, maar zelden gearticuleerd worden in taakbeschrijvingen. Bov�gens ontbreekt het bestaande rubriekconstructie aan een mechanisme voor hergebruik op rol-niveau, wat leidt tot arbeidsintensieve, taakspecifieke auteurschap die niet schaalbaar is over beroepen of jurisdicties heen.

Methodologie: Role-Grounded Rubric Construction (RGRC)

Het artikel introduceert Role-Grounded Rubric Construction (RGRC), een pipeline die ontworpen is om evaluatiecriteria direct af te leiden uit authentieke professionele resultaten geschreven door professionals in dezelfde beroepsrol. De pipeline werkt in vier stadia:

1. Verzameling van Resultaten (Deliverable Collection)

De basis is een gecureerde corpus van authentieke documenten.

Authenticiteitscriterium: Een document wordt alleen opgenomen als de rol van de auteur overeenkomt met de doel-beroepsrol (bijv. het uitsluiten van academische papers, regelgevende indieningen of jaarverslagen geschreven door IR-afdelingen).
Bronprioritering: Documenten worden gettiered op basis van authenticiteitsvertrouwen: Tier 1 (Direct institutioneel auteurschap), Tier 2 (Nabije rollen met overlap), en Tier 3 (Afgeleid van inhoud).
Corpusvereisten: Voor elke rol is een minimum van 20 resultaten van ten minste 3 verschillende instellingen die ≥2 jaar beslaan vereist om evoluerende standaarden te vangen.

2. Competentie-extractie (Competency Extraction)

Latente kwaliteitsdimensies worden uit de corpus geëxtraheerd via een twee-fasen LLM-analyse:

Per-document analyse: Identificeert structurele patronen, markers voor analytische diepgang, professionele conventies en kwaliteitsdifferentiatoren.
Cross-document synthese: Aggregeert bevindingen om op rol-niveau liggende standaarden te identificeren die consistent (≥60% frequentie) voorkomen over meerdere auteurs en instellingen. Dit onderscheidt universele competenties (bijv. numerieke nauwkeurigheid) van rol-specifieke competenties (bijv. DCF-model coherentie) en impliciete standaarden (bijv. verplichte secties voor risicovermelding).

3. Rubriek Synthese (Rubric Synthesis)

Geëxtraheerde competenties worden getransformeerd naar gescoord criteria volgens vier ontwerpprincipes:

Evalueerbaarheid: Criteria moeten onafhankelijk beoordeelbaar zijn met deterministische scoringsregels, waarbij ankerloze subjectieve beschrijvingen worden vermeden.
Eenduidigheid: Criteria gebruiken concrete observeerbare indicatoren en kwantitatieve drempelwaarden om een hoge inter-rater overeenstemming (waarschijnlijkheid ≥0.9) te waarborgen.
Niet-hackbaar (Non-Hackability): Criteria vereisen meerstaps redeneerketens waarbij tussenresultaten downstream antwoorden beperken om "rubriek-gaming" te voorkomen.
Orthogonaliteit: Criteria worden geverifieerd op minimale correlatie om mechanische score-inflatie te voorkomen.
Scoringsschema: Criteria krijgen gewichten (1–5), polariteit (positief/negatief) en categorie-tags. Een complexiteit-adaptief mechanisme past het aantal criteria (38–49) aan op basis van de taakcomplexiteit.

4. Validatie

Gegenereerde rubrieken ondergaan een drie-poortse validatieprocedure:

Poort 1 (Geautomatiseerde QA): Controleert op prompt-rubriek dekking, alignement met de resultaten, principe-compliance en gewichtsverdeling.
Poort 2 (Discriminatieve Review): Verifieert of de rubriek in staat is om authentieke referenties te onderscheiden van gedegradeerde of door modellen gegenereerde alternatieven zonder punten toe te kennen voor oppervlakkige naleving.
Poort 3 (Cross-Evaluator Consistentie): Vereist een Cohen's $\kappa \ge 0.75$ tussen onafhankelijke evaluatoren (mens of LLM) om de helderheid van de formulering te waarborgen.

Role-to-Task Hergebruik: Een kernarchitecturaal kenmerk is de scheiding tussen Role-Level Rubrics (normatieve standaarden gedeeld over alle taken van een beroep) en Task-Level Rubrics (dunne, specifieke lagen). Dit maakt het mogelijk om 60–70% van de criteria over te nemen, wat de per-taak auteursarbeid met een geschatte factor 6.7 vermindert.

De FinProBench Benchmark

RGRC wordt geïnstantieerd als FinProBench, een benchmark gebouwd op een corpus van 1.723 gecureerde real-world resultaten verspreid over:

57 Financiële Beroepen: Geclassificeerd in 30 "prior-rijke conventionele rollen" (bijv. aandelenanalisten) en 27 "prior-arme rol-gespecialiseerde rollen" (bijv. gespecialiseerde compliance officers).
8 Sub-industrieën: Bankwezen, effectenhandel, verzekeringen, vermogensbeheer, wealth management, fintech, compliance en data engineering.
161 Type resultaten (Deliverable Types).

De initiële evaluatieset bestaat uit 20 volledige taken over 20 rollen en 7 sub-industrieën, elk bestaande uit een taakprompt, een menselijk 'gold' resultaat en een door RGRC-afgeleide rubriek.

Experimentele Resultaten

De evaluatie maakte gebruik van een panel van vier heterogene LLM-judges (GPT, DeepSeek, Qwen, Gemini) en vergeleek menselijke resultaten met drie AI-agenten (Codex, Qoder, Claude Code).

1. Dekking van Professionele Standaarden

De studie vergeleken RGRC met een "Prompt-only" baseline (het gebruik van algemene model-priors om rubrieken te genereren).

Conventionele Rollen (30): Prompt-only bereikte 89,2% dekking, wat bijna gelijk is aan de 90,7% van RGRC. Dit suggereert dat algemene modellen conventies voor veelvoorkomende rollen al coderen.
Rol-gespecialiseerde Rollen (27): RGRC presteerde significant beter dan Prompt-only (99,1% vs. 78,0%). Dit geeft aan dat voor gespecialiseerde rollen, de stilzwijgende standaarden niet gecodeerd zijn in algemene priors en gronding in authentieke resultaten vereisen.

2. Judge Betrouwbaarheid

De rubrieken vertoonden een hoge consistentie, met een Fleiss' $\kappa$ van 0,76 over het judge-panel, wat voldoet aan de $\ge 0,75$ drempel voor betrouwbare automatische scoring.

3. Menselijke vs. Agent Prestaties

Onder de gold-held-out rol-niveau rubriek:

Menselijke Resultaten rangschikten gemiddeld het hoogst (73,7/100).
AI-Agenten volgden met overlappende 95% betrouwbaarheidsintervallen: Codex (70,3), Qoder (70,2) en Claude Code (69,6).
Dimensionale Analyse: Mensen leidden op het gebied van structurele volledigheid, datanauwkeurigheid, compliance en presentatie. Agenten vertoonden complementaire sterktes; bijvoorbeeld leidde Qoder in analytische diepgang en risicovermelding, terwijl Claude Code sterke analytische diepgang toonde maar een hogere variantie had. Geen enkel systeem domineerde alle dimensies.

Betekenis en Claims

Het artikel claimt dat FinProBench en RGRC drie kritieke hiaten in financiële AI-evaluatie adresseren:

Verschuiving van Antwoorden naar Resultaten: Verder gaan dan binaire correctheid om volledige, gestructureerde professionele werkproducten te evalueren.
Evidence-Grounded Rubrieken: Het vestigen van een paradigma waarbij evaluatiecriteria worden afgeleid van authentiek menselijk werk in plaats van prompts of modeloutputs, waardoor zij succesvol de stilzwijgende professionele standaarden herstellen.
Schaalbaarheid door Hergebruik: Aantonen dat gronding op rol-niveau het hergebruik van normatieve standaarden over taken heen mogelijk maakt, wat de inspanning voor het construeren van evaluatiesets drastisch vermindert.

De auteurs benadrukken dat hoewel prompt engineering rubrieken kan benaderen voor conventionele rollen waar standaarden al in de model-priors zijn gecodeerd, authentieke professionele gronding cruciaal is voor het herstellen van de stilzwijgende, rol-specifieke standaarden van gespecialiseerde beroepen. Het framework wordt gepresenteerd als jurisdictie-agnostisch, vertrouwend op de beschikbaarheid van een rol-gealigneerde bewijscorpus in plaats van een specifieke constructiemethodologie.