Technisch Overzicht: EuroExec – Frontier Language Models Schieten Tekort bij Expertoordeel bij Europese Executieve Besluitvormingstaken

1. Probleemstelling

De evaluatie van generatieve AI heeft traditioneel berust op gesloten taken met deterministische metrieken (bijv. meerkeuzevragen, code-executie of vertaling met gouden referentiewaarden). Deze benchmarks falen echter in het vastleggen van de aard van real-world toepassingen waar Large Language Models (LLM's) steeds vaker voor worden ingezet: open, langvormige tekstgeneratie die professioneel oordeel vereist, zoals executieve besluitvorming. In deze scenario's is er geen enkel "correct" antwoord, maar wel een professionele standaard die menselijke experts kunnen herkennen.

Huidige evaluatiemethoden kampen met twee primaire uitdagingen:

1. Data Contaminatie: Modellen kunnen getraind zijn op publieke benchmarks met definitieve antwoorden, waardoor prestatiecijfers worden opgeblazen door regurgitatie in plaats van werkelijk redeneren.
2. Evaluatiegetrouwheid (Fidelity): Automatische metrieken (bijv. BLEU, ROUGE) en AI-rechters (LLM's die LLM's evalueren) slagen er vaak niet in om de nuance, subjectiviteit en consistentie van menselijk expertoordeel te repliceren, met name bij complexe, domeinspecifieke taken.

Dit artikel adresseert dit gat door de introductie van EuroExec, een benchmark die ontworpen is om frontier LLM's te evalueren op open Europese executieve besluitvormingstaken, en door de menselijke expert-evaluaties rigoureus te vergelijken met automatische metrieken.

2. Methodologie

2.1 De EuroExec Benchmark

De auteurs hebben een dataset samengesteld van 413 open, langvormige vragen geformuleerd door 47 gecertificeerde domeinexperts met bewezen professionele ervaring in Europa. De vragen zijn verdeeld over vier domeinen:

• Finance (74 vragen)
• Marketing (85 vragen)
• Business (113 vragen)
• Product (141 vragen)

Vraagformulering:
Elk item is een op zichzelf staand, doelgericht scenario (ca. 200 woorden) dat een reële zakelijke situatie beschrijft met specifieke frictiepunten (bijv. regelgevende beperkingen, arbeidskosten, marktfragmentatie). Cruciaal is dat elke vraag wordt vergezeld door een checklist van 5–10 specifieke criteria (ground truth) waaraan een hoogwaardig antwoord moet voldoen.

Validatiepipeline:
Om te waarborgen dat de vragen de huidige modellen uitdagen en niet triviaal oplosbaar zijn door automatische systemen, werd een tweefasige validatiepipeline gehanteerd:

1. Automatische QA: Een LLM (Claude Sonnet 4.6) verwierp items op basis van criteria zoals hint-lekkage, relevantie van de checklist en veiligheid.
2. Difficulty Gate: Twee verschillende LLM's (Claude Haiku 4.5 als solver, Gemini Flash 3.5 als grader) probeerden de vragen op te lossen tegen de checklist. Vragen werden iteratief herschreven totdat de automatische vervullingsgraad onder de 60% drempelwaarde zakte, om te garanderen dat de taken echt redeneren vereisten in plaats van patroonherkenning.

2.2 Modelselectie en Responsgeneratie

Zes frontier LLM's werden geëvalueerd via hun provider API's met standaard decoding-instellingen, zonder extra context of tools:

• Fable 5 (Anthropic)
• Claude Opus 4.8 (Anthropic)
• GPT-5.5 (OpenAI)
• Gemini 3.1 Pro (Google)
• GLM-5.2 (Zhipu AI)
• Mistral Large (Mistral AI)

2.3 Menselijk Evaluatieprotocol

De kern van de studie is een omvangrijke menselijke evaluatie-inspanning waarbij >4.000 experturen zijn besteed. Responsies werden geëvalueerd door twee onafhankelijke domeinspecifieke experts per vraag met behulp van drie instrumenten:

1. Rubric Score: Een 5-punts Likert-schaal over vijf attributen: Domein (feitelijke juistheid), Lokalisatie (Europese marktcontext), Redenering (logica), Communicatie (structuur voor executives) en Actiegerichtheid (concrete plannen).
2. Checklist Vervulling: Een binaire/partiële beoordeling van de vraag of de respons voldeed aan de specifieke criteria die in de checklist van de vraag waren opgenomen.
3. Voorkeursrangschikking: Een expliciete rangschikking van alle zes de model-responsen voor een gegeven vraag.

Geaggregeerde Metriek: De auteurs introduceerden de "Solve Rate" (SR). Een respons wordt als "opgelost" beschouwd als deze een gemiddelde rubric score $\ge$ 3.0 behaalt EN een checklist vervullingsgraad $\ge$ 60%.

2.4 Vergelijkende Analyse

De studie evalueerde ook:

• Human Baseline: Voor een subset van 33 vragen schreven experts ideale antwoorden, die blind werden geëvalueerd als een zevende "model".
• Automatische Metrieken: ROUGE-Lsum en BLEU scores werden berekend ten opzichte van de door experts geschreven antwoorden.
• AI Judges: Een onafhankelijke LLM (DeepSeek v4-Pro) werd gebruikt om de volledige dataset te evalueren met dezelfde drie instrumenten om de betrouwbaarheid van "LLM-as-a-Judge" te testen.

3. Belangrijkste Resultaten

3.1 Prestatiekloof

De resultaten tonen een significante prestatiekloof tussen frontier modellen en menselijke experts:

• Menselijke Experts: Behaalden een Solve Rate van 92,4% en een checklist vervullingsgraad van 94,9%.
• Beste Frontier Model (Fable 5): Behaalde slechts een Solve Rate van 56,9% en 61,9% checklist vervulling.
• Voorkeursrangschikking: In blind uitgevoerd voorkeursonderzoek werden door mensen geschreven antwoorden in 74,24% van de gevallen verkozen boven elk model-antwoord.

Zelfs de sterkste modellen overschreden nauwelijks een Solve Rate van 50% op de makkelijkste subset van vragen, wat aangeeft dat ze nog ver verwijderd zijn van de professionele standaarden die vereist zijn voor executieve besluitvorming.

3.2 Dimensionale Analyse

• Redenering vs. Communicatie: Modellen presteerden over het algemeen beter op Communicatie en Lokalisatie (tekststructuur en lokale gebruiken), maar vertoonden hun zwakste prestaties in Redenering.
• Domeincorrelatie: Prestaties waren sterk gecorreleerd over domeinen heen, met uitzondering van Finance, waar GPT-5.5 onderpresteerde ten opzichte van zijn positie in andere domeinen, wat wijst op beperkingen in numeriek redeneren.
• Statistische Significantie: Pairwise t-tests bevestigden dat de rangschikking van modellen statistisch significant is ($p < 0,01$) met slechts 100 samples, en zeer significant ($p \approx 1,26 \times 10^{-6}$) met de volledige 413 items.

3.3 Evaluatieconsistentie

• Menselijke Consistentie: De inter-annotator overeenstemming was hoog, met name voor checklist-items. Hoewel subjectieve metrieken (rubric, voorkeur) goed met elkaar correleerden, bood de checklist een objectiever signaal dat consistent was tussen verschillende evaluatoren.
• AI Judges vs. Mensen: Hoewel de AI-judge (DeepSeek v4-Pro) een sterke correlatie vertoonde met menselijke rangschikkingen, slaagde het er niet in om de diversiteit en nuance van menselijke evaluatie te repliceren. De AI-judge had de neiging om topmodellen te overschatten en zwakkere modellen te onderschatten, waardoor het "crisp" evaluaties produceerde die de heterogeniteit van menselijke opinies misten.
• Automatische Metrieken: Traditionele metrieken (BLEU, ROUGE) vertoonden een zwakke correlatie met menselijke rubric scores en faalden in het accuraat voorspellen van model-rangschikkingen.

4. Belangrijkste Bijdragen

1. EuroExec Benchmark: Een nieuwe, door mensen gecreëerde benchmark van 413 complexe, open Europese executieve taken, ontworpen om professioneel oordeel te testen in plaats van kennisretentie.
2. Rigoureuze Menselijke Evaluatie: Een grootschalige studie die gebruikmaakt van >4.000 experturen om modellen over meerdere dimensies te evalueren, waarmee een nieuwe standaard wordt gesteld voor het evalueren van open generatie.
3. Empirisch Bewijs van Beperkingen: Kwantitatief bewijs dat zelfs de meest capabele frontier LLM's tekortschieten aan professionele standaarden in executieve besluitvorming, waarbij ze minder dan 60% van de taken oplossen vergeleken met >90% voor mensen.
4. Kritiek op Evaluatiemethodologie: Een demonstratie dat automatische metrieken en AI-judges onvoldoende substituten zijn voor menselijke evaluatie in taken met subjectieve grondwaarheden, omdat ze de noodzakelijke nuance en diversiteit van expertoordeel niet kunnen vatten.

5. Betekenis en Claims

Het artikel claimt dat voor open, professionele taken menselijke evaluatie onovertroffen blijft door huidige automatische methoden. De auteurs stellen dat het veld voorbij moet gaan aan closed-ended benchmarks die vatbaar zijn voor data contaminatie en moet vertrouwen op rigoureuze, mensgerichte evaluatie om de capaciteiten van generatieve modellen in real-world scenario's werkelijk te beoordelen.

De studie concludeert dat hoewel frontier modellen verbeteren, ze nog niet klaar zijn om menselijke experts te vervangen in cruciale executieve besluitvormingsprocessen. Bovendien leidt de afhankelijkheid van AI-judges of deterministische metrieken voor dergelijke taken tot misleidende conclusies over de capaciteiten van modellen. De auteurs benadrukken dat de "Solve Rate" metriek, afgeleid van menselijk oordeel, een eerlijker en betrouwbaarder maat voor vooruitgang biedt in dit domein.

Erkende Beperkingen:

• De studie is zeer arbeidsintensief, wat de hoeveelheid door experts geschreven ideale antwoorden beperkt (slechts 33 van de 413).
• Reproductie is uitdagend vanwege de kosten en coördinatie die nodig zijn voor menselijke evaluatie.
• De analyse richt zich op zelfstandige, feitelijke scenario's en behandelt nog geen taken met lage kwaliteit of onzekere data (bijv. gezondheidszorg).
• Slechts één LLM werd getest als AI-judge, hoewel de auteurs geloven dat de bevindingen representatief zijn voor de klasse van AI-judges.