Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation

Dit paper introduceert XpertBench, een hoogwaardig benchmark met 1.346 door experts samengestelde taken en een nieuwe evaluatiemethode genaamd ShotJudge, om de beperkte vaardigheden van huidige grote taalmodellen in complexe, professionele domeinen te kwantificeren en de kloof tussen algemene assistenten en gespecialiseerde professionele collaborators te benadrukken.

De kern

Stel je voor dat je een nieuwe, superintelligente robot hebt die alles kan lezen en schrijven. Tot nu toe hebben we deze robot getest met simpele quizvragen, zoals "Wie was de eerste president van de VS?" of "Wat is 2+2?". De robot scoort hier perfect op, alsof hij een schoolmeester is die alle antwoorden uit zijn hoofd kent.

Maar hier is het probleem: In het echte leven werken experts niet met quizvragen. Een arts moet een complex ziektebeeld diagnosticeren, een advocaat moet een lastig contract opstellen, en een leraar moet een lesplan maken dat werkt voor twintig verschillende kinderen. Dit zijn geen vragen met één goed antwoord; het zijn openbare, chaotische puzzels.

Het papier dat je hierboven ziet, introduceert XpertBench. Dit is een nieuwe, veel zwaardere test voor deze robots, gemaakt door ByteDance Seed.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. De "Schooltest" vs. De "Werkplek"

Tot nu toe testten we AI's alsof ze op school zaten. Ze kregen een examen met meerkeuzevragen. Ze haalden 100%, maar dat betekent niet dat ze klaar zijn om een ziekenhuis te runnen.

XpertBench is alsof we de robot niet naar school sturen, maar direct naar de werkvloer van een expert.

• De opgave: In plaats van "Wat is de hoofdstad van Frankrijk?", krijgen ze een opdracht als: "Je bent een senior financieel analist. Analyseer twee luchtvaartbedrijven en leg uit waarom de ene beter presteert dan de andere, gebaseerd op hun cijfers van het afgelopen jaar."
• De moeilijkheid: Er is geen antwoordlijntje. De robot moet zelf nadenken, zoeken, redeneren en een oplossing bedenken die echt werkt.

2. De "Chef-koks" (De Experts)

Hoe weet je of de robot een goede oplossing heeft bedacht? Je kunt niet zomaar een andere robot vragen of het goed is; die zou kunnen liegen of domme fouten maken.

Daarom heeft het team 1.000 echte experts ingehuurd. Denk aan:

• Artsen met een medische licentie.
• Advocaten met een diploma.
• Leraars en ingenieurs.

Deze mensen zijn als de "gouden chef-koks" in de keuken. Ze hebben de recepten (de taken) zelf geschreven op basis van hun dagelijkse werk. Ze weten precies wat een goed resultaat is.

3. De "Scorekaart" (Rubrics)

In het verleden keken we alleen naar het eindresultaat: "Is het antwoord goed? Ja/Nee."
Bij XpertBench kijken we naar hoe de robot het gedaan heeft.

Stel je voor dat je een taart bakt.

• Oude methode: "Is de taart gaar? Ja. Punt: 10/10." (Zelfs als hij verbrand is of te zoet).
• XpertBench methode: We hebben een gedetailleerde scorekaart met 15 tot 40 punten.
  • Heeft hij de juiste ingrediënten gebruikt? (Ja/Nee)
  • Is de temperatuur goed? (Ja/Nee)
  • Is de presentatie netjes? (Ja/Nee)
  • Is de smaak in balans? (Ja/Nee)

Elk punt heeft een gewicht. Als je de suiker vergeet (een essentieel punt), krijg je een nul, zelfs als de taart er mooi uitziet. Dit zorgt ervoor dat de robot niet kan "sjoemelen" met een mooi verhaal als de feiten niet kloppen.

4. De "Oordeelkundige Robot" (ShotJudge)

Nu komt het slimme deel. We kunnen niet 1.000 experts vragen om elke robotopdracht te beoordelen; dat kost te veel tijd en geld.

Dus hebben ze een nieuwe robot-judge bedacht, genaamd ShotJudge.

• Hoe werkt het? Stel je voor dat je een leerling wilt beoordelen. Je geeft de robot-judge een voorbeeld: "Kijk, dit is een perfect antwoord van een menselijke expert. Kijk hoe hij redeneert en welke punten hij maakt."
• Dan laat je de robot-judge een nieuw antwoord beoordelen, gebaseerd op dat ene voorbeeld.
• Hierdoor leert de robot-judge precies hoe een menselijke expert denkt, zonder dat we duizenden mensen hoeven te betalen voor elke test. Het is alsof je een robot traint met een "gouden voorbeeld" zodat hij net zo streng en eerlijk oordeelt als een mens.

5. Wat hebben ze ontdekt? (De resultaten)

Toen ze de beste AI's van vandaag de dag (zoals GPT en Claude) op deze test lieten, was het resultaat verrassend:

• Geen superhelden: Zelfs de slimste robots halen maar een 66% (ongeveer een 6,5 of 7). Dat klinkt goed, maar voor een "expert" is dat nog steeds veel fouten.
• Specialisten, geen alles-kunners:
  • De ene robot is een financieel genie (haalt 84% in financiën), maar faalt totaal in wiskunde.
  • De andere robot is een juridisch expert, maar kan geen lesplan maken.
  • Er is nog geen enkele robot die in alles expert is.
• De valkuil: Veel robots raken in de war als ze te veel informatie op internet moeten zoeken. Ze beginnen dan te "hallucineren" (verzonnen feiten) of raken afgeleid door onbelangrijke details, net als iemand die tijdens een sollicitatiegesprek begint te praten over het weer in plaats van zijn ervaring.

Conclusie

XpertBench is een waarschuwing en een kompas.
Het zegt: "Stop met denken dat AI's al klaar zijn. Ze zijn goed in schooltesten, maar in het echte, complexe werk van experts (artsen, advocaten, ingenieurs) zijn ze nog niet zo ver."

Het is een nieuwe meetlat die ons helpt te zien waar we nog moeten werken, zodat AI's in de toekomst niet alleen slimme quizzen kunnen doen, maar echt kunnen helpen bij het oplossen van de moeilijke problemen van de mensheid.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor Large Language Models (LLMs), zoals MMLU-Pro of GPQA, vertonen een toenemende verzadiging en falen om de werkelijke vaardigheden van AI-systemen in complexe, open-ended professionele taken te meten. De huidige evaluatieparadigma's hebben drie fundamentele tekortkomingen:

1. Gebrek aan ecologische validiteit: Ze testen vaak statische kennis of gesloten vragen met één juist antwoord, terwijl echte experttaken (bijv. in juridische, medische of financiële domeinen) vaag, niet-gestructureerd en multi-staps zijn.
2. Beperkte domeinbreedte: Veel benchmarks focussen op STEM of algemene kennis, maar negeren kritieke sectoren zoals onderwijs, geesteswetenschappen en geavanceerde diensten.
3. Vooroordelen in evaluatie: Bestaande methoden vertrouwen vaak op "LLM-as-a-judge" systemen die last hebben van zelfversterkende bias (self-rewarding) of te generieke, grove beoordelingscriteria (zoals Likert-schalen) gebruiken die de nuance van professionele kwaliteit missen.

Methodologie

De auteurs introduceren XpertBench, een hoogwaardige benchmark ontworpen om LLMs te evalueren op authentieke, end-to-end expertwerkstromen. De aanpak bestaat uit vier pijlers:

1. Dataverzameling en Expert Curation

• Bron: De dataset bevat 1.346 zorgvuldig samengestelde taken afkomstig van meer dan 1.000 echte experts (onderzoekers van topuniversiteiten en praktijkmensen zoals artsen, advocaten, CFO's en docenten).
• Domeinen: De taken dekken 80 categorieën binnen zeven professionele domeinen: Financiën, Gezondheidszorg, Juridische Diensten, Onderwijs, STEM (Natuurwetenschappen & Techniek), Informatica & Wiskunde, en Geesteswetenschappen & Sociale Wetenschappen (HSS).
• Kwaliteitscontrole: Experts doorlopen een strikt kwalificatieproces (examen + proefannotatie). Taken worden gefilterd op discriminatievermogen (moet moeilijk zijn voor huidige SOTA-modellen) en realisme.

2. Rubric-gebaseerde Evaluatie (Rubrics)
In plaats van simpele "juist/fout" scores, gebruikt XpertBench gedetailleerde beoordelingsrubrics voor elke taak:

• Granulariteit: Elke taak heeft 15 tot 40 gewichte checkpoints.
• Objectiviteit: Checkpoints zijn ontworpen als objectieve stellingen die als TRUE of FALSE kunnen worden beoordeeld (geen subjectieve schalen).
• Dubbele Weging: Elke checkpoint krijgt een kwalitatieve classificatie (Essentieel, Belangrijk, Optioneel) en een kwantitatieve weging (1-10) op basis van professioneel oordeel.
• Dimensies: Beoordeling vindt plaats op 15+ dimensies, waaronder instructievolging, feitelijke nauwkeurigheid, logische coherentie, domeinexpertise en veiligheid.

3. ShotJudge: Het Evaluatiekader
Om schaalbaarheid te combineren met menselijke nauwkeurigheid, introduceren de auteurs ShotJudge:

• Principe: Een LLM-judge (in dit geval Gemini 2.5 Pro) wordt gekalibreerd met few-shot voorbeelden van menselijke experts.
• Proces: De judge ziet de taak, de rubric, en een voorbeeld van een antwoord van een baseline-model (GPT-5) met de bijbehorende expert-annotaties en redeneringen.
• Doel: Dit minimaliseert de "self-rewarding bias" van LLM-judges door hen te trainen op menselijke redeneerpatronen in plaats van hun eigen trainingsdistributie.
• Validatie: De methode toont een hoge consistentie met menselijke experts (gemeten via Consistency minus Discordance Rate - CDR).

4. Experimenteel Opzet
De benchmark werd gebruikt om 12 state-of-the-art modellen te evalueren (o.a. Claude-Opus-4.6-thinking, GPT-5.4-high, Doubao-2.0-pro) op een gouden subset (N=245).

Belangrijkste Resultaten

De experimentele resultaten onthullen een aanzienlijke "expert-gap" tussen huidige AI-systemen en menselijke expertniveau:

1. Prestatieplafond: Zelfs de leidende modellen bereiken een pieksuccesrate van slechts 66,20% (Claude-Opus-4.6-thinking). De gemiddelde score ligt rond de 55%. Dit betekent dat de meeste modellen falen in complexe, professionele workflows.
2. Domein-specifieke Specialisatie: Er is geen "alles-in-één" expertmodel. Modellen tonen sterke divergentie:
   • GPT-5.4-high domineert in Financiën (84,65%) maar scoort slechter in STEM (42,84%).
   • Claude-Opus-4.6-thinking excelleert in Recht en Geesteswetenschappen (83,02% in HSS).
   • Dit suggereert dat modelkeuze sterk afhankelijk is van het specifieke domein.
3. Foutpatronen: De analyse identificeerde kritieke faalmodi:
   • Retrieval Interference: Persistent web-browsen leidt vaak tot ruis die de analytische trajecten verstoort.
   • Principe Hallucinaties: Een fundamenteel conceptueel foutje aan het begin van een taak cascadeert, waardoor de hele redeneringsketen logisch onhoudbaar wordt.
   • Logica vs. Creativiteit: Modellen worstelen vaak met strikte formele logica in STEM-taken, terwijl ze beter presteren in linguïstische synthese.

Bijdragen

De paper levert drie fundamentele bijdragen aan het veld:

1. XpertBench (Benchmark): Een ongekend groot, multi-domein dataset met 1.346 taken die de diepte en breedte van expert-evaluatie aanzienlijk uitbreidt, met een sterke focus op ecologische validiteit.
2. ShotJudge (Methodologie): Een robuust evaluatiekader dat menselijke expert-rubrics combineert met few-shot gekalibreerde LLM-judges, waardoor schaalbare maar mens-gealigneerde beoordeling mogelijk wordt.
3. Diagnostiek van Frontier Modellen: Diepgaande empirische inzichten in de beperkingen van huidige LLMs, die aantonen dat de overgang van "algemene assistenten" naar "gespecialiseerde professionele co-pilots" nog belemmerd wordt door gebrek aan robuust redeneren, domeinspecialisatie en hallucinaties.

Betekenis

XpertBench markeert een paradigmaverschuiving in de evaluatie van AI. Het beweegt de focus weg van statische kennis testen ("examens") naar het meten van praktische bruikbaarheid in real-world professionele contexten. De bevindingen dat zelfs de beste modellen slechts ~66% van de experttaken correct uitvoeren, onderstrepen dat er nog een significante kloof bestaat voordat AI-systemen betrouwbaar kunnen worden ingezet als onafhankelijke professionals in hoog-risico domeinen zoals gezondheidszorg, recht en financiën. Het biedt een cruciaal instrument voor onderzoekers en ontwikkelaars om de volgende generatie AI-systemen te sturen die gericht zijn op echte expert-competenties.