Technische Samenvatting: Ontwerp en Rapportage van Benchmarkresultaten voor Kenniswerk

Probleemstelling

De snelle ontwikkeling van agents op basis van Large Language Models (LLM) heeft het toepassingsgebied van AI-evaluatie uitgebreid tot "kenniswerk"—arbeid waarbij kennis zowel input als output is, waaronder domeinen zoals programmeren, onderzoek, gezondheidszorg en administratie. Echter, het huidige ontwerp van benchmarks en de evaluatielogica houden grotendeels vast aan traditionele paradigma's van Natural Language Processing (NLP). Deze paradigma's evalueren doorgaans afgebakende input-output-gedragingen (bijvoorbeeld het genereren van antwoorden, samenvatten, ophalen) in plaats van de productie van werkartefacten binnen situatiespecifieke workflows.

Hierdoor ontstaat er een misalignement tussen benchmarkcijfers en de bredere claims over werkcapaciteiten die ermee worden onderbouwd. Een hoge score op een componenttaak (bijvoorbeeld het ophalen van een document) geeft niet betrouwbaar aan of een systeem in staat is de volledige kenniswerkactiviteit uit te voeren (bijvoorbeeld klinische triage of juridische analyse). Deze inferentie is fragiel omdat de betekenis van een output van kenniswerk sterk afhankelijk is van de rol, het materiaal, de setting en de downstream-workflow waarin het wordt geproduceerd. Huidige benchmarks specificeren deze contextuele beperkingen vaak niet, wat leidt tot scores die niet betrouwbaar claims kunnen ondersteunen over capaciteiten voor implementatie in de echte wereld.

Methodologie

Het artikel stelt een ontwerp- en rapportagekader in drie stappen voor om benchmarkresultaten expliciet te koppelen aan specifieke werkclaims. Deze aanpak is gebaseerd op werkstudies, theorie over situatiespecifiek handelen en validiteitstheorie, met de nadruk dat kenniswerk wordt georganiseerd via rollen, lokale materialen en artefacten die bruikbaar moeten zijn in downstream-workflows.

1. Definieer de Werkactiviteit

De auteurs betogen dat de reikwijdte van een benchmark moet worden gedefinieerd door "werkactiviteit" in plaats van brede domeinen (bijvoorbeeld "gezondheidszorg") of nauwe componenttaken (bijvoorbeeld "samenvatten"). Om dit operationeel te maken, leidt het artikel een inventaris van 18 werkactiviteiten over beroepen heen af uit de O*NET-beroepstaken-database (Job Zones 3–5).

• Afleidingsproces: Beginnend met 18.796 O*NET-taakverklaringen, filterden de auteurs op beroepen in kenniswerk, verwijderden ze handmatige/routinematige taken en behielden ze 12.464 verklaringen. Een strengere screening voor "opname in de atlas" leverde 8.372 verklaringen op, die werden herschreven in beroepsneutrale zinnen, ingebed, geclusterd (met behulp van UMAP en HDBSCAN) en geconsolideerd via een expertpanelreview.
• Resultaat: Er werden 18 onderscheiden werkactiviteiten geïdentificeerd (bijvoorbeeld analyse, administratie, ontwerp, inspectie, storingopsporing, administratie, coördinatie, advisering, onderzoek). Deze dienen als rapportage-eenheid voor benchmarkclaims.

2. Specificeer de Geteste Setting

Het kader vereist dat benchmarks de omstandigheden waaronder de werkactiviteit wordt geëvalueerd, expliciet definiëren. De validiteit van de score is afhankelijk van vier dimensies:

• Materialen: De beschikbare artefacten (documenten, tools, databases) en of deze irrelevante items bevatten of vereisen dat het systeem ze vindt.
• Tools: De capaciteiten die aan het systeem worden verleend (zoeken, bewerken, berekenen, API-aanroepen) en of tool-statussen behouden blijven.
• Rol en Reikwijdte: De specifieke rol die het systeem speelt, zijn besluitgrenzen en escalatieprotocollen.
• Workflowstatus: Het specifieke stadium van de workflow dat wordt getest (bijvoorbeeld eerste opzet versus review versus overdracht) en de vereiste status na voltooiing.

3. Scoreer het Juiste Werkproduct

Scoring moet focussen op het "werkproduct"—het object dat door het systeem wordt achtergelaten voor review, archivering, uitvoering of downstream-voortzetting—in plaats van alleen de zichtbare inhoud (bijvoorbeeld een chatreactie).

• Ontwerp van de Rubriek: Evaluatiecriteria moeten worden afgeleid uit de vereisten van het werkproduct, waarbij wordt gecontroleerd:
  1. Of het resultaat de juiste materialen heeft gebruikt.
  2. Of het resultaat heeft voldaan aan de toegewezen rol en workflowbeperkingen.
  3. Of het resultaat de nodige informatie heeft achtergelaten voor downstream-actoren (bijvoorbeeld traceerbare citaten, overdrachtsnotities, statuswijzigingen).
• Beperking van Claims: De "Onderbouwde Claim" wordt gedefinieerd als de sterkste claim die een score kan ondersteunen, gezien de specifieke activiteit, setting en het geteste product.

Belangrijkste Bijdragen

1. Een Rapportagestructuur in Drie Stappen: Een geformaliseerde aanpak voor benchmarkontwerp die verplicht tot expliciete definities van de werkactiviteit, de geteste setting en het gescoreerde werkproduct om oververalgemeende claims over capaciteiten te voorkomen.
2. Inventaris van Werkactiviteiten Gebaseerd op O*NET: Een voorlopige inventaris van 18 terugkerende werkactiviteiten, afgeleid van O*NET-taakverklaringen, die een gestandaardiseerde vocabulaire biedt voor benchmarkontwerpers om taken te koppelen aan specifieke werkclaims.
3. Kader voor Casusanalyse: De toepassing van dit kader op drie bestaande benchmarks om aan te tonen hoe ontwerpkiezen de ondersteunde claims vormgeven:
   • GDPVAL: Een benchmark voor niet-code-beroepsleveringen. De analyse toont aan dat het claims ondersteunt over het produceren van specifieke compliance-leveringen onder vaste prompts, maar geen bewijs biedt voor integratie in downstream-workflows.
   • OFFICEQA PRO: Een benchmark voor grondige documentanalyse. De analyse onthult dat het claims ondersteunt over grondige numerieke analyse, maar faalt in het scoren van de redeneertrace van de analist of het bewijspakket, waardoor claims over documentherzieningswerk beperkt blijven.
   • APEX-SWE: Een benchmark voor software-engineering. De analyse toont aan dat het claims ondersteunt over het voltooien van integratietaken in een specifieke omgeving, maar geen dekking biedt voor productie-implementatie, code-review of langetermijnonderhoud.

Resultaten en Bevindingen

Het artikel presenteert geen nieuwe experimentele prestatiedata, maar eerder een structurele analyse van bestaande benchmarks. De casestudies tonen aan dat:

• Identificatie van Gaten: De meeste benchmarks een "proxy" scoren (bijvoorbeeld een definitief antwoord of een code-patch) in plaats van het volledige "werkproduct" (bijvoorbeeld een herzien document met traceerbare wijzigingen of een geïmplementeerd systeem met rollback-procedures).
• Grenzen van Claims: Huidige benchmarks ondersteunen vaak nauwe claims (bijvoorbeeld "kan een patch genereren die tests doorstaat"), maar worden frequent geïnterpreteerd als bredere claims (bijvoorbeeld "kan software-engineering uitvoeren"). Het voorgestelde kader verduidelijkt deze grenzen.
• Nuttigheid van de Inventaris: De inventaris van 18 werkactiviteiten koppelt succesvol aan diverse benchmarks, wat aan het licht brengt dat veel huidige evaluaties slechts gedeeltelijk specifieke activiteiten bestrijken (bijvoorbeeld het gebruik van "ophalen" als proxy voor "onderzoek" zonder het testen van selectie of reconstructie van bewijs).

Betekenis en Claims

Het artikel bescheiden claimt een minimale rapportagestructuur te bieden om benchmarkresultaten voor kenniswerk gekoppeld te houden aan het werk dat ze daadwerkelijk vertegenwoordigen. Het claimt niet om implementatiebewijs te vervangen of een complete theorie van benchmarkkwaliteit te bieden.

• Interpreteerbaarheid: De primaire betekenis ligt in het expliciet maken van het bewijs dat door een benchmarkscore wordt geleverd. Door aan te geven welke activiteit wordt getest, onder welke setting en welk product wordt gescoord, kunnen belanghebbenden beter interpreteren wat een score impliceert over de capaciteit van een systeem in de echte wereld.
• Voorkomen van Overclaimen: Het kader beoogt "te brede claims over capaciteiten" te verminderen door benchmarkrapporten te dwingen tot erkenning van de gaten tussen de geteste taak en de bredere werkclaim.
• Toekomstige Richting: De auteurs suggereren dat toekomstige benchmarks moeten evolueren naar het directer scoren van werkproducten (bijvoorbeeld uitvoerbare statuswijzigingen, gereviseerde artefacten) en dat de inventaris van werkactiviteiten moet worden behandeld als een startpunt voor herziening en uitbreiding op basis van waargenomen workflows en professionele standaarden.

Het artikel concludeert dat hoewel implementatiestudies noodzakelijk blijven voor claims over productiviteit en organisatorische waarde, benchmarks een onderscheiden rol vervullen als publiek, reproduceerbaar en vergelijkbaar bewijs voorafgaand aan implementatie. Dit bewijs is het meest nuttig wanneer de beperkingen met betrekking tot werkactiviteit, setting en product expliciet worden vermeld.