Technische Samenvatting: APEX–Accounting

Probleemstelling

Hoewel grote taalmodellen (LLM's) bekwaamheid hebben getoond in het behalen van professionele certificeringsexamens (bijv. CPA, CMA) en het verbeteren van de algemene werkkwaliteit, is er een gebrek aan benchmarks die hun vermogen beoordelen om het werkelijke, dagelijkse werk van accountants uit te voeren. Bestaande benchmarks zoals AuditBench, FinMaster en AccountingBench vertrouwen vaak op synthetische transacties, tekstgebaseerde simulaties of casestudy's van één enkel bedrijf, die er niet in slagen de repetitieve, procedurele en documentintensieve aard van de maandafsluiting en boekhouding te vatten. De auteurs stellen dat huidige evaluaties niet voldoende het "werkelijke werk" van accountants testen, wat het reconciliëren van rekeningen, het accrueren van kosten, het boeken van transacties en het opstellen van rapportages over diverse, complexe zakelijke contexten omvat.

Methodologie

Benchmark Ontwerp (APEX–Accounting)

APEX–Accounting is een gesloten benchmark ontwikkeld door Mercor in samenwerking met Ramp, bestaande uit 160 taken verspreid over 10 synthetisch gegenereerde bedrijfswerelden.

• Wereldconstructie: Elke wereld vertegenwoordigt een zelfstandig bedrijf dat bevroren is op het moment van de maandafsluiting, conform de Amerikaanse GAAP (accrual-basis boekhouding). Werelden werden in vier stadia geconstrueerd: scoping, gedetailleerde specificatie (inclusief "trap registers" voor ingezette tegenstrijdigheden), afleiding van de stijlgids en bestandsgeneratie. Alle bestanden (spreadsheets, PDF's, exports uit boekhoudsoftware) zijn nieuw en zijn gescreend tegen publieke bronnen om memorisatie te voorkomen.
• Taalcategorieën: De 160 taken zijn verdeeld in vier categorieën:
  1. Reconciliatie (61 taken): Het koppelen van twee bronnen, het identificeren van verschillen en het verklaren/corrigeren ervan.
  2. Gegevensinvoer (26 taken): Het boeken van transacties, journaalposten en facturen.
  3. Variantieanalyse (28 taken): Het vergelijken van werkelijke cijfers met budgetten of verwachtingen.
  4. Schedules & Accruals (45 taken): Het opstellen van schema's, het berekenen van accruals en het bijhouden van saldi.
• Betrokkenheid van Experts: 42 accountingexperts (mediaan 11 jaar ervaring, 52% afkomstig van de Big Four-kantoren) hebben de taken geautoriseerd, ze opgelost om "golden responses" te creëren, en binaire, op resultaten gebaseerde beoordelingsrubrieken geschreven. Elke taak bevat een prompt, vereiste invoerbestanden, een golden response en een rubric met gemiddeld 13,7 criteria.

Experimentele Opzet

• Geëvalueerde Modellen: Negen frontier-modellen werden getest, waaronder Claude-Fable-5, Muse-Spark-1.1, GPT-5.6-Sol en anderen. Elk model voerde elke taak 8 keer uit, wat resulteerde in 11.520 trajecten.
• Harnesses (Systemen): Er werden twee agent-harnesses gebruikt:
  • Loop Harness: Een standaard canonical while-loop-met-tools architectuur.
  • Ramp Harness: Een gespecialiseerde harness gebouwd met Ramp, voorzien van retry-awareness, tool allowlists, validatie en subagent-delegatie om de beperkingen van de echte wereld te spiegelen.
• Beoordeling: Een DeepSeek-v4-Flash model, geoptimaliseerd met een GEPA-prompt, diende als de rechter. Dit model werd gevalideerd tegen de menselijke expert ground truth (1.687 criteria) en behaalde een nauwkeurigheid van 97,1% (F1 = 0,970). De rechter evalueert de uiteindelijke output tegen binaire rubric-criteria zonder toegang tot het tussenliggende trajectlogboek.
• Metrieken:
  • Mean Criteria@3: De primaire metriek, die het gemiddelde percentage behaalde van de rubric-criteria over 3 willekeurig geselecteerde runs per taak.
  • Pass@k / Pass^k: Meet de capaciteitsplafond (Pass@8: minstens één keer slagen in 8 pogingen) en consistentie (Pass^8: alle 8 pogingen slagen).
  • Kostenablatie: Experimenten waarbij het tokenbudget varieert van $1 tot $50 per taak om de relatie tussen uitgaven en prestaties te analyseren.

Belangrijkste Resultaten

Leaderboard Prestaties

• Top Performer: Claude-Fable-5 (Max) behaalde de hoogste Mean Criteria@3 van 56,4%, gevolgd door Muse-Spark-1.1 (52,6%) en GPT-5.6-Sol (51,5%).
• Consistentiekloof: Ondanks de hoge Mean Criteria@3 scores blijft de consistentie extreem laag. Geen enkel model behaalde een Pass^8 score hoger dan 2,6% (GPT-5.6-Sol). De hoogste Pass@8 was 21,5% (Muse-Spark-1.1), wat aangeeft dat modellen een taak weliswaar incidenteel kunnen oplossen, maar dit niet betrouwbaar end-to-end kunnen doen.
• Categorie Moeilijkheidsgraad: "Schedules & Accruals" bleek de moeilijkste categorie, waarbij alle modellen 7–21 procentpunten lager scoorden dan in andere categorieën, wat wijst op de meerstapsige, op oordeel gebaseerde aard van deze taken.

Kosten- en Budgetanalyse

• Impact van Tokenbudget: Het verhogen van het budget van $1 naar $50 verbeterde de scores van dure modellen aanzienlijk (bijv. Claude-Fable-5 won +43,4 procentpunten), terwijl goedkopere modellen (bijv. Muse-Spark-1.1) minimale winst zagen.
• Simpson's Paradox: De studie observeerde een instantie van Simpson's Paradox: hoewel het verhogen van het totale budget de scores verhoogde, correleerden taken waarbij de modellen meer tokens verbruikten met lagere scores binnen een vast budget. Dit wordt toegeschreven aan de taakmoeilijkheid: moeilijkere taken verbruiken meer tokens maar blijven moeilijker op te lossen.
• Harness Impact: Het overschakelen van de standaard Loop Harness naar de gespecialiseerde Ramp Harness resulteerde in een verwaarloosbare gemiddelde verschuiving (+1,2 procentpunten), wat suggereert dat de modelcapaciteit een sterkere drijfveer is voor prestaties dan de specifieke agent-architectuur voor deze taken.

Foutanalyse

Analyse van de laag scorende trajecten van de top drie modellen onthulde een opvallend vergelijkbaar foutprofiel:

• Redenering: Redeneerfouten waren verantwoordelijk voor 59–79% van alle geannoteerde fouten.
• Specifieke Foutmodi: De meest voorkomende sub-fouten waren niet-numerieke redenering (het toepassen van foutieve logica op niet-numerieke gegevens) en gegevensverwerkingsfouten (onjuist filteren, joinen of aggregeren).
• Informatie vs. Logica: Modellen vonden betrouwbaar de juiste invoerbestanden (fouten in het verzamelen van informatie waren zeldzaam). De primaire foutmodus was het onjuist afhandelen van meerstapsredeneringen over die inputs: het vervangen van de juiste autorisatielogica, het laten vallen van correcte tussenresultaten, of het niet doorvoeren van conclusies naar het uiteindelijke antwoord.
• Toolgebruik: Geen enkele geannoteerde fout betrof fouten in het gebruik van tools, wat suggereert dat huidige agent-architecturen voldoende zijn voor tool-interactie, maar dat de onderliggende redeneerkracht de bottleneck is.

Betekenis en Claims

Het artikel claimt dat APEX–Accounting de eerste rigoureuze beoordeling biedt van frontier-modellen op werkelijke accounting-workflows, waarbij de focus verschuift van certificeringsexamens naar praktische toepassing.

• Huidige Beperkingen: De resultaten geven aan dat hoewel frontier-modellen informatie kunnen ophalen en geïsoleerde stappen kunnen uitvoen, ze nog niet in staat zijn om de boeken ongesuperviseerd te sluiten. De lage Pass^8 scores (max 2,6%) benadrukken een aanzienlijke kloof tussen "capaciteitsplafond" en "betrouwbare inzetbaarheid".
• Toekomstige Richting: De auteurs stellen dat vooruitgang waarschijnlijk minder zal komen van het verbeteren van agent-harnesses (die minimale impact lieten zien) en meer van het verbeteren van de modellen zelf. Specifiek suggereren zij de noodzaak voor accounting-specifieke training om de discipline te instillen die nodig is om meerstapsresultaten door te voeren, tegenstrijdigheden in documenten te signaleren en te weigeren boekingen te maken zonder voldoende bewijs.
• Nut van de Benchmark: Als een gesloten benchmark maakt APEX–Accounting het mogelijk om elk frontier-model op verzoek te evalueren, wat een gestandaardiseerde metriek biedt voor de industrie om de voortgang bij het automatiseren van geschoolde kennisarbeid te volgen.