APEX-Agents

Titel: APEX–Agents: Een Benchmark voor AI-Agenten in Professionele Diensten

1. Het Probleem

Huidige evaluaties van AI-agenten lijden onder een groot "sim-to-real" gat. Bestaande benchmarks zijn vaak te beperkt in scope, sterk geconstrueerd en bevatten slechts simpele taken. Ze vangen niet hoe professionals (zoals analisten, consultants en advocaten) dagelijks werken. Er is een dringende behoefte aan een evaluatieframework dat kan bepalen of AI-agenten complexe, langdurige taken kunnen uitvoeren in realistische werkomgevingen met bestanden en tools, specifiek binnen de sector van professionele diensten.

2. Methodologie

De auteurs introduceren APEX–Agents, een nieuwe benchmark ontworpen om de prestaties van frontier AI-agenten te testen in realistische professionele scenario's.

• Opbouw van de Benchmark:

  • Werelden (Worlds): De benchmark bestaat uit 33 unieke "werelden", gebaseerd op projectscenario's gecreëerd door experts (investments banking, management consulting, corporate law). Elke wereld bevat gemiddeld 166 bestanden en toegang tot 9 applicaties (zoals Calendar, Chat, Code Execution, Documents, Spreadsheets, Presentaties, etc.). Sommige werelden hebben ook toegang tot specifieke marktdataplatforms (EDGAR SEC).
  • Taken: Er zijn in totaal 480 taken verdeeld over de drie beroepsgroepen (160 per groep). Deze taken zijn "long-horizon" (gemiddeld 1,82 uur om te voltooien) en vereisen redenering, kennis van meerdere applicaties en planning. Taken variëren van het beantwoorden van vragen tot het maken of bewerken van bestanden (spreadsheets, documenten, presentaties).
  • Data-Generatie: 256 experts (met een gemiddelde ervaring van 12,9 jaar) hebben bijgedragen aan het creëren van scenario's, het bouwen van werelden, het definiëren van taken en het opstellen van beoordelingsrubrieken (rubrics) en "gold outputs" (ideale antwoorden).

• Evaluatie-Infrastructuur (Archipelago):

  • De auteurs hebben Archipelago ontwikkeld, een open-source infrastructuur voor de uitvoering en evaluatie van agenten.
  • Judge Model: Een model (Gemini 3 Flash) fungeert als beoordelaar. Het beoordeelt de output van de agent tegen de rubriekcriteria. De judge ziet de agent-trajecten niet tijdens het beoordelen om zelfverwijzing (self-preference) te minimaliseren.
  • Metrics: De primaire metric is Pass@1 (het percentage taken waarbij de agent in één poging aan alle criteria voldoet). Daarnaast worden Pass@8, Pass^8 (consistentie over 8 pogingen) en de gemiddelde score per criterium gerapporteerd.

• Experimenteel Opzet:

  • Acht modellen werden getest (4 gesloten bron, 4 open source).
  • Elke agent voerde elke taak 8 keer uit, wat resulteerde in 30.720 trajecten.
  • Een maximum van 250 stappen per taak werd ingesteld; trajecten die dit overschreden werden als mislukt beschouwd.

3. Belangrijkste Bijdragen

1. APEX–Agents Benchmark: Een dataset van 480 complexe, realistische taken voor professionele diensten, gebaseerd op echte workflows en bestanden.
2. Archipelago Infrastructuur: Een open-source platform voor het uitvoeren en evalueren van agenten in gecontroleerde omgevingen.
3. Uitgebreide Evaluatie: Een rigoureuze evaluatie van 8 state-of-the-art modellen, inclusief analyse van tokengebruik, tool-gebruik en faalpatronen.
4. Open Science: De volledige dataset (prompts, rubrieken, gold outputs, metadata) en de infrastructuur zijn open-source beschikbaar gesteld onder een CC-BY licentie.

4. Resultaten

De resultaten tonen aan dat er nog aanzienlijke ruimte voor verbetering is, zelfs voor de meest geavanceerde modellen:

• Top Prestaties (Pass@1):

  • Gemini 3 Flash scoort het hoogst met 24,0%.
  • GPT-5.2 volgt met 23,0% (het verschil is statistisch niet significant).
  • Claude Opus 4.5 en Gemini 3 Pro scoren beide 18,4%.
  • Open-source modellen (GPT-OSS-120B, Kimi K2 Thinking) presteren aanzienlijk slechter, met scores onder de 5%.

• Consistentie en Capabiliteit:

  • Pass@8: Wanneer agenten 8 pogingen krijgen, stijgt de score voor GPT-5.2 naar 40,0%. Dit toont aan dat agenten de taken kunnen uitvoeren, maar inconsistent zijn.
  • Pass^8: De kans dat een agent alle 8 pogingen succesvol maakt, is zeer laag (maximaal 13,4% voor Gemini 3 Flash), wat wijst op een gebrek aan betrouwbaarheid.
  • Gemiddelde Score: Zelfs bij mislukte taken behalen agenten vaak een deelscore (gemiddeld ~39,5% voor de topmodellen), wat aangeeft dat ze nuttige, zij het onvolledige, output genereren.

• Foutanalyse:

  • Timeouts: Open-source modellen en Kimi K2 Thinking lopen vaker vast in "doom loops" (herhaalde onproductieve stappen), wat leidt tot hoge timeout-percentages (tot 29,8%).
  • Tool Gebruik: Succesvolle trajecten gebruiken over het algemeen minder stappen en minder tool-aanroepen dan mislukte trajecten. Gemini 3 Flash gebruikt echter bijna 5x meer tokens dan GPT-5.2, wat wijst op inefficiëntie ondanks de hoge prestaties.
  • Bestandsuitvoer: Agenten scoren lager op taken die het maken of bewerken van bestanden vereisen vergeleken met tekstuele antwoorden.

5. Betekenis en Conclusie

Het paper concludeert dat AI-agenten de capaciteit hebben om complexe taken in professionele diensten uit te voeren, maar dat ze momenteel niet betrouwbaar genoeg zijn voor volledige automatisering in de echte wereld. De lage Pass@1-scores (onder de 25% voor de beste modellen) benadrukken dat er nog veel werk aan de winkel is voordat deze systemen kunnen worden ingezet als "on-demand experts".

De belangrijkste implicaties zijn:

• Realistische Evaluatie: Simpele benchmarks zijn niet voldoende; evaluaties moeten plaatsvinden in omgevingen met bestanden, tools en lange tijdshorizons.
• Inconsistentie: Het grootste obstakel is niet het ontbreken van capaciteit, maar de inconsistentie in uitvoering.
• Toekomst: De open-source aard van APEX–Agents en Archipelago stelt de onderzoeksgemeenschap in staat om deze problemen aan te pakken en de volgende generatie agenten te ontwikkelen die daadwerkelijk waarde kunnen toevoegen aan kenniswerk.