Technische Samenvatting: Agentick: Een Unificerend Benchmark voor Algemene Agenten voor Sequentiële Besluitvorming

Probleemstelling

Onderzoek naar autonome agenten beslaat een breed spectrum, variërend van diepe versterkingsleer (RL)-agenten die vanaf nul leren tot foundation model (FM)-agenten (LLM's en VLM's) die gebruikmaken van vooraf getrainde wereldkennis. Ondanks deze diversiteit bestaat er een kritieke kloof: geen enkele unificerende benchmark maakt een eerlijke vergelijking mogelijk tussen deze paradigma's. Bestaande benchmarks zijn doorgaans ontworpen voor specifieke agenttypen (bijvoorbeeld pixelgebaseerde omgevingen voor RL of tekstgebaseerde spellen voor LLM's), waardoor het onmogelijk is om te evalueren of een combinatie van interactiegebaseerd leren en vooraf getrainde kennis noodzakelijk is voor het bouwen van volledig capabele agenten. Bovendien ontbreekt het aan huidige benchmarks vaak aan de infrastructuur om training te ondersteunen, worden capaciteiten niet opgesplitst in specifieke dimensies, of worden geen gestandaardiseerde observatiemodaliteiten geboden die architecturale bias voorkomen.

Methodologie: De Agentick Benchmark

De auteurs presenteren Agentick, een benchmark die vanaf de grond af is ontworpen om een eerlijke evaluatie te ondersteunen over het volledige spectrum van agentontwerp (RL, LLM, VLM, hybride en menselijke agenten). De benchmark is gebaseerd op vier leidende principes:

1. Paradigma-universaliteit: Elke taak onthult vijf gesynchroniseerde observatiemodaliteiten gelijktijdig:

   • ASCII-tekstroosters (voor LLM's).
   • Beschrijvingen in natuurlijke taal.
   • Gestructureerde dictionaries.
   • 512×512 isometrische pixelweergaven (voor VLM's en CNN-gebaseerde RL).
   • Ruwe numpy-staatarrays (voor programmeerbare agenten).
     Dit zorgt ervoor dat geen enkel agenttype wordt benadeeld door het invoerformaat.

2. Capaciteitsontleding: In plaats van één geaggregeerde score wordt de evaluatie opgesplitst over zes capaciteitscategorieën:

   • Navigatie (8 taken)
   • Planning (9 taken)
   • Redeneren (8 taken)
   • Geheugen (4 taken)
   • Generalisatie (3 taken)
   • Coördinatie van multi-agenten (5 taken)
     Dit maakt "radargrafiek"-profielen mogelijk om specifieke sterktes en zwaktes te identificeren.

3. Ontwerp gericht op training: De benchmark bevat een Coding API voor programmeerbare taakinteractie, oracle-referentiebeleid voor alle 37 taken, en vooraf gebouwde Supervised Fine-Tuning (SFT)-datasets (120k–500k oracle-episodes) beschikbaar op HuggingFace. Omgevingen zijn vectoriseerbaar voor parallelle RL-training.

4. Gereguleerde moeilijkheidsgraad: Taken hebben vier moeilijkheidsniveaus (gemakkelijk tot expert) en worden procedueel gegenereerd om unieke lay-outs bij elke seed te garanderen, waarbij roostergrootte, complexiteit van beperkingen en episode-lengte worden geschaald.

Evaluatiemaatstaf: De primaire maatstaf is de Oracle-Gegenormaliseerde Score (ONS):
$$ONS = \frac{\text{agent\_return} - \text{random\_baseline}}{\text{oracle\_return} - \text{random\_baseline}}$$
Dit normaliseert de prestatie ten opzichte van een willekeurige baseline en een sterk referentiebeleid (oracle), waardoor taakoverstijgende vergelijking mogelijk is.

Experimentele Opzet: De auteurs evalueerden 27 configuraties over 37 taken, 4 moeilijkheidsniveaus en 25 zaden per taak-moeilijkheidsgraad-paar (totaal >90.000 episodes). De geëvalueerde agenten omvatten:

• Frontier LLM's: GPT-5 mini, Gemini 3.1 Flash Lite, Claude Haiku 4.5.
• RL vanaf nul: PPO-agenten getraind met dichte en spaarzame beloningen.
• Open-Weight LLM's: Qwen3- en Qwen3.5-modellen (0,8B tot 4B parameters).
• Harnassen: Agenten werden getest met verschillende inferentiestrategieën, waaronder een "Markoviaanse Redenaar"-harnas dat vraagt om chain-of-thought-redenering.

Belangrijkste Resultaten

De evaluatie onthult dat geen enkel paradigma domineert over alle capaciteiten:

• Algemene Prestatie: GPT-5 mini behaalde de hoogste algehele ONS (0,309), gevolgd op korte afstand door PPO getraind vanaf nul (0,287). Zelfs de beste agent bereikt echter minder dan een derde van de oracle-prestatie, wat wijst op aanzienlijke ruimte voor verbetering.
• Capaciteitsspecialisatie:
  • GPT-5 mini excelleerde in Navigatie (0,456) en Generalisatie (0,437), gebruikmakend van vooraf getrainde kennis.
  • PPO domineerde Planning (0,402) en Multi-Agent-taken (0,432), waar precieze, herhaalbare controle die door interactie is aangeleerd, cruciaal is.
  • Redeneertaken bleven de zwakste categorie voor alle agenten, met de beste score (PPO) op slechts 0,191.
• Invloed van Harnasontwerp: De keuze van de promptstrategie was net zo kritiek als de modelgrootte. Het Reasoner-harnas (chain-of-thought) vermenigvuldigde de LLM-prestatie met 3–10× over alle geteste modellen. Bijvoorbeeld, Qwen3.5-4B sprong van 0,023 naar 0,228 ONS bij overschakeling van een standaard Markoviaans harnas naar het Reasoner-harnas.
• Observatiemodaliteit: ASCII-observaties presteerden consequent beter dan natuurlijke taal voor LLM-agenten (bijvoorbeeld Qwen3.5-4B scoorde 0,228 op ASCII versus 0,181 op taal), wat suggereert dat compacte, token-efficiënte representaties superieur zijn voor ruimtelijk redeneren.
• Model-efficiëntie: Kleinere modellen met betere harnassen presteerden beter dan grotere modellen met zwakkere opstellingen (bijvoorbeeld Qwen3.5-0,8B met Reasoner presteerde beter dan Qwen3-4B zonder).

Betekenis en Claims

De auteurs claimen dat Agentick de empirische infrastructuur biedt die nodig is om vooruitgang te boeken naar algemene autonome agenten. De betekenis hiervan ligt in:

1. Mogelijk maken van Paradigma-overstijgende Vergelijking: Het is de eerste benchmark die een eerlijke evaluatie ondersteunt van RL-, LLM-, VLM- en hybride agenten op dezelfde taken met gestandaardiseerde maatstaven.
2. Aandrijven van RL-na-training: Het dient als trainingsomgeving voor RL-na-training van foundation modellen in echt sequentiële, stochastische en interactieve omgevingen, die verder reikt dan huidige RLVR (Versterkingsleren vanuit Verifieerbare Beloningen) successen in statische domeinen zoals wiskunde en code.
3. Aan het Licht Brengen van Fundamentele Kluven: De resultaten benadrukken dat huidige benaderingen ontoereikend zijn voor complexe sequentiële besluitvorming, met name in redeneren en langetermijnplanning, wat suggereert dat hybride architecturen die FM-redeneren combineren met RL-getrainde controle mogelijk vereist zijn.
4. Onderzoeksmogelijkheden: Door een samenstelbaar harnas, oracle-datasets en een live leaderboard te bieden, faciliteert Agentick het bestuderen van agent-scaffolding, curriculumlearning en de effecten van observatiemodaliteiten op agentprestaties.

Het artikel concludeert dat hoewel geen enkele aanpak momenteel domineert, de benchmark succesvol onderscheid maakt tussen paradigma's en de aanzienlijke onderzoeksagenda voor het bouwen van echt algemene autonome agenten benadrukt.