🤖 AI

AcademiClaw: When Students Set Challenges for AI Agents

Dit artikel introduceert AcademiClaw, een tweetalige benchmark van 80 complexe, real-world academische taken gecureerd uit studenteninleveringen om de beperkingen van huidige AI-agenten bij het hanteren van langdurige, multidisciplinaire uitdagingen te evalueren en te diagnosticeren, waarbij blijkt dat zelfs geavanceerde modellen slechts een slagingspercentage van 55% halen.

Oorspronkelijke auteurs: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent hebt gebouwd. Tot nu toe heb je het getest door het te vragen om simpele klusjes te doen: "Sorteer deze e-mails", "Voeg deze vergadering toe aan mijn agenda" of "Vind een recept voor pasta". De robot is uitstekend in deze taken. Het is als een zeer efficiënte persoonlijke secretaresse.

Maar hier is het probleem: We weten eigenlijk niet of deze robot echt, moeilijk werk kan doen. Kan het een complex wiskundig probleem oplossen? Kan het een videospel vanaf nul bouwen? Kan het een defecte computerchip repareren? Tot nu toe heeft niemand de robot deze vragen op een eerlijke, gestandaardiseerde manier gesteld.

Dat is waar dit paper, AcademiClaw, over gaat. Het is een nieuw "eindexamen" voor AI-agenten, ontworpen niet door onderzoekers in een lab, maar door universitair studenten die echt worstelen met hun huiswerk en projecten.

Hier is een uiteenzetting van het paper met eenvoudige analogieën:

1. Het Probleem: De "Secretaresse" versus de "Ingenieur"

Denk aan huidige AI-benchmarks (tests voor AI) als een rijbewijstest voor een bezorger van boodschappen. Ze controleren of je kunt parkeren en kunt stoppen bij een rood licht. Dat is nuttig, maar het vertelt je niet of je een Formule 1-auto kunt racen of een straalmotor kunt repareren.

Het paper betoogt dat bestaande tests voor het "OpenClaw" AI-systeem alleen "assistent-niveau" vaardigheden controleren (zoals bestanden sorteren). Ze laten een enorm gat achter: Academische vaardigheden. Dit zijn de diepe, complexe taken die jaren van studie vereisen, zoals het bewijzen van een wiskundestelling of het trainen van een complex AI-model.

2. De Oplossing: Een "Door Studenten Ingediend" Examen

In plaats dat onderzoekers nepproblemen verzinnen, vroegen de auteurs 230 universitair studenten om echte problemen in te dienen die ze tegenkwamen.

Het Scenario: Een student probeert een AI te gebruiken voor hulp bij een moeilijk programmeerproject of een onderzoeksartikel. De AI faalt of blijft steken. De student zegt: "Dit is te moeilijk voor de AI."
De Filter: Experts beoordeelden deze 230 inzendingen en selecteerden de beste 80.
Het Resultaat: Een testset die 25 verschillende vakgebieden bestrijkt, van olympiade-niveau wiskunde tot GPU-intensieve videospel-fysica en het debuggen van complexe software.

De Analogie: Stel je een kookwedstrijd voor. In plaats dat de jury de koks vraagt om "een ui te hakken", zeggen de studenten (de klanten): "Ik heb een vijfgangendiner nodig dat ingrediënten uit drie verschillende continenten gebruikt, bereid in een specifieke stijl, en ik heb het over 40 minuten nodig." Dat is het niveau van moeilijkheid dat AcademiClaw introduceert.

3. De Testomgeving: De "Veilige Zandbak"

Om ervoor te zorgen dat de AI niets breekt of bedriegt, gebeurt elke taak in een digitale zandbak (een afgesloten computermilieu genaamd een Docker-container).

De AI krijgt een taak.
Het kan bestanden lezen, code schrijven, programma's uitvoeren en zelfs een webbrowser gebruiken.
Het moet alles zelf doen, stap voor stap.
Cruciaal Detail: Sommige taken vereisen een GPU (een krachtige grafische kaart die wordt gebruikt voor zware wiskunde en AI-training). Dit is als de robot vragen om een zwaar gewicht te tillen; de meeste eerdere tests vroegen alleen om een veer te tillen.

4. Hoe Ze Het Beoordelen: De "Meerlaagse Jury"

Je kunt niet gewoon vragen: "Is het klaar?" omdat het antwoord misschien "Ja, maar de code is kapot" is.
Het paper gebruikt een 6-in-1 beoordelingssysteem:

Patroonherkenning: Heeft het de juiste woorden geschreven?
Code-uitvoering: Werkt het programma daadwerkelijk zonder te crashen?
AI-Jury: Een andere AI leest het verslag en beoordeelt het als een leraar.
Visuele AI: Kan het "zien" of een grafiek of afbeelding er goed uitziet?
Browser-testen: Heeft het daadwerkelijk een werkende website gebouwd?
Structuurcontrole: Is het bestandsformaat correct (zoals een JSON of CSV)?

Ze hebben ook een Veiligheidsaudit (zoals een beveiligingsagent) om ervoor te zorgen dat de AI niet probeerde belangrijke bestanden te verwijderen of in dingen te hacken waar het niet in hoorde.

5. De Resultaten: De "Realiteitscheck"

De auteurs testten zes van de slimste beschikbare AI-modellen (zoals Claude, GPT en Gemini) op dit nieuwe examen.

De Score: Zelfs de beste AI slaagde slechts voor 55% van de taken. Dat betekent dat ze bijna de helft van de tijd faalden op problemen die universitair studenten moeilijk vonden.
De "Te Veel Nadenken"-Valstrik: Het paper vond iets vreemds. Sommige AI's gebruikten 5 keer meer "hersenenkracht" (tokens) dan anderen, maar kregen geen betere resultaten.
- Analogie: Stel je twee studenten voor die een toets maken. Student A leest de vraag zorgvuldig, denkt een minuut na en schrijft een perfect antwoord. Student B raakt in paniek, schrijft 10 pagina's vol onzin en krijgt het antwoord fout. Het paper vond dat meer inspanning niet gelijkstaat aan betere kwaliteit.
Verschillende Persoonlijkheden: De AI's hadden verschillende "persoonlijkheden":
- De Lezer: (Claude) Leest alles eerst, denkt na, en handelt dan. Hoge kwaliteit, maar langzamer.
- De Hamer: (Gemini) Begint gewoon dingen te raken (code uitvoeren) en hoopt dat het werkt. Snel, maar breekt vaak dingen en faalt bij veiligheidscontroles.
- De Minimalist: (GPT) Doet het absolute minimum, maar krijgt verrassend goede resultaten.

6. De Grote Conclusie

Het paper concludeert dat AI, terwijl het geweldig is als een "digitale secretaresse", nog steeds erg wankel is wanneer het wordt gevraagd om een "onderzoeker" of "ingenieur" te zijn.

Het Gat: Er is een enorme kloof tussen wat AI vandaag kan doen en wat echt academisch en professioneel werk vereist.
Het Veiligheidsprobleem: De AI die probeerde problemen op te lossen door te "gokken en te controleren" (Gemini) was ook degene die het meest waarschijnlijk veiligheidsregels zou overtreden.
De Toekomst: De auteurs hopen dat deze nieuwe test (AcademiClaw) ontwikkelaars zal helpen AI te bouwen die echt in staat is om de moeilijke, complexe problemen op te lossen die we in de echte wereld tegenkomen, niet alleen de makkelijke.

Kortom: Het paper bouwde een "hard mode"-test voor AI met echt studentenhuiswerk. De resultaten tonen aan dat zelfs de slimste AI's nog steeds worstelen met het diepe, complexe werk van de echte wereld, en dat het gebruik van meer rekenkracht ze niet per se slimmer maakt.

Technische Samenvatting: AcademiClaw

Probleemstelling

Hoewel het OpenClaw-ecosysteem zich snel heeft ontwikkeld tot een toonaangevend open-source framework voor autonome agenten, zijn de bestaande evaluatiebenchmarks binnen dit ecosysteem beperkt gebleven tot assistent-niveau taken (bijvoorbeeld e-mailtriage, agenda-beheer, projectopzet). Deze taken, hoewel praktisch nuttig, missen de diepgang van domeinspecifieke expertise en het doorlopende meerstapsredeneren die nodig zijn voor real-world academische en professionele workflows. Bijgevolg bestaat er een kritieke kloof in het begrijpen van de capaciteiten van OpenClaw-agenten wanneer ze worden geconfronteerd met complexe, kennisintensieve problemen zoals wiskundige bewijzen, GPU-intensieve modeltraining, debugging tussen frameworks en wetenschappelijke data-analyse. Huidige benchmarks falen in het systematisch evalueren van agenten op deze "academische" uitdagingen, waardoor de gemeenschap geen bruikbare diagnostische signalen heeft om agenten verder te ontwikkelen dan hun huidige assistent-gerichte scope.

Methodologie

Taakcollectie: Een Bottom-Up Benadering

In tegenstelling tot traditionele benchmarks, waarbij taken top-down worden ontworpen door onderzoekers, hanteert AcademiClaw een door gebruikers gegenereerde, bottom-up verzamelstrategie.

Bron: 230 kandidaat-taken werden ingediend door universiteitsstudenten op basis van hun echte academische workflows (huiswerk, onderzoeksprojecten, wedstrijden, persoonlijke projecten) waar ze huidige AI-agenten inefficiënt vonden.
Filtering: Een rigoureuze tweestaps expertreviewproces distilleerde deze kandidaten tot een definitieve set van 80 hoogwaardige taken. Experts beoordeelden taken op prompthelderheid, correctheid van het beoordelingsraster, reproduceerbaarheid van scoring, moeilijkheidsgradatie en domeinbalans.
Scope: De definitieve dataset bestrijkt 25+ professionele domeinen, variërend van CMO (Chinese Wiskunde Olympiade) bewijzen en IOL (Internationale Linguïstiek Olympiade) problemen tot GPU-intensieve versterkende leerprocessen en full-stack systeemdebugging. Het bevat 16 GPU-intensieve taken die CUDA-uitvoering vereisen, een functie die ontbreekt in eerdere OpenClaw-benchmarks.
Taalaspect: De benchmark is tweetalig (49 Engels, 31 Chinees), waarbij Chinese taken native Chinees zijn en cultureel onderbouwde competentie vereisen (bijvoorbeeld het aanpassen van Tang-poëzie, het begrijpen van Shuangpin-codering) in plaats van eenvoudige vertaling van instructies.

Uitvoeringsomgeving

Isolatie: Elke taak wordt uitgevoerd binnen een geïsoleerde Docker-sandbox met een tweelaagse image-hiërarchie (basis CPU/GPU-omgeving + per-taak afhankelijkheden).
Agent Framework: Taken worden opgelost met het OpenClaw-agentframework, dat een unificatie toolpalet biedt inclusief bestandsoperaties, shell-uitvoering, websearch en headless browser-automatisering.
Evaluatieprotocol: Agenten krijgen één poging per taak zonder opnieuw proberen. Het beoordelingsraster wordt tijdens de uitvoering aan de agent onthouden.

Meerdimensionaal Evaluatiekader

AcademiClaw gaat voorbij aan binaire pass/fail-metrics door een meerdimensionaal beoordelingsraster (schaal 0–100) te hanteren dat zes complementaire verificatietechnieken combineert:

Patroonherkenning: Regex, trefwoorddetectie en AST-parsing.
Code-uitvoering: Compileren en uitvoeren van unit-tests tegen referentieoplossingen.
LLM-as-Judge: Evaluatie van open-ended outputs (rapporten, creatief schrijven) met deterministische heuristische fallbacks.
Visuele LLM-beoordeling: Vergelijken van gerenderde graphics of GUI-schermopnames met referenties.
End-to-End Browser Testing: Gebruik van Playwright voor interactie met dynamische web-elementen.
Validatie van Gestructureerde Output: JSON-schemacontroles, CSV-verificatie en BibTeX-parsing.

Bovendien evalueert een veiligheidsaudit in vijf categorieën (S1–S5) destructieve operaties, informatielekkage, naleving van grenzen, privilegie-escalatie en risico's in de supply chain.

Belangrijkste Bijdragen

Eerste Academische Benchmark voor OpenClaw: AcademiClaw is de eerste benchmark in het ecosysteem die gericht is op academische complexiteit, bestaande uit 80 taken die volledig afkomstig zijn van universiteitsstudenten in plaats van onderzoekers. Het bevat uniek 16 GPU-intensieve taken.
Nieuw Evaluatiekader: Het artikel introduceert een meerdimensionaal scoresysteem dat zes verificatietechnieken combineert met een veiligheidsaudit in vijf categorieën, waardoor fijnmazige diagnostische signalen worden geboden die verder gaan dan geaggregeerde metrics.
Systematische Empirische Analyse: De auteurs bieden een uitgebreide evaluatie van zes frontier-modellen (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen3.5-397B en MiniMax M2.7), waarbij fenomenen worden onthuld die door lichtere benchmarks worden verborgen.

Experimentele Resultaten

Algemene Prestaties

Zelfs het best presterende model, Claude Opus 4.6, behaalde slechts een 55% slaagpercentage (score ≥75) met een gemiddelde score van 71,9. De kloof tussen het sterkste en het zwakste model (MiniMax M2.7) bedroeg 8,8 punten in gemiddelde score, maar de kloof in slaagpercentage was breder (55,0% versus 37,5%). Opmerkelijk is dat 23 van de 80 taken (28,8%) alle zes modellen versloeg, met 8 taken waarbij elk model onder de 50 scoorde.

Patronen op Domein- en Taaalniveau

Dominantie van Taakmoeilijkheid: De variatie in prestaties tussen taakcategorieën (26,3 punten spreiding) ver overtrof de variatie tussen modellen (8,8 punten spreiding). STEM-redenering was de meest uitdagende categorie (gemiddelde score ~50,6), terwijl Taal & Creativiteit het makkelijkst was (gemiddelde score ~76,9).
Grenzen van Capaciteiten: Specifieke taken onthulden scherpe grenzen van capaciteiten. Bijvoorbeeld, bij een taak voor het extraheren van een stamboom uit Honderd jaar eenzaamheid, varieerden de scores van 86–92 voor sommige modellen tot slechts 3 voor anderen (een kloof van 90 punten). Evenzo resulteerde een migratietaken van TensorFlow naar PyTorch in een catastrofale mislukking (score 0) voor GPT-5.4, terwijl andere modellen 74–90 scoorden.

Gedragsfenotypes

De studie identificeerde drie distincte gedragsstrategieën onder de modellen:

Eerst Lezen (Claude Opus 4.6): Prioriteert bestandslezing (41% van de toolcalls) voor uitvoering. Deze strategie leverde de hoogste kwaliteit op ("comprehensie-premie") maar vereiste een gematigd tokenverbruik.
Eerst Uitvoeren (Gemini 3.1 Pro): Verlaat zich zwaar op shell-uitvoering (74,3% van de calls) met een trial-and-error-benadering. Dit resulteerde in het hoogste tokenverbruik (2,8 miljoen tokens, 5,4× meer dan GPT-5.4) maar lagere kwaliteit en de laagste veiligheidsscore (74,9), grotendeels door schendingen van grenzen.
Minimalistisch (GPT-5.4): Gebruikt de minste toolcalls (19) en tokens (525K) met de kortste uitvoeringstijd, en bereikt concurrerende kwaliteit via interne inferentie.

Disconnectie tussen Tokens en Kwaliteit

Een cruciale bevinding is de bijna nul correlatie ( $r = -0,03$ ) tussen tokenverbruik en taakkwaliteit over alle modellen heen. Dit suggereert dat huidige agenten geen effectieve mechanismen hebben om te bepalen wanneer ze moeten stoppen met itereren, wat leidt tot "overdenken"-straffen waarbij verhoogde computationele inspanning niet vertaalt naar betere oplossingen.

Veiligheidsanalyse

Veiligheid en kwaliteit bleken grotendeels onafhankelijk ( $|r| < 0,29$ ). Echter, naleving van grenzen (S3) was de doorslaggevende veiligheidsdimensie, met een kloof van 53 punten tussen de veiligste (Claude-modellen, ~84) en minst veilige (Gemini, 31,6) modellen. Dit correleert met het "eerst uitvoeren"-fenotype, waarbij frequente shell-uitvoeringen het risico vergroten op toegang tot bestanden buiten de aangewezen werkruimte.

Betekenis en Claims

De auteurs positioneren AcademiClaw als een noodzakelijke evolutie in agent-evaluatie, waarbij de focus verschuift van assistent-niveau routines naar de complexe, open-ended eisen van real-world academische en professionele praktijk.

Diagnostische Waarde: De benchmark biedt fijnmazige signalen die specifieke capaciteitsgaten (bijvoorbeeld formeel redeneren versus generatieve taken) en gedragsinefficiënties (bijvoorbeeld de disconnectie tussen tokens en kwaliteit) onthullen die geaggregeerde metrics verdoezelen.
Gemeenschapsbron: Door de data en code open source te maken, beogen de auteurs vooruitgang te stimuleren naar agenten die capabeler en veelzijdiger zijn, waarmee ze de OpenClaw-gemeenschap helpen verder te gaan dan hun huidige assistent-gerichte scope.
Bescheiden Scope: De auteurs erkennen beperkingen, waarbij ze opmerken dat de huidige dataset is afkomstig van één universiteit (CS-bachelorstudenten) en steunt op evaluaties met één poging. Ze presenteren de benchmark als een fundamentele stap naar meer uitgebreide, multidisciplinaire en multi-trial evaluatieprotocollen in de toekomst.