AlphaEval: Evaluating Agents in Production
Dit paper introduceert AlphaEval, een op productieomgevingen gebaseerde benchmark van 94 taken die AI-agenten als complete commerciële systemen evalueert en een gestructureerd raamwerk biedt om authentieke bedrijfsvereisten om te zetten in reproduceerbare evaluatietaken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Kern: Van "Schoolexamen" naar "Echte Werkplek"
Stel je voor dat je een kok wilt aannemen voor je restaurant.
- De huidige tests (oude benchmarks): Je geeft de kok een recept met exacte instructies ("Voeg 200 gram suiker toe") en vraagt hem om een taart te bakken. Als de taart er mooi uitziet en smaakt, haalt hij het examen. Dit is wat onderzoekers nu doen: ze testen AI-agenten op strakke, voorspelbare taken.
- De realiteit (AlphaEval): In het echte leven komt een klant niet met een recept. De klant zegt: "Ik wil een taart die past bij mijn bruiloft, maar ik heb geen idee van de smaak, en ik heb ook nog een allergie voor noten die ik vergeten ben te noemen." De kok moet zelf de smaak van de bruidsnoviteiten raden, de ingrediënten uit verschillende dozen in de keuken halen, en de taart bakken terwijl de gasten al aan het wachten zijn.
AlphaEval is een nieuwe test die AI-agenten niet in de keuken van de school (de onderzoeks-lab) test, maar direct in de drukke keuken van het echte restaurant (de bedrijfswereld).
Wat is AlphaEval precies?
De onderzoekers hebben samengewerkt met zeven echte bedrijven die AI al gebruiken voor hun dagelijkse werk. Ze hebben 94 echte taken uit deze bedrijven verzameld. Denk hierbij aan:
- Een HR-manager die cv's moet screenen voor een nieuwe baan.
- Een financieel expert die een rapport moet schrijven over een startup.
- Een ingenieur die een volledige app moet bouwen.
- Een arts die medische dossiers moet analyseren.
In plaats van dat de onderzoekers zelf taken bedachten, hebben ze gekeken naar wat bedrijven echt betalen voor. Dit is het grote verschil: het is geen "schoolopdracht", maar "betaald werk".
De Grote Ontdekkingen (De "Aha!"-momenten)
Toen ze de AI-agenten op deze echte taken lieten werken, kwamen ze tot drie verrassende conclusies:
1. De AI is niet zo slim als we dachten
De beste combinatie van AI en software haalde slechts 64,41 punten op een schaal van 100.
- De analogie: Het is alsof je een student die 100% haalt op het eindexamen wiskunde, laat werken als accountant. Hij kan de sommen uitrekenen, maar hij begrijpt niet waarom de klant boos is als de belastingformulieren net iets anders zijn dan in het boekje. De kloof tussen "theorie" en "praktijk" is enorm.
2. Het gereedschap is net zo belangrijk als de motor
Dit is misschien wel het belangrijkste punt. Het maakt niet alleen uit welke AI je gebruikt (de motor), maar ook waar je die AI in zet (het voertuig).
- De analogie: Stel je hebt een Formule 1-auto (een supersterke AI). Als je die auto in een modderig veld zet (een slechte software-omgeving), komt hij er niet uit. Als je diezelfde auto in een racecircuit zet (een goede omgeving), wint hij.
- In het paper zagen ze dat dezelfde AI (Claude Opus 4.6) 64 punten haalde in één programma, maar slechts 53 punten in een ander. De "omgeving" (het scaffolding) was dus net zo belangrijk als de AI zelf.
3. Niet alle taken zijn even moeilijk
Sommige AI's zijn goed in het schrijven van code, maar slecht in het begrijpen van menselijke gevoelens (zoals het selecteren van kandidaten voor een baan).
- De analogie: Een gereedschapskist is niet universeel. Je kunt met een hamer een spijker in de muur slaan, maar je kunt er geen schroef mee draaien. De paper laat zien dat je niet kunt zeggen "AI is goed" of "AI is slecht". Je moet zeggen: "AI is goed voor financiële rapporten, maar nog niet goed genoeg voor medische diagnoses."
Hoe hebben ze dit gedaan? (De Bouwstijl)
De onderzoekers hebben een nieuwe bouwmethodiek bedacht om van een vaag bedrijfsverzoek een test te maken.
- Stap 1: Ze praten met bedrijven en vragen: "Wat is het lastigste werk dat jullie doen?"
- Stap 2: Ze nemen die vaagheid (bijv. "Maak een goed rapport") en maken er een test van, zonder de vaagheid weg te halen. Ze laten de AI proberen om die vaagheid op te lossen, net als in het echte leven.
- Stap 3: Ze laten experts (mensen die echt in dat vak werken) beoordelen of het resultaat goed is.
Waarom is dit belangrijk voor jou?
Voor bedrijven is dit een enorme eye-opener. Tot nu toe keken ze alleen naar de cijfers van de AI ("Hoe slim is hij?"). AlphaEval zegt: "Kijk niet naar de cijfers, kijk naar de waarde."
Ze hebben zelfs berekend hoeveel geld een AI bespaart of kost.
- De beste configuratie leverde ongeveer $110.000 - $165.000 aan menselijke arbeidswaarde op.
- De slechtste configuratie leverde maar $70.000 - $105.000 op.
- De les: Het kiezen van de juiste AI en de juiste software-omgeving kan voor een bedrijf dus tienduizenden dollars per jaar schelen. Het is geen technisch detail meer, maar een zakelijke beslissing.
Conclusie
AlphaEval is als een "proefperiode" in plaats van een "toets". Het laat zien dat AI-agenten in de echte wereld nog veel te leren hebben, vooral op het gebied van het begrijpen van ongeschreven regels, het omgaan met rommelige informatie en het leveren van werk dat echt bruikbaar is voor mensen.
Het paper roept onderzoekers en bedrijven op om stoppen met het maken van "schoolopdrachten" voor AI en te beginnen met het testen van AI op de taken waarvoor mensen hen eigenlijk willen betalen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.